薛怀义着手建造明堂与大佛时，曾宣称：“这是我灌注毕生心血与智慧的大事业，所以当斋戒沐浴。”从此，薛怀义很少进宫侍侯武则天，大部分的日子都住在白马寺。接着召集许多大力士，剃度之后收为弟子留在白马寺，已达一千余人。对薛怀义而言，当他自由自在，发挥权力，极尽奢华的身份确立之后，他就不想再进宫受拘束，甘当武则天男宠了。
刚开始时，内宫不断有使者前来催他“进宫”。后来，使者前来的次数逐渐减少，到了最近，几乎已经没有要他进宫的旨令。
薛怀义为了防止武则天有朝一日对他不利，特选了一千多名的大力士住在白马寺里。这个情况被侍御史周矩发现，上报武则天，说薛怀义除了在佛像的现场指挥之外，也不参加早朝，一直躲在白马寺里。他们暗中是否有造反的企图？上书要求弹劾薛怀义。过不了多久，武则天召见周矩，以慎重的口吻对他说道，朕会命令薛怀义到肃政台（御史台），如此比较妥当。
有一天，薛怀义突然通知周矩，言明前来报到。周矩等了一阵子之后，才见薛怀义仅带着二、三名侍从，骑着白马而来，毫不客气地骑到殿前才下马。下马之后，薛怀义立刻走到放在阶梯下的床上躺下来，以手支着下颌双眼瞪着周矩。
这种奇异的行动，出乎周矩意料之外，两人面面相视，哑口无言。
周矩清醒过来，喝道：“来人啊！把薛怀义抓起来！”当警卫们扑向薛怀义的刹那，薛怀义从床上一跃上马，随着哒哒的马蹄声，瞬间消失得无影无踪。
愤怒的周矩立刻进宫，宣称有紧急事件，请求马上觐见皇上，他把方才发生的事一一报告皇上。武则天推说和尚近来精神有点问题,为薛怀义遮掩。还说和他太认真也没有用，过一段时间再看看吧！但其他的无赖之徒，交由周矩全权处理。
在武则天心里，薛怀义是自己耻辱的一部分，如果将他交给司法官审判，那种野人出身的和尚，可能认为她亏待了他，一气之下把什么事都抖出来，届时她的脸就挂不住了。在肃政台做出异乎寻常的举动，虽然不知道是什么原因，但薛怀义的精神多少有了问题。万一他一怒之下，把闺房里的秘事都说出来，那她的……
武则天认为暂时还不可采取行动。不久，周矩突然被提升为天官员外郎，可以说是皇上要求他保密的代价。后来，随着周矩被调，这件事就被压下来了。
薛怀义本人未受处分，但除了原本就是和尚的人外，其他那一千多名大力士，全部流放至岭南。
隐私是薄纱裙，只要有个小洞，就会春光泄漏。
当你的春光于不经意中外泄时，最好的办法是及时发现、捂住。
控制隐私纠纷，明智的女人不让男人把这水搅成漩涡，因陷入漩涡就没了救。在隐私的这场游戏中，不分权位，不分男女，也没有赢家。堵住他人的嘴，方法多样，那就仁者见仁，智者见智了。
