就在这时，一件令女皇气恼之极的事情发生：明堂遭焚。制造这起纵火案的，正是薛怀义。
    薛怀义并不仅仅是一个男宠，他同时也是武则天称帝的功臣。
    在武则天代唐称帝前夕，薛怀义和法朗等僧人伪造《大云经》，声称武则天乃是弥勒降世，乃是真正的世间之主，唐室当衰。随后以此经为由头，又在天下各州皆造大云寺，专为此度僧宣讲，为武周王朝大造舆论。所以在武周王朝建立后，薛怀义等人都被封为县公，算在开国功臣里头。此后武则天也大规模崇佛，甚至下令“释教开革命之阶，升于道教之上”。又废除了老子的玄元皇帝称号、罢除了贡举试中《老子》的内容。如此一来，假和尚薛怀义就更为所欲为，甚至公然强逼道观主剃度为僧。
    随着时间的推移，薛怀义已经浑然忘却了自己与武则天之间的从属关系，对女皇的指令常置若罔闻，还在民间挑选强壮有力的男子剃度为僧，数量超过千人，引起了武则天的疑心，不但找了新欢沈南璆，还将所有的武僧都流放偏远地区去了。对薛怀义的恩遇也一天不如一天。嫉恨交加的薛怀义为了发泄，便在天册万岁元年（公元695）正月十六日夜晚纵火焚烧了刚刚落成才六年的明堂、天堂。于是“火照城中如昼”，等到十七日清晨的时候，两座巍峨的建筑已经化为灰烬。
    对于这场火的真实起因，女皇和大臣们都很清楚，但为了面子，仍然声称是工人不慎失火，火灾后仍然任命薛怀义主持重建工作。
    既是重建总管，薛怀义又开始频频出入宫廷。而就在同一个时候，女皇与自己最信任的女儿太平公主商议定了除掉薛怀义的计划。据史书记载，二月初四这天，太平公主在宫中挑选了几十个身强力大的壮妇，又让小叔子武攸宁率领了一批壮士埋伏，等薛怀义应召入宫时，壮妇们在太平公主乳母张夫人的统率下一拥而上，将薛怀义捆成了个粽子。
    薛怀义当然是死定了，不过死法有待商榷。《旧唐书》说他是被张夫人派侍卫缢死的。上文所述则是《新唐书》的记载。关于尸体的处理也有不同解释。在以辇车送回白马寺后便被“焚之以造塔”了。应该是烧化后照规矩给造了座僧塔。
    天册万岁元年（公元696）三月，明堂重建完成，更名通天宫。重建后的明堂规模比从前更大，里面还增加了以五十六万七百余斤铜铸造的九座巨鼎。这座宫宇也没能存在很久。六十六年后，明堂毁于唐代宗宝应元年（公元762）十一月，原因仍然是被焚。
    除了薛怀义，女皇最著名的男宠莫过于张易之、张昌宗兄弟。张昌宗是太平公主推荐进宫的。张昌宗出身士族，是太宗高宗两朝宰相张行成的族孙，不但白晳秀美，而且精通音律。张昌宗入宫得宠后又以“器用过臣，兼工合炼（--#）”为由向武则天推荐了自己的哥哥尚乘奉御张易之，从此兄弟俩在女皇所有的男宠中位列前茅。张易之官至麟台监、恆国公，张昌宗官至司仆卿，春官侍郎，封鄴国公，他们死去的父追封襄州刺史，母亲韦氏、臧氏为太夫人。臧氏寡居寂寞，看上了凤阁侍郎李迥秀（初唐名将凉州都督李大亮族孙），女皇也为之牵线，命李迥秀兼职做臧氏的情夫。李迥秀这人做丈夫很差劲，他老婆崔氏管教妾婢，原本是很正常的事情，但是李迥秀那个多心的老娘却听不得，因为她就是个婢女出身。（奇了怪了，难道要崔氏把奴婢们当成长辈来供养么？别说那年头，就是现在也没几个人有这样的思想觉悟）。李迥秀为讨老娘欢心，立马就跟老婆离婚。别人都看不过眼劝他不要这样，他也不管。赶走了儿媳的老太太现在该高兴了吧！
    在兄弟中，张易之排行第五，张昌宗排行第六。兄弟俩得宠后，马屁声四起。有人说“莲花似六郎”，而宰相杨再思更高杆，道：“乃是莲花似六郎。”
    女皇著名的书法作品，当属《升仙太子碑》。升仙太子王子晋，即周灵王太子姬晋，十七岁就去世了。但世人都认为他并非早逝，而是登了天界，传说在他死后三十年，还有人在缑氏山见到他乘鹤仙去。——于是，马屁精们声称张昌宗就是王子晋的后身，专为报女皇知己之情而来。于是女皇就为张氏兄弟设置了控鹤府，以张易之为三品控鹤监，让张昌宗穿羽衣、吹箫、乘木鹤于庭中奏乐，果然也颇似升仙之状。
    张氏兄弟虽然几得专宠，但女皇和世上其它的皇帝都一样，不会止满足于此，而且哪怕只是一次床第之欢，她也要将对方挑剔个遍。在这方面最著名的笑谈莫过于宋之问。这位著名诗人长得一表人材，才华出众，认为自己理所应当得到女皇的青睐。可是女皇却一直没有对他表达过这方面的意思。宋之问不甘被冷落，主动写了一首艳诗献给女皇，女皇读后付之一笑，对身边人说：“宋卿哪方面都不错，就是不知道自己有口臭。”宋之问打听明白后后悔不迭，从此经常口含香料，亡羊补牢。
    男宠数目众多，想当男宠的也数不胜数。很多认为自己有条件的朝臣和世家子弟都竞相自荐。以至于言官担心女皇也和男皇帝一样迷于花丛，疏忽正业。