薛怀义,京兆..县人,本姓冯,名小宝。以卖台货为业,身躯魁梧,强健有力,在洛阳做买卖,得以遇见千金公主的婢女。千金公主了解他后,进宫说:“冯小宝有非同寻常的资质能力,可以让他充当近身侍者。”因而得到武则天召见,对他的赏识厚待日甚一日。武则天想隐蔽他的行迹,便于他在宫中进出,于是将他剃发为僧人。还考虑到薛怀义不是世家大族出身,于是将他改姓为薛,让他与太平公主的夫婿薛绍联为一族,叫薛绍把他当自己最小的叔父侍奉。从此薛怀义便与洛阳德高望重的僧人法明、处一、惠俨、眣行、感德、感知、静轨、宣政等在宫内道场念经诵法。薛怀义进出宫廷都乘坐宫廷马厩的马,由宦官随身侍从,武氏在朝中有权势的众显贵官员,都匍伏在地行大礼谒见他,民间称呼他为“薛师”。
武则天垂拱初年(685),薛怀义劝说武则天在故洛阳城修复原白马寺,薛本人总领兴修;白马寺修复完成后,他自任寺院主持。薛怀义极其倚仗武则天的宠爱狂妄横行,他的下属犯法,没有人敢于议论。左台御史冯思勖多次据法弹劾他;薛怀义在路上碰到冯思勖,命令随从人员殴打他,几乎致死。他又在建春门内的敬爱寺里面,另建庙堂殿宇,将敬爱寺改名为佛授记寺。垂拱四年(688),武则天拆毁乾元殿,在这块地基上建造宣明政教的明堂,薛怀义担任这项工程的使臣察督建造,共计役工数万人。拖一根大木头须上千人,安排领呼号子的头目一人,领号头目一声大喊,千名役工齐声应和。所建明堂共有三层,总计高达三百尺。又在明堂北面建造一座天堂,面积与所建的明堂相当。薛怀义论功授予左威卫大将军官职,封为梁国公。永昌元年(689),突厥首领默啜率军侵犯边境,武则天派薛怀义任清平道大总管,领军攻打默啜军,追至单于台刻石记述功绩才返回。再加授辅国大将军官职,晋升左卫大将军,改封为鄂国公、柱国,赐给帛两千段。
薛怀义与法明和尚等编撰《大云经疏》,陈述符谶预言,称武则天是弥勒佛转世,做中华及东方诸国君主,李唐王朝运当衰微。因此武则天改朝换姓立朝称“周”;薛怀义与法明和尚等九人一并封为县公,各赏赐不等的财物;一概赐予紫袈娑、银龟袋。他们随心所欲编造的《大云经疏》颁发天下,每个寺院各藏一本,命令各寺主持高僧登上法坛宣讲解说。武则天将要改朝换姓之前,大肆诛杀李唐宗族各藩王,惟有千金公主凭巧言谄媚善于奉承一家独存;她又上疏奏请以武则天为自己母亲,因而获得武则天曲意给予偏宠,将其封号改为延安大长公主,加授实征赋税的食户,赐她姓武。让她的儿子李克..娶魏王武承嗣的女儿为妻;准许她进内宫参谒问候,不受早晚限制;见到武则天,她就竭力迎合,博取欢心。长寿二年(693),突厥的首领默啜再次侵犯边塞,武则天又让薛怀义担任代北道行军大总管,派李多祚、苏宏晖充任他的手下将领。尚未启程,又将薛怀义改任朔方道行军大总管,派内史李昭德担任他的行军长史,凤阁侍郎、平章事苏味道任他的行军司马,由他率领契絆明、曹仁师、沙吒忠义等十八名将军去讨伐默啜。尚未出征,默啜退军,于是停止了这次出征。
后来,薛怀义厌倦再进宫中,平时大多居住在白马寺,刺血绘画大佛像;又挑选体力强健的平民将他们剃度为僧,人数上千。侍御史周矩怀疑他心怀奸谋,上奏弹劾他,武则天不准奏;周矩坚持奏请弹劾,武则天说:“你暂且退下,朕立即命令他离去。”周矩回到御史台,薛怀义也来到这里,骑着马顺着台阶下来,然后袒露胸腹仰卧在床榻上。周矩叫来御史台吏役,准备制止他,薛怀义突然骑上马离去。周矩将以上情况一一奏报武则天知道,武则天说:“这个和尚的疯病发作,无法深究。他所剃度的僧人任凭卿审问论罪。”周矩审讯他们,将审得的情状全部禀报给了武则天,众僧人全部发配到边远的各州郡。武则天提升周矩为天官员外郎,最终,周矩遭薛怀义构陷,投入监牢,免去官职。
后来,有个叫沈南趚的御医得到武则天的宠爱,对薛怀义的恩遇渐渐衰减,薛怀义极为怨恨恼怒。证圣元年(695),宫殿失火,火烧新建的宣布政教的明堂、天堂,两座殿堂全部化为灰烬,武则天心中有愧但隐瞒了这件事,又让薛怀义担任使臣监督兴修;并在再建的明堂下安放了九州鼎,用铜铸成十二生肖塑像,分别放在与自己本命星相应的干支辰位上,各生肖铜塑都高达一丈。薛怀义亲自做呼喊号子的头人率领役工安放生肖铜塑。此后,薛怀义更加骄纵傲慢,武则天对他厌恶起来,叫太平公主挑选体力强健的宫中妇女数十人,对他严密防范,考虑如何对付他。有人告发了薛怀义的阴谋,太平公主的乳母张夫人命令强壮的卫士捆住薛怀义并将他勒死,然后用车子载着他的尸体送到白马寺。薛怀义的近侍僧众,全都流窜逃亡到遥远荒僻的地方。