山伟,字仲才,河南洛阳人,其祖先为代人。祖山强,容貌美好,身长八尺五寸,工于骑射,弯弓力量可达五石。任奏事中散,跟从显祖打猎方山,有两只狐狸从御座前惊起,帝令山强射之,百步内两只狐狸都被射倒。官做到内行长。父山稚之,为营陵令。山伟随父到县,师事县人王惠,广读文史。山稚之官至金明太守。
肃宗初年,元匡任御史中尉,举山伟兼侍御史。入衙五天,便逢皇帝元旦朝会群臣。山伟司掌神武门,其妻堂叔为羽林队主,在殿门前打直长,山伟立即弹劾于皇帝。元匡称赞他,不久官即为正。帖国子助教、迁任员外郎、廷尉评。
当时天下无事,进官十分困难,代郡迁南的人,大多没有升职。及六镇、陇西二方叛逆乱起,领军元叉想启用代郡南迁的寒士为传诏使者以慰悦人心,而牧守子孙投状求此职的多达一百多人。元叉又想杜绝这种现象,因此启奏立勋附队,令各依门第出身。从此北人都被收录。山伟于是奏记,赞颂元叉的美德。元叉从来都不认识山伟,找侍中安丰王元延明、黄门郎元顺询问,元顺等因此称荐他。元叉令仆射元钦引山伟兼任尚书二千石郎,后正名士郎。修撰起居注。仆射元顺主持选举,表荐山伟为谏议大夫。
..朱荣加害朝官,山伟当时在朝廷值班,所以免于祸难。及庄帝入宫,除他为给事黄门侍郎。这以前,山伟与仪曹郎袁升、屯田郎李延孝、外兵郎李奂、三公郎王延业等人并驾而行,山伟稍稍居后。路上碰到一个尼姑,她望他们叹气说:“这些人哪,将会同日而死。”对山伟说:“君刚近天子,当作好官。”而袁升等四个人,都在河阴遇害,果然应验了她说的话。不久,领任著作郎。前废帝登极,除授安东将军、秘书监,仍为著作。
当初,..朱兆攻入洛阳,官员奔散而去,国史典书高法显秘密埋起史书,所以书不遗落。山伟把这当作自己的功劳,诉述皇上请求赏爵。山伟附迎..朱世隆,遂封东阿县伯,而法显只获男爵。山伟不久官进侍中。孝静初年,除授卫大将军、中书令,监修起居。后以本官又领著作,卒于官。朝廷赠其为骠骑大将军、开府仪同三司、都督、幽州刺史,谥称文贞公。
国史从邓渊、崔琛、崔浩、高允、李彪、崔光以来,众人相继撰录,綦隽以及山伟等谄说上党王元天穆及..朱世隆,认为国书正应该是代人修撰编辑才对,不宜交付他人,所以綦隽、山伟等人执掌大籍撰修。綦隽、山伟等人得修史书,守旧而已,没有记述著录。所以自崔鸿死后,迄止山伟,二十来年,时事荡然不记,以至万不记一,后人执笔,无所凭据,史实遗缺,都是因为山伟。他外示沉厚,内心实是矫浮。山伟与綦隽少年时代很是要好,后来因名位问题,便如水火不容。与宇文忠之这些代人结为朋党,当时有见识的人都畏惧厌恶他。而他爱好文史,老而更爱。山伟弟弟早亡,他抚寡训孤,与侄儿们同居二十多年,恩义很厚。山伟不营产业,身死之后,卖房营葬,妻子儿女沦至飘泊,士友叹悯他们。长子昂袭承爵位。