魏相字弱翁,是济阴定陶人,后来迁徙到平陵。他年轻时学习《易经》,担任郡卒史,被举荐为贤良,因对策成绩优异,担任茂陵令。不久,御史大夫桑弘羊的门客冒充御史在驿站停留,县丞没有及时拜见,门客愤怒地捆绑了县丞。魏相怀疑其中有奸情,逮捕了门客,审查后治了他的罪,判处门客死刑并在街市示众,茂陵因此治理得很好。
后来魏相升任河南太守,禁止奸邪之事,豪强都畏惧服从。恰逢丞相车千秋去世,在此之前车千秋的儿子担任洛阳武库令,自己看到父亲去世,而魏相治理郡务严厉,担心长久下去会获罪,于是自行免职离去。魏相派掾吏追赶呼唤他,他最终不肯返回。魏相独自遗憾地说:“大将军听说武库令离职,必定会认为我趁丞相去世而不优待他的儿子。让当世的权贵怨恨我,危险啊!”武库令向西前往长安,大将军霍光果然因此责备魏相说:“年幼的君主刚即位,认为函谷关是京师的屏障,武库是精兵聚集之地,因此让丞相的弟弟担任关都尉,儿子担任武库令。现在河南太守不深入考虑国家大计,只看到丞相去世就驱逐他的儿子,多么浅薄啊!”后来有人告发魏相杀害无辜,事情交给有关部门审理。河南郡在中都官服役的士兵有二三千人,拦住大将军霍光,自己请求再留任服役一年来赎回太守的罪过。河南郡一万多名老弱百姓守在函谷关想要入关上书,关吏把这件事上报。大将军霍光因为武库令的事情,就把魏相关进廷尉监狱。魏相被关押了很久,过了冬天,恰逢大赦被释放。又有诏书任命他代理茂陵令,升任扬州刺史。他考察核查郡国守相,贬退了很多不称职的人。魏相与丙吉关系友好,当时丙吉担任光禄大夫,写信对魏相说:“朝廷已经深知你治理的政绩,将要重用你了。希望你稍微谨慎行事、保重自己,收敛锋芒。”魏相心里赞同他的话,收敛了自己的威严。在扬州任职两年后,被征召为谏大夫,又担任河南太守。
几年后,汉宣帝即位,征召魏相入朝担任大司农,升任御史大夫。四年后,大将军霍光去世,汉宣帝思念他的功德,任命他的儿子霍禹为右将军,哥哥的儿子乐平侯霍山又兼领尚书事。魏相通过平恩侯许伯