虞荔字山披,会稽余姚人。其祖父虞权,任梁朝廷尉卿,永嘉郡太守。父亲虞检,任平北始兴王谘议参军。
虞荔年少时聪慧敏捷,有志操。九岁时,跟随伯父虞阐拜访太常陆亻垂,陆亻垂询问他与五经有关的十件事,他对答如流,没有遗漏,陆亻垂觉得他不同寻常。后曾到隐士何胤处,恰逢太守衡阳王也在那儿,何胤把虞荔介绍给衡阳王,衡阳王想会见虞荔,他却推辞说:“没有官爵,无颜拜见。”于是衡阳王认为他志操高尚,很钦重他,回郡后,召任虞荔为主簿,他又以年纪轻为由推辞。长大后,他风仪俊美,博览群书,擅长写文章。初任梁西中郎行参军,不久又代任法曹外兵参军,兼丹阳诏狱正。那时梁武帝在城西建士林馆,虞荔于是撰写碑文,上奏武帝,武帝诏令把碑文刻在馆内,又任虞荔为士林学士。不久虞荔任司文郎,又调任通直散骑侍郎,兼中书舍人。当时他身边的人,大多参与争夺卿相职位,朝廷内外的军政大权,时有控制,只有虞荔和顾协淡然处之,住在西省,以通晓文史而知名,当时人称赞他们清廉。不久虞荔任大著作。
侯景之乱时,虞荔带着家人住进台城,任镇西谘议参军,舍人职务不变。台城陷落后,他逃回乡里,侯景之乱平定后,元帝征召虞荔任中书侍郎,贞阳侯任命他为扬陈书州别驾,他都未就职。
张彪据守会稽,虞荔当时正在那里。文帝平定张彪之乱后,高祖给虞荔写信说:“丧乱以来,贤臣哲士凋散,你才能出众,闻名许、洛,现今朝廷百事待兴,广求英才,你岂能栖居东南隅,只顾保全自身呢?现令你携家来京,希望你帮助朝廷渡过虚滞阶段。”接着文帝又写信给他说:“你在东南一带有美名,声誉很大,本应来到京许,共同匡正时弊,而你却隐迹故里,独善其身,难道这称得上宏远之志吗?愿你整点行装,且来京都。开诚相见,就在现在。”虞荔迫不得已,便应命赴京。高祖崩,文帝继位,任虞荔为太子中庶子,侍奉太子读书。不久任大著作,东扬州、扬州二州大中正,太子中庶子职务不变。
当初,虞荔母亲随他住进台城,死于城内,不久台城陷落,没法行礼仪节,从此,虞荔粗食布衣,不听音乐,虽然官职高待遇好,而他居所简陋,毫无营造之意。文帝很器重他,常常带在身边,以便随时咨询。虞荔品性沉静细密,少言语,他的诤言劝谏之语,他人没有机会得知,所以无法记载下来。
那时虞荔的二弟虞寄暂居闽中,投靠陈宝应,虞荔每每谈到他就流泪。文帝同情他并对他说:“我也有弟在远方,思念之情甚切,他人岂能了解。”文帝便下诏向陈宝应索求虞寄,但陈宝应始终不放虞寄。虞荔因此生病,文帝多次探视。文帝诏令虞荔让家人入禁城探病,而他以禁城非私人住所,乞求住到城外,文帝不答应,便让他住在兰台,皇上多次探视,且持诏书前往探视的人络绎不绝。文帝又以虞荔食素太久,瘦弱不堪,下诏说:“你能独钟布衣素食,实为高尚,只是你年岁已高,精力减退,朕正想倚重委任于你,非常希望你身体健壮,现给你鱼肉,你不要固执己见。”虞荔还是不从命。天嘉二年(561)去世,时年五十九岁。文帝很是伤感,追任他为侍中,谥号德子。当虞荔的灵柩将送回故里时,文帝亲往临送,时人以为荣显。其子虞世基、虞世南,都是年少即有名气。