虞世南身体文弱，博闻强志。少年时与兄虞世基一起拜博学广识的顾野王为师。十余年勤学不倦，学到紧要处，累旬不盥栉。尤喜书法，与王羲之七世孙智永和尚友善。智永精王羲之书法，虞虞世南题跋像
虞世南题跋像
世南在智永的精心传授下，妙得其体，圆融遒丽，外柔内刚，继承了二王(王羲之，王献之)书法传统。他与当时的欧阳询、褚遂良、薛稷合称唐初四大书法家，而虞世南又是四人中最优者。他写的《孔子庙堂碑》深得唐太宗李世民的赞赏。唐太宗非常喜爱虞世南的字，并经常临写。相传有一天，唐太宗书“戬”字，但戈字还没有写好，正好虞世南进见，即提笔补写了一个“戈”字。唐太宗将两人合写的“戬”字给魏征看，说：“朕学世南，尚近似否? ”魏征看后说：“戈字颇逼真。”虞世南死后，唐太宗叹息道：“世南死后，无人可以论书。” 虞世南一生经历了南朝的陈、隋和初唐三个时代。陈文帝知世南博学，召为法曹参军。陈朝灭亡，与兄世基同入长安，做了隋朝秘书郎，后迁起居舍人。当时世基任内史侍郎，权倾当朝，荣华无比，妻子所用被服，尤胜王侯。虞世南虽与世基同住，仍以勤俭务本。隋灭后，李世民闻虞世南之名，引为秦府参军，又授宏文馆学士，与房玄龄同掌文翰，后来又担任著作郎。一次，唐太宗想在屏风上书写《列女传》，没有临本，虞世南在朝堂上一口气默写出来，不错一字，赢得朝中文士的钦佩。
虞世南虽然容貌怯懦，弱不胜衣，但性情刚烈，当政得失，直言敢谏。他多次讽劝唐太宗要勤于政事，并以古帝王为政得失，论证利弊。贞观八年(公元634年)陇右山崩，唐太宗问“天变”。世南以晋朝以来历次山崩为例，说：“臣闻天时不如地利，地利不如人和。若德义不修，虽获麟凤终是无补；但政事无阙，虽有灾星何损于时。然愿隆下勿以功高古人以自矜伐，勿以太平渐久而自骄怠，慎终如始。”唐太宗听后敛容反省。他一再劝阻唐太宗筑陵墓厚葬，使唐太宗有所收敛。他还严正劝阻唐太宗不要恣于游虞世南半身像
虞世南半身像
猎而疏于政事。这些都对当时的“贞观之治”起着积极的作用。唐太宗曾对大臣们说：“你们如果都象虞世南那样刚正忠烈，天下何忧不理。”
虞世南年逾古稀后，屡次上表求退，不许，被封为永兴县子，人称“虞永兴”。贞观十二年(公元638年)五月壬申（二十五）日（7月11日）卒于长安，享年八十岁。唐太宗十分悲伤，痛哭流涕，说：“虞世南对我忠心一体，拾遗补阙，无日暂忘，实为当代名臣，人伦准的。我有小失必犯颜直谏，而今亡故，朝延上下，无复人矣!”赐东园秘器，陪葬昭陵，赠礼都尚书，谥文懿。太宗还命画图象挂在宫中凌烟阁。
唐太宗曾称虞世南有五绝：“一曰德行，二曰忠直，三曰博学，四曰文词，五曰书翰。”虞世南的书法代表作是正书碑刻《孔子庙堂碑》，还编了我国第一部完整的类书《北堂书钞》共一百六十卷，摘录了唐初能见到的各种古书。这些古书现在大多失传了，但《北堂书钞》为保存我国古代文化典籍作出了重在贡献。他死后，将慈溪鸣鹤镇故宅改建定水寺，寺内有虞世南画像。他的子孙便迁居长安去了。
