卫绾是代郡大陵人，因有弄车之技当上郎官，服侍汉文帝，累积功劳逐渐升为中郎将，性情敦厚谨慎，没有其他杂念。
卫绾得罪景帝
孝景帝做太子时，曾召请皇上左右近臣宴饮，卫绾装病不去。汉文帝临逝前嘱咐汉景帝说：“卫绾是个忠厚长者，好生对待他。”到汉景帝即位，过了一年多，对卫绾不闻不问，卫绾则办事日益谨慎认真。汉景帝前往上林苑，命中郎将卫绾作为护卫共乘一车。回宫后汉景帝问：“你晓得为什么能和我同乘一车吗？”卫绾说：“我是代郡的戏车之人，侥幸因功升为中郎将。我不知道为什么。”皇帝质问他：“我做皇太子召请你，为什么不肯来？”卫绾回答：“真是死罪，我病了。”皇帝赐他剑，卫绾说：“先帝已赐给我六柄剑了，臣不敢再接受赏赐。”皇帝说：“剑是容易被人拿去交换的，难道还独有你把那些剑保存至今么？”卫绾说：“都保留着。”皇上让取来六柄剑看，剑都在鞘中，不曾取用过。
卫绾被黜还乡
卫绾的下属郎官有过失，他总是遮掩，也不与别人争执，有了功劳，总是谦让给他人。皇帝认为他清廉忠实，没有其他心肠，就任命他为河间王太傅。吴楚七国之乱时，朝廷诏令卫绾为将，领河间兵力讨伐叛军，因此立下功劳，升任中尉。三年后，因军功封为建陵侯。第二年，皇帝废除太子刘荣，杀了太子的外家亲属栗卿等人。皇上因为卫绾年老德高，不忍心动他，赐给告假还乡，另派郅都审捕栗氏。
卫绾接任丞相
之后，汉景帝立胶东王为太子，召回卫绾，任命为太子太傅，升任御史大夫。五年后，替代桃侯刘舍做了丞相。朝中理事，守职分而已。不过他从开始当官直至位居丞相，始终无所建树也无有过失。皇帝认为他敦厚老成适于少主，对他很尊重信任，赏赐很多。他做了三年丞相，汉景帝崩逝，汉武帝即位。建元年间，因当初汉景帝卧病之时，官府中多有无辜受冤的囚犯，身为丞相未能负责申冤，被免去相职。卫绾去世后，谥号哀侯。
卫绾轶事典故
汉武帝即位后，窦太后依然左右朝政，不允许改变治国思想。汉武帝即位不久，就下诏“举贤良方正能言直谏之士”。丞相卫绾提出在所举的贤良文学方正之中罢除法家和纵横家这两个学派的学者，虽然卫绾没有提“罢黜百家”，但依然引起窦太后的不满，几个月后，卫绾被借故免去了丞相的职务。
