乐毅先祖乐羊为魏文侯（魏斯，魏国开国君主）手下的将领。曾率兵攻取中山（参见魏灭中山之战），因功被封在灵寿，乐羊死后，葬于灵寿，从此乐氏子孙便世代定居在这里。中山复国后，又被赵武灵王所灭（参见赵攻中山之战），乐毅也就成了赵国人。
乐毅少年聪颖，喜好兵法，赵国曾有人举荐他出来做官。到了武灵王在沙丘行宫被围困饿死后，他就离开赵国到了魏国。
后来他听说燕昭王因为子之执政，燕国大乱而被齐国乘机战败，因而燕昭王非常怨恨齐国，不曾一天忘记向齐国报仇雪恨。燕国是个弱小的国家，地处偏远，国力是不能克敌制胜的，于是燕昭王降抑自己的身分，礼贤下士，他先礼尊郭隗借以招揽天下贤士。正在这个时候，乐毅为魏昭王出使到了燕国，燕王以宾客的礼节接待他。乐毅推辞谦让，后来终于向燕昭王敬献了礼物表示愿意献身做臣下，燕昭王就任命他为亚卿，他担任这个职务的时间很长。
