杨岳斌原名载福,湖南善化人;原籍干州厅。祖胜儒,从剿干州苗匪,在永绥王瓜寨殉节。父秀贵,直隶宣化镇游击。载福幼嫺骑射。道光二十六年,由行伍补长沙协左营外委。二十九年,新宁匪首李沅发就擒,载甯在事出力,赏戴蓝翎。
咸丰二年,粤匪窜湖南,载福守湘阴有功,升宜昌章营千总。三年,在籍侍郎曾国藩督办团练,治水师于衡州,调载福领右营。四年四月,偕生员彭玉麟攻湘潭踞贼,载福骽臂俱伤,裹创鏖战八日,十捷克之。擢守备,赏换花翎。六月,进规岳州。载福率水师伏雷公湖,彭玉麟伏君山,别队趋南津港,诱贼船出,佯却。贼追之,伏起,尽焚其船。官军入岳州。