张汤是杜陵人。他的父亲担任长安丞,外出时,张汤作为小孩留守家中。父亲回来后,发现老鼠偷了肉,发怒鞭打张汤。张汤挖掘鼠洞、烟熏老鼠,抓到老鼠和剩余的肉,弹劾老鼠并严刑拷打,记录供词,审讯定罪后宣判,还带着老鼠和肉,完整结案后在堂下将老鼠分尸。父亲看到他的做法,发现他的文书措辞像老练的狱吏,大为吃惊,于是让他学习断案文书。
父亲去世后,张汤成为长安吏。周阳侯担任九卿时,曾经被关押在长安,张汤竭尽全力侍奉他。等到周阳侯出狱封侯,与张汤交往密切,带他遍见权贵。张汤在內史任职,担任宁成的属官,宁成认为张汤办事干练无差错,向丞相府推荐,调任张汤为茂陵尉,负责修建茂陵的工程。
武安侯田蚡担任丞相后,征召张汤为府史,举荐他补任侍御史。张汤审理陈皇后巫蛊案,深入追查党羽,汉武帝认为他有才能,升任他为太史大夫。他与赵禹共同制定各项律令,力求法令严苛,约束在职官吏。不久赵禹升任少府,张汤担任廷尉,两人关系融洽,张汤像对待兄长一样侍奉赵禹。赵禹一心奉公,不结党营私,而张汤则凭借智谋驾驭他人。起初担任小吏时,张汤就善于谋取私利,与长安富商田甲、鱼翁叔等人私下交往。等到位列九卿,他收纳接待天下名士大夫,内心虽然不认同,表面上却装作符合道义的样子与他们交往。
当时,汉武帝正推崇儒学,张汤审理重大案件时,想要附会古代义理,于是请博士弟子研究《尚书》《春秋》,补任廷尉史,公平处理疑难案件。上奏疑难案件时,必定先为汉武帝区分案件的原委,汉武帝认可的,就接受并记录下来,作为廷尉的既定法令,彰显君主的英明。上奏事情若受到谴责,张汤就退下谢罪,顺着汉武帝的心意行事,必定引荐正监、掾史中的贤能之人,说:“本来他们就向我建议过这样处理,正是因为我没有采纳,才导致陛下责备我,这是我的愚蠢所致。”他的罪责常常因此得以赦免。有时上奏事情得到汉武帝赞赏,他就说:“我不知道如何写出这样的奏书,是监、掾、史某人的手笔。”他想要举荐官吏时,就是这样宣扬别人的长处、开脱别人的过错。审理案件时,若汉武帝想要治罪的人,就交给执法严苛