苏武牧羊北海上！

卫律知道苏武终究不可胁迫投降，并报告了单于。单于越发想要使他投降，就把苏武囚禁起来，放在大地窖里面，不给他喝的吃的。天下雪，苏武卧着嚼雪，同毡毛一起吞下充饥，几天不死。

匈奴以为神奇，就把苏武迁移到北海边没有人的地方，让他放牧公羊，说等到公羊生了小羊才得归汉。同时把他的部下及其随从人员常惠等分别安置到别的地方。

苏武迁移到北海后，粮食运不到，只能掘取野鼠所储藏的野生果实来吃。他拄着汉廷的符节牧羊，睡觉、起来都拿着，以致系在节上的牦牛尾毛全部脱尽。

最初，单于派人向苏武游说，许以丰厚的奉禄和高官，苏武严辞拒绝了。匈奴见劝说没有用，就决定用酷刑。当时正值严冬，天上下着鹅毛大雪。单于命人把苏武关入一个露天的大地窖，断绝提供食品和水，希望这样可以改变苏武的信念。时间一天天过去，苏武在地窖里受尽了折磨。渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄。过了好几天，单于见濒临死亡的苏武仍然没有屈服的表示，只好把苏武放出来了。

单于知道无论软的，还是硬的，劝说苏武投降都没有希望，但越发敬重苏武的气节，不忍心杀苏武，又不想让他返回自己的国家，于是决定把苏武流放到西伯利亚的贝加尔湖一带，让他去牧羊。临行前，单于召见苏武说：“既然你不投降，那我就让你去放羊，什么时候公羊生了羊羔，我就让你回到中原去。”

与他的同伴分开后，苏武被流放到了人迹罕至的贝加尔湖边。在这里，单凭个人的能力是无论如何也逃不掉的。唯一与苏武作伴的，是那根代表汉朝的使节和一小群羊。苏武每天苏武牧羊北海上拿着这根使节放羊，心想总有一天能够拿着回到自己的国家。这样日复一日，年复一年，使节上面的装饰都掉光了，苏武的头发和胡须也都变白了。

在昭帝始元六年，即公元前81年，苏武终于回到了长安。第二年，上官桀、上官安父子和桑弘羊被人控告谋反，苏武和上官父子、桑弘羊原来关系很好，加上他的儿子也参与其中，苏武被罢官。昭帝死后，苏武因为参与了拥立汉宣帝，被赐爵关内侯