鸿沟之约后，项羽东归，刘邦追至阳夏，与韩信、彭越约期会师固陵。及期，韩信、彭越兵不至。汉军孤军冒进，被项羽回军一击，大败，刘邦入壁自守。
刘邦在固陵壁中问张良：“诸侯约而不至，奈何？”张良说：“楚兵且破，信、越未有分地，其不至固宜。君王能与共天下，今可立致也。”刘邦明白了，立刻遣使许诺：自陈以东傅海与韩信，睢阳以北至谷城与彭越。划出地界，刻符为信。信使带着符信分别赶往齐、梁。
消息传回成都时，公子高正在整理库存。簿念完固陵战报和裂土之约，公子高没有停笔，只问了一句：“汉王割的是谁的地？”簿说：“陈以东是楚地，睢阳以北也是楚地。”公子高说：“那汉王没有割自己的地。他是把项羽的地画成自己的，再分给韩信和彭越。这地契还没有到手，就先许出去了。”簿问：“这许得成吗？”公子高说：“许的人出兵，就能打下来。这一仗打到今天，比的已经不是谁更勇，是谁先拿到账本。”
这年十二月，韩信率三十万大军南下，彭越率军入梁地，英布、刘贾北渡淮水。项羽退至垓下，汉军四面合围。
垓下的夜，楚军已经断粮数日。
项羽在中军帐中听到四面都是楚歌，走出帐，对左右说：“汉皆已得楚乎？是何楚人之多也。”左右不敢答。这时候帐外有人报，成都使者求见。项羽一愣，旋即冷笑：“秦地又来送粟？”使者答：“秦市有约，楚军可取粟，记账。”项羽说：“汉军围得铁桶一般，粟怎么送进来？”使者说：“当日汉王围荥阳，秦粟走的是汉水。今日楚军围垓下，秦粟走的是小路。路是死的，人是活的。”他挥手，帐外跟进十来个驮夫，肩上都扛着一袋粟，放在地上，又出去，一袋一袋地扛进来。粟不多，总共也就几十石。项羽看了看他们，指着使者：“你们秦地到底站在哪一边？”使者说：“秦地不站边。账站边，谁有账，秦粟给谁。”项羽没有再问。粟留下。他回帐，没有吃，坐了一夜。
天明时汉军攻营，项羽率八百骑突围。南渡淮水，迷道，问田父，田父骗他指左，陷大泽中，被汉军追上。退至东城，身边只剩二十八骑。他分兵四向，斩将，刈旗，复聚。到乌江边，亭长舣船以待，对他说：“江东虽小，地方千里，众数十万人，亦足王也。愿大王急渡。今独臣有船，汉军至，无以渡。”
项羽勒马，看着江水。身后二十八骑都已带伤。江东就在对岸，一船可渡。他没有下马，只问亭长：“渡过去，然后呢？”亭长说：“江东子弟虽折，江东父老犹在，可聚兵再战。”项羽说：“江东八千子弟随我渡江而西，今无一人还。纵江东父兄怜而王我，我何面目见之？”他望着江水停了很久。
南边是江东，是他不肯回的地方。西边是秦地，是那个只认账的账房。东边是汉，是刘邦的天下。北边——天尽头是一片苍茫的原野。他忽然勒转马头，对左右说：“不渡了。不回江东，不降汉。往北。”诸将一愣。项羽说：“韩信三十万兵合围，是因为我还在中原。我若北去，汉军追不追？追，则中原空虚，刘邦不敢；不追，则楚旗北指，汉军永不能安枕。且北地万里，牧野纵横，可收游骑，可蓄牛马，五年之后，我依旧有兵。”
他说完，不再看江水，纵马北驰。
这一去，汉军追了百余里，被楚骑甩脱。张良劝刘邦再追，刘邦说：“他过江是困兽犹斗，他北去是去意已决。追回来，也不过是杀他；他走了，中原就少一个大敌。”遂不追。
项羽北渡黄河，过雁门，入阴山。所率残部不足三千，但都是百战余卒。他收拢塞外游牧部族，不称王，仍称“楚”，立帐于阴山之下。匈奴诸部落闻项羽名，多来附，亦有引骑来战者。项羽以三千楚骑破之，收其兵，并其地，不出两年，阴山以南皆属楚。
公子高得知项羽北迁的消息，已经是一个月后。他正坐在成都郡廨里核对春种账。簿念完消息，公子高没有抬头，问：“楚军的粮账，最后还了没有？”簿说：“未还。项羽北去，账无从追。”公子高说：“那笔账挂为活账。报简上注明：项羽，北去，存。”他写完这几个字，停了一下。
窗外褒斜道的雪还没有化尽。他提笔，又写了一行字，是锁进柜里的那行字下面新添的：“分粮是借，分种是根。借一次少一次，根一扎就是几十年。”底下多了一行：“借给项羽的粟，根没扎下去。账不销。人没死，根还能活。”