刘备获报刘琮降曹，即召诸葛亮、徐庶等商议。诸葛亮知曹兵强大，而樊城之军仅万余人马，料难对敌，便向刘备提出：撤出樊城，退守江陵。

刘备于是采纳其计，当即率军撤出樊城。兵过襄阳时，刘备请刘琮出来相见，刘琮没有脸面出来，刘备只得失望地离去。

荆州的百姓及刘表旧部的一些属将听说荆州难保，便携儿带女随同刘备南逃。到了当阳（今湖北省当阳市），人数竟增到十余万人之多，辎重车达数千辆，道路拥塞，一天才走十余里。

诸葛亮见这样撤退，容易全军覆没，和刘备商议后，派关羽率领水军，驾战船数百艘，由水路先行，赶往江陵，等候后撤人马在那里会合。

诸葛亮又叫张飞断后，赵云保护文官武将的家眷，照顾百姓，分头夺路南撤。关羽和张飞听了，心里不放心，问刘备：“要是路上有个意外，兄长您怎么办？还是上船先行吧！”

刘备听了，连连摇头道：“要成就大事，须以百姓为本，荆州父老乡亲如今都跟随着我，我怎能忍心丢开他们不管呢？”坚持要与众人同行。

曹操接到刘琮的降书后，率军进驻襄阳，封刘琮为侯，任青州刺史；另封他的部下蒯（Kuǎi）越、蔡瑁、张允等十五人为侯。他听说刘备逃往江陵，知江陵是荆州军事要冲，那里还囤有军械粮草，便挑选五千精锐骑兵，日夜兼程追赶刘备。

曹军一日一夜追了三百多里，终于在当阳的长坂坡追上了刘备的后军。

诸葛亮见曹操兵到，着急地对刘备说：“将军快走，别再耽误了。”刘备遂令张飞断后，赵云保护家小，糜竺、糜芳、简雍他们照顾百姓，自己带着诸葛亮、徐庶先行一步。