南宋朝廷一意投降，谢道清加给文天祥右丞相兼枢密使的称号，要文天祥和左丞相吴坚等去元军议降。文天祥打算利用这一机会到元军中探听情况，回来再作抗战的部署。不料，伯颜放回吴坚等人，将文天祥扣留在军营，随后又押解北上。三月，伯颜入临安，将宋恭帝及后宫嫔妃并宗室官吏俘虏北上。
宋恭帝被俘，南宋实际上已经从形式上宣告灭亡，但这并不代表南宋的历史就此结束，南宋遗臣先后拥立了两位皇帝，奋力抗元，坚持斗争三年，从而在中国历史上留下了一幅极为悲壮的画卷。
临安陷落时，益王赵昰和广王赵昺正逃往婺州（今浙江金华），伯颜进入临安后，派元军追赶，他们又逃到温州。南宋不甘心投降的文臣武将听到消息后，纷纷赶往温州投奔二王，力图东山再起。这其中有礼部侍郎陆秀夫和将领苏刘义，张世杰不久也从定海到来，加上之前从临安逃到温州的宰相陈宜中。德祐二年（1276）五月初一，南宋遗臣拥立益王赵昰为帝（宋端宗），改年号为景炎。尊宋端宗母杨淑妃为皇太妃，进封赵昺为卫王。陈宜中任左相兼枢密使，张世杰任枢密副使、陆秀夫为签书枢密院事，苏刘义为殿前指挥使。同时下诏李庭芝等各地尚在抗战的将领分道出师，兴复宋室。
文天祥被元军押解北上，经过镇江时，乘元兵不备，和下属杜浒等十二人于夜间逃出，直奔真州。当时有谣传说元军派一个宋朝投降的丞相回去劝降。坚守扬州的李庭芝误以为文天祥就是此人，命真州守将苗再成杀文天祥。幸好苗再成不忍心下手，将文天祥骗出城外，故意让他离去。文天祥被误解后，还想到扬州找李庭芝说个明白，不料李庭芝已发出告示缉拿他。文天祥只好改名换姓，从海上赶到温州，途中经历了九死一生。这期间，文天祥写了很多诗，后辑成一集，题名《指南录》，记叙了他这次异常艰险的行程。文天祥到达福州，立即被任命为枢密使，同都督诸路军马。
即使在大敌当前的情况下，小朝廷仍然陷入了党争，张世杰大力排挤文天祥等人。文天祥对张世杰擅权极为不满，又与宰相陈宜中意见不合，于是离开了小朝廷，以同都督的身份在南剑州（治今福建南平）开府，号召各地起兵。
景炎二年（1277年），文天祥从福建进入江西，江西各地人民纷纷响应。文天祥率众夺取了不少县城，进驻兴国，派部将赵时赏、邹沨分别领兵攻打赣州和吉州的州城。元军李恒部发动反攻，赵时赏、邹沨均战败，与文天祥一起撤到庐陵。元军追至庐陵，文天祥部下的老将巩信率领士兵数十人守方石岭的山口，为了掩护文天祥撤退，巩信等全部牺牲。第二天，文天祥一行又被元军追及。为了让文天祥脱身，赵时赏冒称是文天祥，被元军抓去，被害牺牲。文天祥收拾残部，进入五岭山中。次年二月，进兵广东海丰，向潮州移动，准备和张世杰部会合。
景炎三年（1278年），元军派出水军，从水路追击宋端宗小朝廷。宋端宗从潮州一直被逃到碙洲（今广东吴川县南海中）。当时，张世杰等打算去往占城（在越南南部），以作为长久之计。宰相陈宜中主动请求先去占城联系相关事宜，结果却乘机逃走，一去不回，后来死在暹罗国（今泰国）。
宋端宗时年十一岁，还是个孩子，一路担惊受怕的逃亡生活，又因为在海上受到飓风的惊吓，不久得病而死。
宋端宗一死，群龙无首，许多大臣灰心丧气，打算就此散去。眼看小朝廷就要分崩离析，陆秀夫挺身而出，大声说：“如果大家都走了，度宗皇帝还有一子尚在，将如何处置！古人有靠一城一旅复兴的，而我们现在百官有司都在，有上万将士，只要老天不绝赵氏，怎么不能重新立国呢！”于是，陆秀夫、张世杰又拥立七岁的卫王赵昺作皇帝，由杨太妃垂帘听政，陆秀夫、张世杰协力辅佐。
张世杰认为碙洲不可久留，他提到在新会县南八十里的海中，有一座崖山，地势险要，可扼以自守。于是，这年六月，宋帝赵昺的小朝廷迁到崖山。张世杰派人入山伐木，造行宫及军屋千余间，当时尚有官、民、兵二十余万，多居住在船中，资粮则从广东沿海州郡征集。
