政治攻势终于取得效果，两个日本士兵晚上借出城修理铁丝网乘机投奔到攻城这边来了，其中一个已经负伤，走路一瘸一瘸的。他们反映，天皇投降的消息，日寇内部再也封锁不住了，日寇思想上十分混乱，但部分指挥官仍然妄想执行上级命令，向国民党投降。
就在这时，国民党一面密令高邮日伪“共同固守待援”、“坚决抵抗到底”；一面公开派出二十五军一百零八师师长顾凤阳率领全部是日械装备并配有日军顾问的一个团，勾结日军五百余人，伪军三四千人，由仙女庙出动，向已经解放的邵伯进犯，并企图增援高邮。
看样子不打不行。又高又厚的高邮城墙，既是日军的军事工事，也是日军心理的防线，不打开它，日伪是不肯投降的。粟裕决定立即攻城。
二十五日晚，天空黑沉沉，下着小雨。陶勇一声令下，炮兵首先对东门内的日寇司令部实行集团射击，牵制敌军主力于东门，以利于我军主攻方向作战。与此同时，八纵队六十四、六十六、六十八团分别从城北、城东、城南向高邮城发起猛攻……。
主攻方向定在北门和南门。六十四团是著名的“老虎团”第七团的新番号，他们是从城北面攻击。第一营三连突击班长袁金生把梯子靠到城墙上。城墙有九米多高，从下面往上一看，黑压压的显得特别高大。梯子是用三根竹子连接起来的，爬上去摇摇晃晃吱吱呀呀作响。战斗组长蒋万金带头爬上去，眼看快到城头，日寇突然伸出许多钩镰枪。钩镰枪是一种特制的城防武器，很厉害，矛头边带有弯钩，能刺能推还能拉。爬在几丈高竹梯上的人，本来摇摇晃晃的，只要给带着一下就要摔下来，如果刺不着人，钩镰枪还可以把竹梯推倒或拉歪。可是蒋万金动作很快，人还未到，手榴弹已经扔上了城头。一声巨响，把日寇吓得逃开了，就在这烟雾弥漫的一刹那，突击班的勇士们跃上了城头。随后坚守在城头上，像一把锋利的尖刀把日军的城墙防线挑开一个缺口，又像一根钉子钉在那里。
敌人的防线被突破后，经过激烈巷战和七八次反复冲杀，敌被迫从城西半部龟缩到了城东半部，进入日军司令部“洪部”。战至二十六日傍晚时，城里枪声渐渐变得稀疏，攻城部队在接近日军司令部时，日军已很混乱，有的地方日军仍然在顽抗，有的不打枪了，但也不放下武器，只是木然地望着攻城部队过去。司令部的日军已经放弃顽抗，一伙一伙的坐在地上烤火。跟随进攻部队突进且与敌接触六十六团的姚政委向指挥部报告：日方声称愿意投降，但坚持要同代表谈判。
陶勇派政治部主任韩念龙、副主任谢云晖与日方代表谈判，参谋杨起作为谈判书记官，跟他们一起进入日军警备司令部。他们到达司令部门口时，一个日本军官出来了，年纪约五十岁，目光阴森，全副武装，挎着指挥刀，笔直地站在那里，大声地说：“我是日本皇军派遣部队最高司令官，我只同你方最高代表谈判。”
原来他就是日军独立第九十旅团的岩奇大佐！
韩念龙严厉地说：“我就是最高司令官代表，现在命令你们无条件投降。现在我只给你二十分钟时间，否则，我军将发动全面总攻，彻底消灭你们！”
韩念龙话音刚落，岩奇身后突然蹿出一个鬼子，手拿一把军用锹，向韩念龙头部劈来。站在一旁的杨起眼疾手快，冲上前去，制服了这个鬼子，并夺下军用锹……
岩奇大佐见此情景不得不放软口气，说：“我们旅团中心在南京，我们愿意离开高邮回到南京去；城里的弹药给养和重武器，我们可以全部留交给你们。为了到南京去时路上安全，我们的轻武器将随身带走。”
韩念龙当即拒绝：“你们只能无条件投降，你们天皇的命令，也是叫你们无条件投降，我们保证你们和你们的家属生命安全，不侮辱你们的人格，你们投降后的一切安排，我们自然会按我军优待俘虏条例妥善处理。”
这时候，日军司令部里不断有日军军官进出，交头接耳，好像是在商量什么，还不时在他们的司令官耳边讲几句，岩奇突然变得客气起来：“代表请坐，我们愿意无条件投降！”
