过了五分钟，敌人第三、第四、第五辆车连续而至，车上约有三十多个鬼子。敌第三车被击中于山间公路中段，第四车被击中后停于路南口，而其第五车自行停止在路北口以北。当下粟裕和埋伏于公路两边的指战员从四面八方冲向敌人，将第三车和第四车的鬼子团团围住。
鬼子看到自己被包围，有两个军官右手高举军刀，带领剩下的二十多个鬼子，嚎叫着冲来，准备用刺刀拚杀。粟裕派另一机枪占领路北口右侧高地，实行瞰制射击，打死鬼子十三个，打伤七八个，鬼子才全部溃退。
敌第五车超出我军机枪火力射程之外，敌卡车仅有踏板，左、右、后均无栏板，听到枪声，车上鬼子全部同时跳到车下，利用地形地物，潜伏于公路之两侧草丛中向我方射击。后来见势不妙就往后退。预先埋伏在路北口的便衣队，因使用驳壳枪，火力不够，不能阻止鬼子后撤，使鬼子第五车得以装载伤兵数名逃回，残余鬼子躲入公路西沿的水沟里泅水逃走。
战斗历半小时结束，战士们开始收集战利品及焚毁汽车。战士们早听说过日本鬼子：他们训练有素，武器精良，在战场上打得国军落花流水，在中国如入无人之境；他们气焰嚣张，肆无忌惮，到处野蛮屠杀，疯狂掳掠，奸淫妇女，焚烧村镇，单在南京，他们就杀了几十万人，造成罕见的混乱、恐怖和悲惨的图景。来到江南后战士们亲眼看到过日本人炸毁的房子，就是还没见过日本人的，所以都围着那些死了的日本人看稀奇。邹志成打死的那个嘴上留胡子，大概三十多岁，是一个老鬼子！
事后查明，邹志成打死的名叫土井，是一名少佐；被温国德杀死的鬼子名叫梅泽武四郎，是名上尉。他们隶属于以内山英太郎为旅团长的日军野战重炮兵第五旅团。当时这个旅团正奉命调回日本，因此运输繁忙，也因此在后来的侵华日军中没有再出现。
打了胜仗的战士们兴高采烈。作战参谋王培臣将打死的日军的长筒皮鞋套在自己脚上，又把日本军刀往肩上一扛，格外的自豪和神气。
粟裕下令：撤！——镇江离这不过十五公里，敌人的援军不出半个小时就会赶到。
因参加伏击的部队人员太少，除担运自己的伤员外，仅取回一部分重要的军用品，不得不将车上其余物品毁弃，然后带着缴获步枪、手枪、军刀、钢盔、日钞分路撤退。附近群众闻讯赶来帮助运输伤员。
刚撤离战地约四里时，自镇江增援的敌人大致有十七卡车，坦克一辆，赶至韦岗大肆轰击，炸弹、炮弹、机枪，响成一片。敌人不知新四军去向，就将附近房屋焚毁。
听着那些枪炮声，那些干部战士都伸舌头：“好险！要不是粟司令能掐会算，这仗难打！”
随后敌机三架亦赶来盘旋低空侦察，王培臣肩上扛一把日本军刀，穿着日本长筒靴子，陷在烂泥田里拔不出来。这时，敌机朝他飞过来扫射，王培臣只好脱掉靴子，扛在肩上，跑到山林里。
粟裕看到后笑王培臣：“打了胜仗，还这样狼狈！”
粟裕率参战人员赶到上元庄与未参战人员会合，当晚进驻句容县白兔镇附近上兰、贡甲宿营，第二天，经宝埝镇到前隍村与一支队司令部胜利会师。
陈毅听了韦岗战斗的经过十分兴奋，起身踱步吟诗一首，以示祝贺和赞扬：
“抗日旌旗到江南，日夜惊呼敌胆寒，镇江城下初遭遇，脱手斩得小楼兰”。
