当这支舰队最终于1905年5月驶入西太平洋时，日本人干净利落地把它击毁了。俄国的34艘军舰几乎全军覆没，而日本人只损失了三艘鱼雷艇。俄方阵亡者近5000人，日方阵亡者仅110人。
沙皇再也不能不承认俄国战败的事实了。罗斯福派美国驻俄大使到沙皇的乡间别墅去会见沙皇，传达了美国总统的坦率直言，指出俄国处境已“绝对毫无希望”，并奉劝沙皇赶紧避免“必然的灾难”。尼古拉终于同意谈判了，但条件是日本人也愿意谈判，而且还不能让日本人知道是他沙皇首先做出退让。但这沙皇哪里知道，日本人早已请求美国总统出面调停，因为他们虽然节节胜利，却已筋疲力竭，难以为继，希望战争告停。
沙皇同意谈判后，罗斯福发出了公开邀请，请日俄双方会晤和谈判，寻求解决方案。双方都接受了邀请。第一步迈出去了，罗斯福已成功地让交战双方同意坐到谈判桌旁。英国一家报纸为美国总统的“外交本领”欢呼，称赞他“从容精致，非同一般”。
罗斯福听到这样的恭维自然很得意，但是他也知道，让双方坐下来谈判是一回事，要谈成一项条约则完全是另一回事。存在着不少问题，例如在中国和朝鲜的势力范围，对于日本已攻占地区的控制权，俄国要付的战争赔款，等等，在这些问题上，双方立场均相去甚远。
美国总统最初建议双方在满洲或欧洲某地举行会谈，大概是因为他希望避免在万一谈判失败时承担责任。然而经过几个星期的折腾，双方只同意在美国谈判。在会谈之前，双方都摆出了极端强硬姿态，扬言在某些关键问题上没有谈判的余地。罗斯福尤其不信任俄国人，认为他们“腐败，无能，言而无信”，很容易把事情弄糟。
罗斯福知道，不论谈判是由于什么原因而失败，罪责都会落到他一个人身上。他请英国和法国帮忙，但均遭拒绝。他说过，“我完全明白，全世界都在看着我，而一旦会谈失败，对我的责备也将是全世界的。但只好如此了。”
当俄日双方代表团启程赴纽约时，许多观察家都认为只有和谈成功，才能防止一场全球冲突。历史学家亨利·亚当斯在一封致友人信中写道：“我不敢想像这次和谈结局会是如何……我真是不寒而栗……现在一定会开始出现一场大灾难。”
1905年8月5日，在距纽约长岛罗斯福总统之家较近的奥伊斯特湾，布满了大大小小的各种船舶。最引人注目的是总统的游轮“五月花号”，罗斯福要在这艘船上主持和谈的正式开幕式。(首都华盛顿此时酷热难当，不宜于开会。)总统莅临，受到21响礼炮欢迎。此后礼炮几乎响个不停，因为一些外国外交官以及美国内阁成员和文武官员陆续登船。总统派了两艘完全一样的快艇到纽约市迎接日俄两国的和谈代表团。和谈的开场非常关键，罗斯福将介绍日俄的代表头一次见面，并为和谈定下基调。此时万一出个差错，或是日俄任何一方感到受怠慢，都可能使和谈尚未开始即告流产。
日本人先到，他们乘坐的快艇顺着专门让开出来的航道驶近“五月花号”。日本代表团的团长是外相小村寿太郎。小村又瘦又矮，身高5英尺多一点，长相显得比他的48岁年龄更老一些。罗斯福倒是希望日本派来另一个人，因为他知道小村外相对和谈持苛刻条件。小村则担心万一他谈出来的和约对日本不利，他也许会丢脑袋。
俄国代表团随即到达，其团长登临“五月花号”时，在场的一些观察家不禁倒抽一口气，因为这位俄国代表跟日本代表形成的反差太大了。他留着胡子，又高又大，差不多有6英尺半高，似乎体现出俄国的疆域广袤。他名叫谢尔盖·维特，并不受沙皇尼古拉宠信，因为他从一开始就反对跟日本开战。尼古拉本来先后物色过另外两个人选，但那两个人都借口有病而未受命，尼古拉才只好派出了维特。(维特则认为尼古拉比一个善心孩子强不了多少。)
维特对和谈不抱多大希望。沙皇给他规定了强硬方针。几天前，维特已对罗斯福说过，如果日本人不妥协，俄国就要“血战到底”。他还认为罗斯福没有足够的本领把这么重要的一场外交谈判引导到成功。当他乘坐的快艇驶向奥伊斯特湾时，他还嘀咕罗斯福“是个典型的美国人，没有外交经验，又不拘泥于礼节，会把整个事情弄糟……假若先给日本天皇祝酒再给我们沙皇祝酒，我是不会忍受的”。
俄国代表团登船，罗斯福总统介绍了俄日双方，接着请他们共进午餐。席位安排会惹出尊卑上下的麻烦，所以午餐采用了自助餐形式，坐椅是随便放在墙角，谁也说不出什么意见。
罗斯福习惯于高谈阔论，先声夺人，但他年轻时也在纽约市起居室里花了足够的时间潜心学习，学会了在必要时如何做到彬彬有礼。午餐在轻松随便的气氛中进行，他轻松地与双方代表闲聊，对俄国人讲法语，对日本人讲英语。大家进餐后，他才站起来致祝酒辞。维特竖起了耳朵，日本人也紧张地细听，都想听听他的祝酒将是谁先谁后?
