到1970年底，索罗斯公司业绩辉煌，乔治似乎也飞黄腾达。按照一般人的逻辑，他应该可以轻松下来，过一种平静安逸的生活了。可是他不能。他的父母溺爱他和他的哥哥，但是，他却不能这样对待妻子儿女。全身心地沉浸于工作，他几乎没有留一点时间给妻子，更不用说孩子了。
1977年，他的婚姻破裂。正如他所说：“我已经和公司打成一片。它以我为生，我也和它生活在一起，日夜形形不离……它是我的情人。我害怕失去也担心做错，并尽量邂免失误。这是一种悲惨的生活。”
一年以后，也就是1978年，他和妻子离婚。
就在他离婚的那天，他投入了一个22岁名叫苏奶·韦怕的女人的怀抱，这个女人是一段时间以前在一次舞会上认识的。她的父亲在纽约制作手提包、鞋和鞋子附件。苏栅曾在巴纳德大学学习艺术史，后来，协助制作马克·罗森科和威廉·德·科林等”20世纪画家的作品。“我今天刚和我妻子离婚，你愿和我共进午餐么？”索罗斯说道。5年以后，他和苏栅·韦伯，在长岛的南安普顿举行了非宗教仪式的婚礼。
1979年，索罗斯只有49岁。他拥有足够他一辈子花销的钱财，但是他第一次感到了紧张的工作带来的痛苦。公司发展了，需要更多的雇员。职员便由原来的3个增加到12个。他不再是一个只需同一个或二个人交谈的小公司的经营者。现在他不得不为一些新的事情操心：给别人分配任务。按照他的一些助手的说法。他有一点这方面的能力。
财源滚滚而来，要求作出越来越多的投资决定。而作出正确的有发展前途的股票的排列，确非易事。
而已，罗杰斯让他大伤脑筋。他们之间一般是可以消除分歧的。但是，现在，出现了紧张局面。罗杰斯并不想建立如此大规模的公司。当索罗斯试图接纳另一伙伴，想对他经过训练使之成为自己的接班人时，他和罗杰斯陷入了尴尬之中，罗杰斯不同意这样做。“他不赞成我考虑过的任何一个人，也不能容忍周围的其他人。”索罗斯说，“他使得其他人活得太艰难。”
他们伙伴关系的解除是很滑稽的，因为1980 年是索罗斯和罗杰斯最成功的一年。但在这年5月，罗杰斯离开了公司，带走了他20％的资金利润，价值1400万美元，剩下索罗斯80％的利润，价值5600万美元。
罗杰斯说明他离开公司的原因时，认为：公司规模太大，职员太多，他不得不花很大精力去安排他们的假期和工资提升。索罗斯和罗杰斯在公开场合都没有着力去说明他们分裂的原因。在和我一次简短的谈话中，罗杰斯对口忆过去毫无兴趣。从他说话的语调，明显可以看见，他对那些事情记忆犹新，并十分痛苦。
