老渔人略有愠色地说："楚王为了追捕你，悬赏五万石粮食，还答应谁要是告发了你，就封他大夫爵位。我不要他那些，反而要你这蝇头小利？你太把我看扁了吧。"伍子胥知道失礼了，连忙向老渔人道歉。随后收了宝剑，向老渔人拜了拜，便接着赶路。他的目标是吴国，可是还没到吴国，他就生了病，不得不停下来。这样的话，路上的费用就得增加。他实在是没有什么经济来源，只能靠乞讨为生。这件事在某些人那里又落为笑柄，然而大丈夫就应该像孟子所说："道之所在，虽千万人，吾往矣。"
不管怎样，他总算到达了吴国。通过公子光的关系，他拜见了吴王僚，可是并未得到重用，这也属正常。想想看，一个带着小主子四处逃难的人又怎么会很快得到别国君王的认可？更何况他们还有为晋国做内应的前科。不过，这种时候，最好的心理状态便是不怕别人不识得我，只怕我没有才能。我若有才能，还怕没有用武之地吗？子胥就是这样一个心理素质特别好的人。他在吴国呆了很久，还是没有多少发言权。可他能调整心态，等待时机。
有一次，在楚国与吴国的交界处，两国养蚕的女子因为争夺桑叶而发生了争执。两国为此出动军队，大动干戈。吴国把楚国打败了，并夺了几座城邑回去。子胥可高兴了，想要劝吴王僚趁热打铁，把楚国整个都灭了。公子光知道子胥恨楚国，便疑心他是公报私仇，于是对吴王说："您不要听他的，楚国也没那么容易被打败。"吴王僚便没有动兵。子胥看出这公子光不是真心为吴王僚着想，他有篡位的野心。不如等到他把吴王僚干掉了，坐上君主的宝位之后，再出来辅佐他。
于是，他和胜一起退隐到了农村，种起田来。
