时光荏苒，很快牛长大了，叔孙豹就让牛做了叔孙家的管家，更加信任。直到孟丙和仲壬两人成年之后，叔孙豹才派人把他们给接回来。
“这两个齐国人怎么看上去这么像公孙明？”叔孙豹怀疑这两个儿子根本就不是自己的种，因此很不喜欢他们，称他们为齐国人。
在谁来做继承人的问题上，叔孙豹很纠结。按理说，应该立孟丙，因为这是嫡长子。可是，叔孙豹死活看不上这个儿子，而且怀疑他不是自己的儿子。立牛吧，说不过去，因为牛的老娘是个野人，换今天的话说，连个户口都没有，根本就没有名分，所以牛完全没有资格。叔孙豹还有一个小儿子叔孙婼，是后来娶的老婆生的，叔孙豹倒也喜欢他，可是立他还是有些不够名正言顺，况且几个哥哥恐怕也不满意。
就这样，继承人的问题一直拖了下来。眼看着自己岁数越来越大，这事情也就越来越不好办。
