谢良佐对佛教的理解，深受程颢的影响。对于儒释之间的分别，他指出：“释与吾儒有非同非不同处。盖理之精微处，才有私意便支离了。”【736】这一论述，其实是对程颢思想的发挥。在另一则语录里，谢良佐曾引用程颢的话，阐说儒佛异同：“明道有言：‘以吾儒观释氏，终于无异，然而不同。’”【737】而认为佛教的根本出发点在于一己私意，则更是程颢批评释氏的重心所在。
然而，在儒佛之间细致的分疏上，谢良佐还是有其独到见识的：
余问：“佛说直下便是，动念即乖，如何？”谢子曰：“此是乍见孺子已前底事。乍见孺子底，吾儒唤做心，他便唤做前尘妄想，当了。是见得大高。吾儒要就上面体认做工夫，他却一切扫除，却那里得地位进步？佛家说大乘顿教，一闻便悟。将乍见孺子底心一切扫除，须是他颜雍已上底资质始得。颜子欲要请事斯语。今资质万倍不如他，却便要一切扫除，怎生得？且如乍见孺子底心，生出来便有，是自然底天理，怎生扫除得去？佛大概自是为私心。学佛者欲脱离生死，岂不是私？只如要度一切众生，亦是为自己发此心愿。且看那一个不拈香礼佛？儒者直是放得下，无许多事。”【738】
这里，谢良佐将佛教所追求的无念，比拟为“乍见孺子已前底事”，也就是作为四端之心的深层根据的性和天理。《上蔡语录》中还有另一则语录，可与此条材料相互发明：“释氏所谓性，乃吾儒所谓天；释氏以性为日，以念为云，去念见性犹披云见日。释氏之所去，正吾儒之当事者。”【739】在他看来，佛教对于形而上的天道，还是不无所见的。儒佛之所以殊途，其关键在于对心的理解。儒家认为四端之心是形上的天理（或本性）的具体显现，而释氏则认为心念并非源出于本性，而生自前尘妄想，要想见性，必须去念。【740】而佛教要去除的，正是儒家用工夫的所在。在他看来，佛教的问题出在两个方面：其一是“见得太高”。在儒家的传统里，即使像颜回那样高的资质，也要从“克己复礼”的具体工夫上做起。而佛教则不论资质如何，概要“一切扫除”；其二是“私心”。正因为有私心，才要脱生死；也正因为有私心，才要将“乍见孺子底心”也一并扫除。然而恻隐之心是天理自然，无论如何也去除不了的。在谢良佐看来，即使是“度一切众生”这样的大悲心，也是为自己而发。
除见理之不同外，儒佛在具体的修为侧重上也有区别：
吾儒以名利关为难透，释氏以声色关为难透。【741】
而之所以有此区别，主要是因为二家对声色的理解有异。在儒家看来，“血气之属有阴阳牝牡之性”，是自然的道理。因此，不强调断绝声色，【742】而只是以礼义引导、约束而已。而释氏则要彻底断绝，所以以透达声色一关为难。儒家以淑世为己任，精进于道德之域，易生矜伐好名的弊病，因此强调透名利关。
