后人反对“存天理去人欲”之说，大都是撇开“天理”这个参照物，孤立地理解宋明儒所说的“人欲”，将其理解为生理学、心理学上的概念，并拿生理学、心理学上的“人欲”概念，说出一些诸如“饮食男女之欲何人不有”之类的言语，以此来反对“存天理去人欲”之说。这种反驳纯粹是无的放矢、文不对题。宋明儒不仅没有要把人的生理、心理等感性欲望去除净尽的意思，而且他们的“天理”还部分地保全着这些感性欲望。
“天理”之中没有道德上的“恶”这层意义上的“人欲”，但是“天理”中完全有生理、心理等感性欲望意义上的“人欲”。因此，宋明儒之“天理”中本来就有“人欲”（生理学、心理学意义上的），根本不必以“饮食男女之欲何人不有”之类的说法来反对“存天理去人欲”之说。乾初自己也说“圣人岂必无人欲，要能使人欲悉化为天理”[39]，而这正是“存天理去人欲”之本意。由此可见，乾初未能善会前儒之意。
中国哲学中的许多概念多不甚严密，界定不严，不察原委望文生义地去理解，往往会引出许多无谓之争吵。“人欲”这一概念即是其中之一。宋明儒用“人欲”这一概念，不甚一致。基本用法是用以指“天理”的反面，即用为道德哲学上的概念。如伊川说：“不是天理，便是私欲。···无人欲，即皆天理。”[40]朱子说：“天理人欲常相对”[41]；“人之一心，天理存则人欲亡，人欲胜则天理灭，未有天理人欲夹杂者。”[42]；“尽夫天理之极而无一毫人欲之私”[43]。王阳明说：“天理人欲不并立”[44]；“学者学圣人，不过是去人欲而存天理耳”[45]，“减得一分人欲，便是复得一分天理”[46]。此等语中的“人欲”指“天理”的对立面，与“私欲”同，是宋明儒学中的基本哲学范畴，反映着宋明儒学的特色。
但是，有时宋明儒也用“人欲”指生理学、心理学上的感性欲望，此并不与“天理”完全排斥。如朱子说：“虽是人欲，人欲中自有天理”[47]。此“人欲”实际上相当于“气质之性”，与“存天理去人欲”一语中的“人欲”的涵义迥别。总之，明白宋明儒所说“人欲”一词在不同语境中所指实有不同，他们主张去除的“人欲”特指道德上的“恶”，不是要抹杀指人的感性欲望而为言的“人欲”，即可知“存天理去人欲”之说无可反对。
不过，虽然宋明儒“存天理去人欲”之说本身并不错，但是，有些儒者在对天理、人欲作具体的取舍时，确有偏颇：把天理悬得太高，有脱离人之常情处；把天理收得太紧，有窒息人性生机处；把天理拶得太僵，有束缚人之合理自由处；把天理织得过密，有使人动辄得咎、无所躲闪处。与之相应，把“人欲”之网张得太大，不少合乎人性的欲望、情感、爱好乃至一些美好的审美趣味也被打成“人欲”而去之。换句话说，在对天理人欲作具体定位、画界和取舍时，有些宋明儒者显得近于冷峻甚至严酷，有枯槁干瘪之态，少有孔孟宽宏包容、广大高明之气象。宋明儒之此种偏颇在程朱派儒者身上表现得较突出。他们把“天理”讲成“只存有而不活动”的“理”，将天理（性）与“心”剖成两片。“情”在性质上属“心”，也是形而下之“气”，不足贵。如此“理”成了外在的、无生机的干枯之物。以此等“天理”为基础而建立起来的名教、礼法，在相当大的程度上脱离了孔教仁爱精神的沾溉润泽，结果 “同于酷吏之所谓法”（戴东原语）。借庄子评墨学的话说，“其道大觳”。以之责人，可能会生出“以理杀人”之弊。
乾初强调 “欲”，正是为了矫正宋明儒特别是程朱派儒者的这种偏颇。他说：“大约吾心吾身要使时留余地，使得舒展为佳，所谓生趣也。若过于桎梏，其弊正与放心等。”[48]可见，他之重“欲”，目的在于释放被桎梏的“生趣”，并非主张放其良心，以“欲”抗“理”。不过，由于乾初言学有“不无张皇”、“主张太过”之偏，（黄梨洲评语），在“琢磨程朱”时，无意中伤到了程朱的“合理内核”。[49]骤看这些言论，似乎其思想是“以欲为首出”。其实，乾初并未走那么远，要将其本心之学勾销掉。
如果换个角度，乾初的那些言论也不是非将其解为“以欲为首出”不可的。
首先，乾初所谓“欲”，已非前儒所谓“欲”，乃是“人心生意”之别称。其范围至广，既指饮食男女、富贵功名之欲，也指道德感、人伦间的至情乃至民胞物与之情。观其“生，所欲也，义，亦所欲也，两欲相参，而后有舍生取义之理”、“五伦悉是情种，佛则空之，万物皆吾同爱，老则遗之，故曰无”等说即可明[50]。由于其所谓“欲”已泛化到几无涯际的地步，某些其称之为“欲”的东西其实已非人们通常所理解的“欲”，所以，以“以欲为首出”概括其思想，不足以标示出乾初思想的真正意蕴。
仔细体察乾初的说法，可以看出，他之所以大谈其“欲”，目的是为了以儒者之有“欲”来反对佛、老之“空”、“无”。在他的心目中，“欲”这一概念代表的实际上是“世间”，“无欲”代表的实际上是“出世间”。强调“欲”等于说儒学不是出世主义，而是入世主义。乾初强调“欲”的真实意思是强调儒学的入世主义，而“以欲为首出”表示的则是反对正统儒学的自然主义。因此，根据乾初的那些言论把乾初思想定为“以欲为首出”是误会。
其次，乾初说“从人欲中体验天理”、“天理皆从人欲中见”这类话时，其用意很可能是为了强调“天理”不能不借“人欲”来表现这一思想。朱子说：“有个天理，便有个人欲。盖缘这个天理须有个安顿处，才安顿得不恰好，便有人欲出来。”[51]乾初说“天理皆从人欲中见”，大概相当于朱子所说“这个天理须有个安顿处”之意。乾初说“人欲恰好处，即天理”，相当于朱子“才安顿得不恰好，便有人欲出来”之意。乾初用的是肯定句，朱子用的是否定句，其意实同。
虽然乾初说“人心本无天理”，但是他并未说人没有内在的是非之心，并没有否认孟子、阳明所说的“良知”。他的“人心本无天理”，其意思很可能是：人之本心是个“有过即知”的明觉之体，其中并没有现成的、如张考夫所谓“规矩准绳”之类的条条框框充塞其中。“天理”是本心应时而起、当机而发的、在“欲”上表现出来的“中节之和”。本心是“天理”的枢纽，是个“活”物，因而“天理”也不是僵挺生硬、一成不变的条条框框。乾初说所的“天理”，实际上是“分殊”之理，不是“理一”之理。“理一”之理，乾初虽讳言，但我们不必为其讳言：在他的思想中，“理一”之理就是他所说的“本心”。“分殊”之理不是现成地摆在心中，故说“人心本无天理”。但是，发出此“分殊”之理的“本心”非他，正是“理一”之理。而此“理一”之理更是天理之本然。所以，乾初“单提本心”实际上就是以“天理”为首出，而非“以欲为首出”。乾初说“人欲恰好处，即天理”、“人欲正当处，即是理”、“两欲相参，而后有舍生取义之理”——不用说，“恰好不恰好”、“正当不正当”，是由本心之良来裁断，而非由“欲”自己来裁断；“两欲相参”，是由本心之良来“参”之，而非由“欲”自己来“参”之。所谓“裁断”、“参之”，并不是从心
