蕺山的情形正是如此。王学末流“不分是非，不辨曲直”，把阳明的无善无恶说抹上一层不光彩的色调，使得在阳明那里本来是胜义的“无善无恶”滑转为劣义的无善无恶，甚至使此说成了放僻邪逸、恣意妄为的理论依据。蕺山对此深恶痛绝，于是在现实刺激下发了一些指摘无善无恶说的言论。但是，由于蕺山的诚意学与阳明的良知学在本质上是一致的，而且蕺山是造诣深微的儒者，对阳明无善无恶说的实质内容、本然之义理，不可能无所心得，因而，虽然有批评，但其思想中又有阳明无善无恶说之实。不过，蕺山因痛恨末流之弊而牵连到阳明无善无恶说，对其加以指摘，这便有“择焉而不精”之嫌。阳明当时若避开易启争议的“无善无恶”这一字面，改用其他语辞来表达同一意思，比如说，改用蕺山自己常用的“不思不虑”、“虚”、“无”这些词句，也许会更好些（其实并不见得好多少），但不能因此就可以保证末流之弊不再出现。下面即对蕺山指摘无善无恶说的具有代表性的言论作一分析，以见其指摘未能切中阳明的本义。
蕺山说：
心可言无善无恶，而以正还心，则心之有善可知。意可言有善有恶，而以诚还意，则意之无恶可知。“子能顺杞柳之性而以为桮棬 乎？将戕贼杞柳以为桮棬也？”（《学言》下，页9。）
这段话中，蕺山显然把阳明的无善无恶误解为告子的无善无恶了。告子把性比作杞柳，把仁义之善比作桮棬，认为人性中本无仁义之善，犹如杞柳本非桮棬一样。孟子反诘之曰：“子能顺杞柳之性而以为桮棬乎，将戕贼杞柳而后以为桮棬也？”今蕺山举孟子辟告子之语转而对准阳明，显然文不对题。因为，阳明“无善无恶心之体”一语，不论是指“良知至善”也好，还是指“为善无迹”也好，均与告子“人性之无分于善不善”之意大相径庭。
蕺山说：
王门倡无善无恶之说，终于“至善”二字有碍。解者曰：无善无恶，斯为至善。无乃多此一重之绕乎？善一也，而有“有善”之善，有“无善”之善，古人未之及也。即阳明先生亦偶一言之，而后人奉以为圣书，无乃过与？（《学言》下，页6。）
蕺山此处所辩也欠恰当。“有善”之善是经验中与恶相对的善，“无善”之善是超越无对的本体之善。对本体用“无善无恶”遮诠之方恰当。即使改用“至善”以言之，也是为了表示两种层次不同的善的区别。当然，依“体用一源”之理，本体之善与经验中的善，从根本上讲，的确可说是“一善”。但在解说义理时，仍需把握其分际。因而，“多此一重之绕”不仅不为过，而且是义理之实所要求的。“后人奉以为圣书”，这可能是蕺山不满“无善无恶”之说的真正原因。末流不做为善去恶的工夫，而奢谈无善无恶，流弊丛生，的确可忧。但总不能因流弊而放弃义理之当然。其实，当就义理本身而言时，蕺山是极力主张无善无恶的。《人谱》开篇一句就是“无善而至善，心之体也”。这与“无善无恶心之体”之说实无区别[16]。而且，当有人怀疑此句话中的“无善”二字不当时，蕺山还郑重地解释说：
人心止有好恶一机（《明儒学案》作“几”。），好便好善，恶便恶不善，正见人性之善。若说心有个善，吾从而好之；有个不善，吾从而恶之，则千头万绪，其为矫揉也多矣。且谓好恶者心乎？善恶者心乎？识者当辨之。（《会录》，《全书》卷１３，页２７。《明儒学案》卷６２《蕺山学案》中也有载。）
“好恶者心乎？善恶者心乎？”意即心之体不可以善恶言，是无善无恶的[17]。《人谱》是蕺山临没前不久尚在改订的精心之作，于此可见，当蕺山撇开现实的纠葛称理而谈时，是坚持无善无恶之说的。只是当面对当境的周遭学风时，末流之弊更具切肤之感，笼罩了他的头脑，因而有感而发了一些批评无善无恶的言论。
蕺山又说：
先生（本文案：指阳明）每言“至善是心之本体”。又曰“至善只是尽乎天理之极而无一毫人欲之私”。又曰“良知即天理”。《录》中言“天理”二字不一而足。有时言“无善无恶者理之静”，亦未曾径说“无善无恶是心之体”。若心体果是无善无恶，则有善有恶之意又从何处来？知善知恶之知又从何处来（本文按：黄梨洲引作“何处起”。见《刘子全书》卷３９所载黄撰《行状》。下同。）？为善去恶之功又从何处来（梨洲引作“何处用”。）？无乃语语绝流断港（梨洲引“港”下有“乎”字。）？快哉！“四无”之论，先生当于何处作答？（《阳明先生传信录》三，《刘子全书遗编》卷13，页34。清道光间刻本。也见于《明儒学案》卷10《姚江学案》中。）
此段话是批评龙溪，回护阳明。蕺山认为“四句教”是龙溪自作主张，非阳明本意。蕺山在他处说得更为直接：“四句教法，考之阳明集中，并不经见，其说乃出于龙溪。”(《明儒学案》卷首《师说》中论龙溪语。) “四句教”无疑是阳明的思想，即“四无”也并非不是阳明之意，蕺山所说自然不确。此点无须赘论，只论其对“四句教”和“四无”的指摘。
若心体指良知而言，则说心体“无善无恶”，只是表明作为超越本体的良知是“至善”之意。在阳明哲学中，“意”属经验意识，由于感性之作用，发有中节与否之别，其有善有恶与良知之无善无恶并无矛盾。知善知恶之知就是良知本体，不是外铄而有者。良知虽是超越的无善无恶之体，但又内在地具于本心，见善必好，见恶必恶，正是为善去恶之功所用处。并非是“语语绝流断港”。若心体指工夫纯熟或顿悟后的化境，则说心体无善无恶只是表明为善无迹，虚圆不滞。此境界中，意之发动纯善无恶。恶既不存，善也不立，故意也归于无善无恶。意所在之物也无不正，也同样归于无善无恶。既无善恶，则知无所知、知无知相，也同样归于无善无恶。心、意、知、物一体而化，最终归于“四无”。这样，则有善有恶之意无自来，知善知恶之知无自起，为善去恶之功无处用。也非“语语绝流断港”。“四无”之论，阳明也已作答，并非无处作答。不过，阳明将“四无”当作接引“利根人”的教法，也有失当处。因为，“四无”并不成其为“教法”。阳明自己也承认，“利根之人，世亦难遇。本体工夫，一悟尽透，此颜子、明道所不敢承当，岂可轻易望人？”（《传习录》下，《王阳明全集》，页118。）这样，“四无”实际上已失去“教法”的意义。
龙溪之“四无”只是指境界上的“无滞”、“无相”，蕺山斥之为“蹈佛氏之坑堑”、“操戈入室”（《明儒学案》卷首《师说》。），是失当的。龙溪
