“散漫”、近乎“流氓”，生活习性差。这些差不多是参与过都市苦力工人启蒙组织的共产党人的切身体验与共同认识。1920年，邓中夏在与人力车工人交往时，就发现“拉洋车的属于比较散漫的个体劳动者”。曾经参与过大革命时期武汉工人运动组织工作的杨公素回忆：在1927年初武汉工人游行示威活动中，人力车工人“完全不像那些海员，铁路、纱厂的工人，组织纪律很差。那时上街游行示威活动很多，要领着工人队伍手拿小纸旗，扛着工会大红绸旗，列队上街游行，沿途呼口号。这些都由我领着干，每次我感到我们的队伍最不整齐”。1927年，上海总工会在总结五卅运动以后上海各业工人运动发展情况时就深有感触地说，粪夫工会、黄包车工会、救火工会等工作“尚无多大成绩”，其原因就是苦力工人“工作散漫”。1928年中共陕西省委在总结陕西工人运动时，说“苦力工人都是散漫的，简直没有具体生活，因此他们的阶级意识是模糊不清的”。“散漫”的生活习性容易使都市苦力工人养成“流氓”习气。中共武汉地方党组织负责人包惠僧根据自己与人力车工人打交道的经验，得出人力车工人“差不多是流氓无产阶级”的结论。这些人“不知道什么是法律，什么是道德，犯了他的，杀打就是家常便饭”，遇到问题不冷静，就行凶斗狠，“一打了之”。中共陕西省委也认为。“他们的生活，近于流氓式”。
　　共产党人还发现都市苦力工人还有“对政治缺乏兴味”，难以鼓动的特点。他们甚至把热心苦力工人运动的组织或个人“拒之门外”。20世纪30年代，中国共产党希望能在上海“工人阶级中受压迫最重的群体中打开局面”，并开展一系列活动，1934年，共产党人在上海曾号召人力车工人起来“反抗车主”、“支持红军取得胜利”。1935年法租界罢工时，共产党人又四处散发传单，号召人力车工人“打倒政府、打倒帮会、打倒车主”，可是没有证据表明这些鼓动收到了效果。
　　二是剥削压迫都市苦力工人的帮头、封建把头、资本家等势力的影响。
　　中国工人阶级组织形式的初级阶段是行会、帮口和秘密结社。这种组织形式在20世纪20年代以后仍然存在。帮口是实行封建把头制度的一种劳动管理组织，帮头一般掌握劳动市场，招收同一地区的工人从事劳动。他们往往利用同乡关系，加强内部控制和抵制外来侵犯势力。关于帮会组织，中共早期领导人瞿秋白作过这样的论述：“比起同乡性质的帮口来，这种组织更进了一步，它有一定的头目，一定的系统，秘密的暗号等。加入这种组织的人，一定要经过许多神秘的手续。……这种组织的系统，是极严格的宗法社会的形式：‘大龙头’，‘二龙头’，师傅徒弟的辈份分得极清，纪律极严。”
　　帮口、帮会在都市苦力工人中普遍存在。上海的工人之中，“差不多一大半是属于青帮、红帮等类的秘密组织的；工厂工人尚且如此，苦力更不必说了”。许多码头上的包工头都曾向青帮头子杜月笙等人“投过贴子”。上海太古码头上“运货的小工头，绝大多数是洪帮成员”。上海法租界公董局许多职员参加了青帮，清洁工人中青帮成员更是为数不少。
　　帮口、帮会对都市苦力工人的影响，共产党人有切身感受。1920年在北京大学读书期间，邓中夏试图在都市苦力工人中间开始进行工人解放运动的实践。他曾到街上动员人力车工人集合拦路以要求减少车租，改善生活，和车行老板进行斗争，但仅有少数人响应。警察来后把车砸了，人力车工人还扯住他索赔。这次实践之所以会失败，邓中夏认为是“拉洋车的……受帮会影响”。其他共产党人也深感都市苦力工人中“青红帮及秘密结社分子很多”。
　　帮头、封建把头、资本家等外部势力把都市苦力工人事实上分割成相互孤立的若干社会群体，甚至个体，使共产党不易接近都市苦力工人，极大地阻碍了都市苦力工人运动的发展。1922年7月，马林在给共产国际执委会的报告中指出：“中国的旧式工人组织、行会、秘密结社——如上海的青红帮之类，与其说是工人运动健康发展的一种动力，毋宁说是一种障碍。”到1926年春，共产党在湖北沙市建立了不少工人工会组织，但“多数的码头工人却不知什么原因一时组织不起工会，后来才知道码头工人有帮会(不知是红帮还是哥老会)，要打人进去很困难”。就是在共产党建立政权的城市，帮会对都市苦力工人的影响根深蒂固，一时也难以清除。1949年3月，叶剑英讲述了接管济南时发生的一个事例：“济南有一个粪夫工会，实际上是一种帮会组织，我们的同志不了解，也没有好好去调查，由于帮会对粪夫的剥削，我们的同志急躁的要取消它，结果我们下了命令，粪夫们都不执行，特务利用了这个漏洞把事情挑大了。相反的帮会下了一个命令，不挑粪，来抵抗我们的政权，以致影响到城市卫生。”封建把头、资本家为加强对都市苦力工人的盘剥，对都市苦力工人的控制也相当严密。对此，不少共产党人也有深刻的印象。1924年彭湃到广州人力车工人中开展工作时，“工头一见到彭、李两人到来，极端厌恶，借故阻挠”，使彭湃“无法可以接近工友进行宣传”。由于有工头、资本家的阻拦。共产党人很难顺畅地与都市苦力工人建立联系。此外，这些外在势力又通过操纵黄色工会方式与共产党展开对都市苦力工人的争夺。20世纪30年代初，共产党好不容易在北京的粪夫、人力车夫中间建立了一点基础，但“结果为黄色工会夺去作为他们政争的工具”。
　　正因为由于上述原因，共产党人比较一致地认识到，都市苦力工人缺乏明确的斗争立场，易受“他人指挥”，组织起来“比较困难”。中共陕西省委从组织的角度作出总结，认为，“在此种工人中的工作，是非常困难的，有时虽打人，工作仍是无法作起来”，要将都市苦力工人“组织起来，很不容易”。因此，无论是中国共产党还是其他党派。都基本上放弃了在都市苦力工人中的活动。抗战开始后，地下党在对上海码头调查时发现，码头工人“没有什么政治的活动，信捷职称论文写作发表网，各政党也没有很明显的活动”。