中国工人阶级组织形式的初级阶段是行会、帮口和秘密结社。这种组织形式在20世纪20年代以后仍然存在。帮口是实行封建把头制度的一种劳动管理组织，帮头一般掌握劳动市场，招收同一地区的工人从事劳动。他们往往利用同乡关系，加强内部控制和抵制外来侵犯势力。关于帮会组织，中共早期领导人瞿秋白作过这样的论述：“比起同乡性质的帮口来，这种组织更进了一步，它有一定的头目，一定的系统，秘密的暗号等。加入这种组织的人，一定要经过许多神秘的手续。……这种组织的系统，是极严格的宗法社会的形式：‘大龙头’，‘二龙头’，师傅徒弟的辈份分得极清，纪律极严。”
帮口、帮会在都市苦力工人中普遍存在。上海的工人之中，“差不多一大半是属于青帮、红帮等类的秘密组织的;工厂工人尚且如此，苦力更不必说了”。许多码头上的包工头都曾向青帮头子杜月笙等人“投过贴子”。上海太古码头上“运货的小工头，绝大多数是洪帮成员”。上海法租界公董局许多职员参加了青帮，清洁工人中青帮成员更是为数不少。
帮口、帮会对都市苦力工人的影响，共产党人有切身感受。1920年在北京大学读书期间，邓中夏试图在都市苦力工人中间开始进行工人解放运动的实践。他曾到街上动员人力车工人集合拦路以要求减少车租，改善生活，和车行老板进行斗争，但仅有少数人响应。警察来后把车砸了，人力车工人还扯住他索赔。这次实践之所以会失败，邓中夏认为是“拉洋车的……受帮会影响”。其他共产党人也深感都市苦力工人中“青红帮及秘密结社分子很多”。
帮头、封建把头、资本家等外部势力把都市苦力工人事实上分割成相互孤立的若干社会群体，甚至个体，使共产党不易接近都市苦力工人，极大地阻碍了都市苦力工人运动的发展。1922年7月，马林在给共产国际执委会的报告中指出：“中国的旧式工人组织、行会、秘密结社——如上海的青红帮之类，与其说是工人运动健康发展的一种动力，毋宁说是一种障碍。”到1926年春，共产党在湖北沙市建立了不少工人工会组织，但“多数的码头工人却不知什么原因一时组织不起工会，后来才知道码头工人有帮会(不知是红帮还是哥老会)，要打人进去很困难”。就是在共产党建立政权的城市，帮会对都市苦力工人的影响根深蒂固，一时也难以清除。1949年3月，叶剑英讲述了接管济南时发生的一个事例：“济南有一个粪夫工会，实际上是一种帮会组织，我们的同志不了解，也没有好好去调查，由于帮会对粪夫的剥削，我们的同志急躁的要取消它，结果我们下了命令，粪夫们都不执行，特务利用了这个漏洞把事情挑大了。相反的帮会下了一个命令，不挑粪，来抵抗我们的政权，以致影响到城市卫生。”封建把头、资本家为加强对都市苦力工人的盘剥，对都市苦力工人的控制也相当严密。对此，不少共产党人也有深刻的印象。1924年彭湃到广州人力车工人中开展工作时，“工头一见到彭、李两人到来，极端厌恶，借故阻挠”，使彭湃“无法可以接近工友进行宣传”。由于有工头、资本家的阻拦。共产党人很难顺畅地与都市苦力工人建立联系。此外，这些外在势力又通过操纵黄色工会方式与共产党展开对都市苦力工人的争夺。20世纪30年代初，共产党好不容易在北京的粪夫、人力车夫中间建立了一点基础，但“结果为黄色工会夺去作为他们政争的工具”。
正因为由于上述原因，共产党人比较一致地认识到，都市苦力工人缺乏明确的斗争立场，易受“他人指挥”，组织起来“比较困难”。中共陕西省委从组织的角度作出总结，认为，“在此种工人中的工作，是非常困难的，有时虽打人，工作仍是无法作起来”，要将都市苦力工人“组织起来，很不容易”。因此，无论是中国共产党还是其他党派。都基本上放弃了在都市苦力工人中的活动。抗战开始后，地下党在对上海码头调查时发现，码头工人“没有什么政治的活动，各政党也没有很明显的活动”。
?