古代人权状况较差，加上封建统治流毒甚远，所以沿街乞讨的叫花子比较多。这些可怜人为了取暖而凑到一起，形成了自己的组织，也就是丐帮。丐帮的起源已无从考证，早在春秋时期就有“乞首”之说，可见当时就有叫花群体了，而最早成规模的丐帮出现在北宋时期，而丐帮的鼎盛时期在清末。
三教九流，每个行当都时兴“拜祖师爷”，丐帮自然也有自己的祖师爷。有人说丐帮的祖师爷是朱元璋，还有人说是伍子胥、秦琼，连说是武松的都有。丐帮最无争议的祖师爷应该是范丹，因为他是文人祖师爷孔夫子的救命恩人。
相传孔子周游列国时来到陈地，由于经济紧张孔子和他的徒弟们断了顿，听说当地有个乞丐头子叫范丹，他家里有些余粮，便派弟子颜回去借粮食，范丹慷慨相助，解了孔子燃眉之急。当然，孔夫子不会白吃人家的粮食，他对范丹许诺道：“我们欠你的粮，就由孔门子弟接着还，今后你只要看到门上写字的、墙上挂着画的、家里存着书的，他们都是我空门子弟，跟他们讨债准没错。”
孔子又问范丹：“那你的门下又是何等样人？”范丹答道：“我的门生不怎么体面，只要是衣衫褴褛蓬头垢面的，都是我范家子弟。”范丹反问道：“你们孔门之下看门狗甚多，我的门人子弟该如何应对？”孔子一本正经地说道：“这些狗若是敢咬，就用棍子敲他们！”所以后来的乞丐都喜欢拿着一根棍子，江湖上也喜欢将叫花称为“杆上的”。
还有一种传闻说打狗棍是从朱元璋时期才开始流行的。早年朱元璋要过饭，另外两个乞丐曾请他吃过一顿饭。朱元璋打下天下后，不忘两个叫花一饭之恩，就请人到处寻找他们，把他们请进皇宫受赏。两个乞丐闲散惯了，不想当官，朱元璋便赏给他们两根一尺长裹白布的杆子，杆头分别为蓝黄两色，从这以后这种杆子成了乞丐头子的象征。
因为朱元璋当年赐下两色杆子，所以后来的乞丐分为蓝黄两派。“黄杆派”有点像是小说里的“净衣派”，他们从不会上街要饭，只在一些特定的节日出门向富人讨钱。清朝时的“黄杆派”大多是些落魄的八旗子弟。
按照丐帮的规矩，每逢过年过节，“黄杆派”的乞丐们上门乞讨，商户必须在乞丐唱曲结束前将钱拱手奉上，必须得恭恭敬敬的，且施舍不能少于五个大钱。
如果没按规矩施舍，那这家商户就惹上了麻烦。第二天这家商户门口会来五个乞丐，第三天来八个，人数随着时间的推移逐渐增加，他们在商户门口从早坐到晚，堵着大门一语不发。商户为了继续做生意，只能好好打点这群乞丐，这就不是五个大钱能解决的问题了，若是不给这群人几万大钱，以后连生意也没得做。
当然，除了“黄杆派”外，还有普通的“蓝杆派”，这些都是普通乞丐，也就是小说里的“污衣派”。