我是楚雄市东华镇邑多么村委会米康郎村民小组长,在朋友介绍下,与中山镇务咀村委会平掌子村的老板李光武达成口头协议:每工110元,工期1个月,月底付清钱,以是就领着本村6个人在2月28号到吕合镇钱粮桥跟他干活改河。现在干足1个月了,我们要走了,他还要让我们给他干,就耍赖不付钱给我们,我们找社保所了,他们说需要书面协议或欠条,可我们书面协议没有,欠条他又不给,所里说哪他们也没办法了。我们该怎么办?