我是楚雄市东华镇邑多么村委会米康郎村民小组长，在朋友介绍下，与中山镇务咀村委会平掌子村的老板李光武达成口头协议：每工110元，工期1个月，月底付清钱，以是就领着本村6个人在2月28号到吕合镇钱粮桥跟他干活改河。现在干足1个月了，我们要走了，他还要让我们给他干，就耍赖不付钱给我们，我们找社保所了，他们说需要书面协议或欠条，可我们书面协议没有，欠条他又不给，所里说哪他们也没办法了。我们该怎么办？