我们结婚8年，有一子，无财产。结婚以来，男方一直无能力养家，都是我在支撑着家里的费用，到了今天找他要个房租，他还说我很烦人。脾气不好，懒惰，在家一点点家事都不愿意做，在外又没有一份正当工作，没有固定收入，没有家庭观念，没有责任心。双方都同意离婚，但他就是不肯去办理离婚手续，因为当初结婚时是在女方老家办理的，他家在韶关，我家在梅州，现在我要怎么办才能离婚？小孩的抚养归女方。他说只要写离婚协议就行了，这样有效吗？