我家建好房子20多年。以前，我家后面是条泥路，只能允许农用手推车通过，拖拉机、轿车不能通过。路的旁边一条公家的水渠，是通往集体的莲藕塘的。
约10年前，我家后面一户人家建房子时，将路旁的水渠填土，与他家前面的地连成一片。这样使得轿车和小型卡车都能通过，导致我家墙身容易被车碰撞，并已经发生过碰撞。
于是我家在屋背墙的两端、往屋后方向垒了30厘米的石头。现后面一户对此有意见，认为我们占用公共道路，要求把石头移走。
一般情况下，用公共道路是不合理的。但是我们这么做的起因是后面一户擅自改造道路、危害我家房子安全。
我的问题是，我们这么做是否能等到法律的支持。我们愿意把石头移走，前提是后面一户恢复道路和水渠原貌。如果后面一户不愿意把道路和水渠恢复原貌，我们要求他们停止辱骂、威胁。
如能告知相关的法律法规或条例或案例，将采纳为最满意答案！
请问有没有相关的法律法规或条例或案例可供参考？求指教
现在是对方不愿意把填了土的水渠恢复原貌，且坚持要求我们移走石头，他们天天骂人影响了我们正常生活，怎么办？我们只要求他们在未退还水渠的情况下不得要求我们移走石头，因为我们先移走石头会影响我们家居住安全。
追答哪找村委会协商吧