我是一个有家庭的人了,现在遇到我十年前的初恋,他经常骚扰我和我的家庭,还威胁我,我知道他是爱我的,可我不想放弃我的家庭,我和他是不会走在一起,也不会有幸福,他过几天说要来带我走,我不知道怎么应付,我说什么他都不听,我很害怕他也许有一天会做出不是正常人做出的事情。我应该怎么办好呢。