初租房子的时候签了一年合同，到期后没有续签，但是续交了半年房租，交的时候房东说要涨，我把他房子的缺陷一一说过后，表示当时租的时候价钱有点贵，所以没涨，按原价收的，但是一个月后，他通知我搬家，说家里人多现在住的房子住不下，要自住。说房租可以退，他这样合法吗？