最主要的区别就是把先行词（即被定语从句所修饰的名词/代词）放入定语从句，看它和从句其他成分的搭配问题，如果还额外需要加介词才能让定语从句完整，则使用关系副词，如果不必另加介词，则使用关系代词。
或：直接看定语从句可能缺少什么成分。如果缺少状语，则使用关系副词；如果缺少的只是主语/宾语/表语/定语这种名词/代词可以直接充当的成分，则使用关系代词。
如：This is the city which/that I lived in last year.
the city直接充当in的宾语，或I lived in last year中in后面缺少宾语，所以用关系代词which/that.
再如：This is the city where I lived last year.
the cit放入定语从句，必须还加入介词in，或I lived last year中缺少地点状语，所以用关系副词where.
且：关系副词 = 介词 + 关系代词 = 介词 + 先行词。
参考资料：英语牛人团