称山江为总兵营则源于清朝镇压苗民起义时在此驻兵设过总兵营房。至于叫“山江”则因解放后在寨西北山上修了座山江水库，苗寨缺水、水库修成后观者如潮，人们称bleat gud（“叭固”）为山江，久之，行政区名便随之改为“山江”。
在当年湘黔边境的苗族聚居地，苗人为了抵抗朝廷的进攻，同样也修建了大量的保家楼和防御墙。 具有很强的军事防御功能是山江苗寨的最大特点，碉楼和防御墙又是构成苗寨的两类主要建筑。 这就是碉楼，又称保家楼，它雄踞在村 寨的高处，至今仍然透露出一股威严气概，凛然且断不可欺。碉楼的基座用石块堆积而成，上方筑土，一般上下两层，四面都开有窄窗，用于瞭望和射击。在山寨里，以前几乎每家每户都建了碉楼。
最大的一座碉楼是上个世纪三十年代，这里的苗王龙云飞建造的，这位苗王生前也曾保境安民，至今仍然有人在怀念着他的好处。不过，随着时间的逝去，这座碉楼也已经破败不堪。
与碉楼相呼应的是防御墙，它环村而建，一般高4到5米，墙体上同样有瞭望和射击孔。由于山江苗寨依山而建，防御墙也就一直沿着山势蜿蜒直上，并且在山寨的顶部还仿效长城建立了烽火台。寨门作为重要的附属性建筑，大多开设在险要位置，为了增强防御能力，寨门的上方还加设了碉楼。
山江苗寨到底有几百年历史，当地人谁也说不清楚。而形成这样一种建筑风格的原因，可能是当时这一带位置非常偏僻，苗族同胞为了抵御野兽和土匪骚扰，设计和建造了这些建筑和山寨。一旦有野兽和土匪来犯，首先可以起到抵抗作用的是防御强；如果来犯者突破了防御墙，进入山寨，各家各户的碉楼又可以各自为营，与来犯者斗争。
这种碉楼式建筑已经逐渐演变成为当地民居的一大特色，山江镇的街巷新兴建筑也是石墙高耸，壁垒森严，不同程度的沿袭了苗寨的建筑风格。
如今这座曾经充满兵匪之患的山寨已经找到了安宁和平静，那些防御用的石墙也早就只剩下断壁残垣，青苔斑斑，惟有这些起于风云年代的碉楼，到今天依然傲立，向后人讲述着那正在消逝的历史。
