父亲唐振楚，衡阳市人，系蒋介石离开大陆前的最后一任机要秘书 ，也是蒋介石到台湾后的第一任机要秘书 、中国国民党中央委员、总统府副秘书长、中国国民党中央委员会副秘书长、考选部部长 、台湾联合国劳工局局长 。1945年，从南京中央政治大学研究生部获得硕士学位，赴湖南省蓝山县任县长 。1999年去世。
母亲王德蕙，衡阳市第一个接受师范教育的女子 ，也是衡阳县第一个无线电广播员 ，曾任国民党湖南省党部委员 ，2003年去世。
哥哥唐翼明，1942年生，衡阳人。享誉海内外的魏晋文化史专家、书法家 。武汉大学中文系硕士，美国哥伦比亚大学哲学博士。曾任台湾政治大学中文系教授。2008年回武汉定居，后被江汉大学聘为讲座教授。2012年任华中师范大学国学院院长，兼任长江书法研究院院长 。 来自衡阳的晚清历史小说家唐浩明，与台湾的渊源极深。他的父亲唐振楚是国民政府考选部部长， 在国民政府时期，曾担任过蒋介石总统的机要秘书，在唐浩明三岁时随国民政府来台，而将唐浩明三兄弟托付给伯父赡养。 由于唐振楚国民党大老的身份，使得其兄长在大陆解放之后，被打成黑五类，惨遭批斗，生活艰难，在不得已的状况下，伯父将唐浩明送给一位工人收养，因此唐浩明有另一个名字叫「邓云生」。
直到唐浩明33岁考上华中师大历史系硕士时，才与父母第一次通信，1985年，与母亲在香港见面，翌年与父亲相见，骨肉分离整整30几年。
目前，唐浩明许多亲友都在台湾，母亲高龄90，在台北生活。两位女儿都在台湾上大学、工作、组成家庭。而他的哥哥唐翼明于80年代中期赴美国哥伦比亚大学就读，师承夏志清教授，90年代赴台任教，目前是政治大学中文系教授。 也因为如此，即使父母的文化水平极高，但对唐浩明的影响不大，反倒是他生长的湖南，形塑了他的文学创作之路。
杨度曾说过：「若道中华国果亡，除非湖南人尽死。」灵山秀水加上重教育的传统，使得湖南于近代中国人才辈出，王夫之、曾国藩、彭玉麟、左宗棠，杨度，谭嗣同、齐白石、黄兴、毛泽东，刘少奇、罗荣桓、夏明翰、朱镕基等，唐浩明就自承，他受湖湘文化的熏陶至深。
