广州站原址位于广州城东南角的大沙头，原名大沙头火车站，始建于1911年，是广九铁路华段的终点站。民国26年（1937年），国民政府动工建设广州黄埔港，并于1937年1月开工建设一条由粤汉铁路西联站（今棠溪站），经沙河、石牌、鱼珠至黄埔港的黄埔港支线；1937年7月7日，发生了卢沟桥事变，中国抗日战争全面爆发。同年8月，国民政府为获得英美两国的援助，方便援华物资送入内地，答应连通广九、粤汉两路。当时黄埔港支线尚未铺轨，故利用已建成的黄埔港支线路基修建联络线，1937年8月铺轨至石牌与广九铁路接轨，称为广北联络线，自此粤汉铁路和广九铁路联通。抗日战争结束后，为配合粤汉区铁路管理局对粤汉铁路、广三铁路、广九铁路全面管理，修筑了一条由广北联络线云麓至广九铁路永村的“云永联络线”，让粤汉铁路上的客运列车可以直达大沙头火车站，大沙头站扩张为广九及粤汉两路的旅客列车的始发、终到站，并改名为广州东站，成为广州最主要的客运火车站。
中华人民共和国成立以后，广九铁路华段改称广深铁路，广州东站也于1951年更名广州站。1953年，广州南站（1901年兴建的旧广州南站，又名黄沙站 ）至石围塘站的铁路轮渡建成使用，令广三铁路的车辆可以与粤汉、广九铁路相互过轨。1954年，为了让来自广州南站及广三铁路方向的列车可以不经广州北站（今棠溪站）折角运行，缩短运行距离和时间，广州铁路局修建了连接广北联络线流花桥和粤汉铁路广州西站的流西联络线，并在广北联络线上设置了流花桥线路所，即后来广州新客站（并非广州现在的广州南站）的前身。 随着1957年武汉长江大桥建成，京汉铁路和粤汉铁路合并为京广铁路，以及1960年广州西南大桥（后更名珠江大桥）建成，广三铁路与京广、广深两路接轨，广州站进一步发展成广深、粤汉、广三三路的旅客列车到发站，客流量越来越多；且当时广州铁路枢纽内的其他车站皆主营货运，故广州站成为了广州市内最主要的铁路客运站，客流压力极其沉重。
1950年代，为配合当时广东省省委书记陶铸将广州建设成为“东方巴黎”的设想，广州新客站的建设规划被提上日程。1960年2月，铁道部决定建造新客站，经广州市政府审定，站址设流花桥；同年3月1日动工，至翌年3月，新客站的站场和站前广场的土石方大部分已经完工，但因大跃进运动对中国国民经济造成的损害，中央压缩建设投资规模，新客站工程暂停。1963年广州铁路局上报要求复工，至1967年国家批准计划，惟因文化大革命干扰未能开工。在此期间，为了应付持续上升的区段列车密度，流花桥线路所于1965年升级为会让站，称流花桥站，并始发部分旅客列车。
1971年，广州铁路局再次上报，获批准为大中型项目。1972年2月，广州新客站工程复工；1974年4月10日竣工，4月12日投入运营，广州铁路枢纽布局也相应作出调整。广州新客站正式命名为广州站，位于大沙头的原广州站恢复名为广州东站。1988年4月1日，天河站更名为广州东站 ，后来位于大沙头的广州东站改回大沙头火车站，也成为了一个“遗留”的车站，再也没有铁路连接，于1985年初被清拆 。其所有客运业务逐步移至广州新客站，暂时改作简易客车技术整备作业站使用，并撤销了原流花桥站，同时广深铁路、京广铁路起点改为广州新客站。广州站当时是华南地区最大的铁路客运枢纽站，站场总面积12万平方米，候车室面积8504平方米，售票处面积1108平方米，行包仓面积3823平方米，设有站台6座、地道3座，站内股道采用通过式与结尽头式混合布置，车站设计能力为日发送旅客3万人次。在建站之初，广州站一度成为广州市的新景观地标，广州各学校纷纷组织学生参观，最高峰的时候车站一天可接待三、四批学生参观；除广州站之外，流花桥一带于1974年还建成了广交会流花路展馆（中苏友好大厦）、广州东方宾馆新馆、友谊剧院等新建筑，这一建筑群于1985年被选为“羊城新八景”之一，享有“流花玉宇”的美称 。 1979年，为配合来往广州和香港的广九直通车恢复开行，广州站东侧新建了联检站作为出入境口岸站，办理海关、检疫、外币兑换等联检业务；4月4日，中断了30年的首趟广九直通车从广州站开出。1981年，为应付客运需求增长，广州站增建了第四站台。1984年9月，位于广州站西北侧的广州客车技术作业整备站竣工投产，为广州站始发的列车进行编组、检修及整备，而位于大沙头的简易客技站则撤销关闭。到了1985年，广州站每天始发的旅客列车对数已经由1975年的9对、1980年15对，增加到25对。
广州站的一大特色是车站站房上的“统一祖国，振兴中华”霓虹灯标语，在全国众多火车站中显得独一无二。事实上，在广州站建成之时，由于正处于文革时期，当时车站大楼上方所挂的标语是“战无不胜的毛泽东思想万岁，伟大的中国共产党万岁”，这句标语在文革结束后被除下。至1986年7月，广州市委认为，广州作为改革开放的前沿，是港澳台居民和海外侨胞最早进入中国大陆的城市，广州火车站又是华南的重要门户，因此广州市委要求在广州站楼顶，建一条全新的霓虹灯标语，内容定为“统一祖国，振兴中华”，字体为红色黑体，每个字高5米、宽5.5米。标语在1986年10月国庆节前夕完成，由于当时电力供应比较紧缺，霓虹灯标语令火车站用电量增加了30多千瓦，使用初期为了节省电能，每晚亮灯开启时间仅要求不少于三至四小时 。
