从公元前1147年泰伯到这一带传礼授农算起，雨花台已有3000多年的历史。自公元前472年，越王勾践筑“越城”起，雨花台一带就成为江南登高揽胜之佳地。三国时，因岗上遍布五彩斑斓的石子，又称石子岗、玛瑙岗、聚宝山。南朝梁武帝时期，佛教盛行，有位高僧云光法师常在此地高座寺后的山顶设坛讲经，有僧侣五百余人，趺坐聆听，讲得精彩，听得入神，盛况空前。相传此事感动了佛祖，遂落花如雨，化作遍地绚丽的石子，雨花台由此得名。明、清两代，景区内的“雨花说法”和“木末风高”分别被列为“金陵十八景”和“金陵四十八景”之一。
在雨花台上下三千年的历史长河中，有许多古圣先贤和仁人志士曾在此演绎了壮丽的人生，留下了丰富的历史文化遗产。历代文人墨客乃至帝王将相，从李白、王安石、陆游、朱元璋、康熙、乾隆到鲁迅、田汉、郭沫若、刘海粟，都留下了吟咏雨花台的优美诗篇。“南朝四百八十寺，多少楼台烟雨中”，“雪映山眉紫，烟消树顶圆”，这些美妙的诗句，正是历史上雨花台人文景观和自然风光栩栩如生的写照。
南朝时盛极的高座寺于洪武初年被废，后建筑也多毁于大火。景泰癸酉(1453年)年间，礼部尚书胡滢前来进香，该寺的规模尚存，只是破败不堪。成化年间，僧人照堂广募钱财，想要加以修缮，到弘治戊申年(1488年)腊月正式动工恢复拓建，丙辰年十月(1496年)完工，先后恢复了药师、净业两大殿以及东室、西堂、钟鼓楼、厨房等建筑，寺后即为古雨花台。
雨花台风景区中，历史上有著名景点“江南第二泉”，原名雨花泉，古时亦称永宁泉，泉有二孔，水出地面1米，纤湮缕浸，清洌甘美，色味俱绝，南宋著名爱国主义诗人陆游到四川任职时途经建康，登雨花台游览，用泉水沏茶，备加赞赏，称之为二泉，位列金陵名泉之首。明代赵谦为二泉题匾，“江南”二字、及之后的“第”字为后人所加，如今镌刻在大理石上的“江南第二泉”是当代著名书法家萧娴题写。 在江南第二泉上面，是百年老店“二泉茶社”。原茶社建筑为木结构，经白蚁常年侵蚀，已成危房。随着雨花台风景区旅游资源的不断开发利用，为拓展雨花茶的文化特色，2001年，雨花台风景区对二泉茶社实施整体翻修。
由于雨花台是南京城南的一处制高点，成为历代兵家必争之地。东晋豫章太守梅颐曾在此抵抗外族入侵，南宋金兵入侵，抗金名将岳飞在此痛击金兵；此后的太平天国天京保卫战，辛亥革命讨伐清兵，抗日战争“首都保卫战”，都曾在此掀起连天烽火，雨花台也因此逐渐荒芜。
1927年以后，雨花台沦为国民党统治者屠杀共产党人和革命志士的刑场。新中国成立后，党和政府决定在此兴建烈士陵园。
风景区的建设可分为三个时期。从1949至1979年，根据“先绿化、后建设”的方针，主要进行大规模的绿化造林工作；自上世纪70年代末至90年代中期，又陆续兴建了大规模的纪念建筑群，在全长1500米的中轴线上，由北向南，烈士就义群雕、烈士纪念碑、倒影池、纪念桥、纪念馆、忠魂亭等依次展开。1999年在北京举行的“国际建筑师协会第20届大会”上，这组巧夺天工的纪念建筑群荣获“艺术创作成就奖”。自90年代中期开始，进行了大规模的景区景点建设，修复和新建了乾隆御碑、二忠祠、木末亭、木樨苑、怡苑等景点，新建了雨花石博物馆和江苏省国家安全教育展览馆，陆续完成了新民主主义革命烈士纪念区、名胜古迹区、雨花石文化区、雨花茶文化区的建设，和游乐活动区、生态密林区的建设。
如今的雨花台，已是一座以自然山林为依托，以红色旅游为主体，融自然风光和人文景观为一体的全国独具特色的纪念性风景名胜区。
