灵应宫的历史可以追溯到明朝正德年间(1506-1521)，当时在泰安城西南创建，作为北京咸侯宫的香火院，原名天仙祠。在明万历三十九年(1611)，明神宗敕令扩建，规模扩展至南至山门，北至宫后门，东至东更道，西至西更道，并赐名"灵应宫"，这一历史变迁在《重修灵应宫碑记》中有记载，尽管该碑已无迹可寻，但部分碑文在清人唐仲冕的《岱览》中得以保存。清代曾对灵应宫进行过修缮，但在民国五年(1916)的一场火灾中，大部分建筑及铜像受损，幸存的有南山门、钟楼、铜阙、正殿、北斗台和禅房等。
解放后，灵应宫被企业占用，正殿甚至成为仓库，殿内的铜像也遭受风雨侵蚀。1982年，国家文物局拨款维修正殿，而在2002年，泰安市政府投资对灵应宫进行了复建，拆除院内部分厂房和仓库，重建了鼓楼、穿堂、回廊、崇台、配殿以及月老台，重现了过去的辉煌景象。
山门是进入灵应宫的标志性建筑，砖石结构，单檐卷棚歇山顶，体现出古朴的风格。山门内有钟鼓楼，东侧的钟楼曾用于报时，而钟楼西则是明钟楼遗址。穿堂则是前后院落的过渡，进入后，可以看到崇台，原有一座铜亭，后移至灵应宫，其精美工艺令人赞叹。正殿是主体建筑，建于石台之上，五脊硬山顶，曾供奉碧霞元君等像，历经战火，部分铜像受损。
如今的灵应宫经过修复，焕然一新，成为了泰城人民休闲游览的热门去处，见证了历史的变迁，承载着丰富的文化内涵。
灵应宫，原名天仙祠，是泰山老奶奶的下庙，相传每年春节前泰山老奶奶都要下山买东西，若买到谁家的东西，谁家在这一年就会发财兴旺，老奶奶下山就住在这里。