香港礼宾府前身为总督府。1841年英国占领香港后，将现时花园道、上亚厘毕道至己连拿利的山坡划为政府山（Government Hill），在此建立殖民地的行政中心。港督府位于上亚厘毕道，地理位置优越，前方远眺维多利亚港，俯瞰中区景致；下达政府总署、圣约翰座堂，旁为金钟域多利军营，后有动植物公园，布局反映英国人的管治与生活模式。总督府由第二任测量总署署长卡拉弗利设计，1851年10月正式动工，历时四年至1855年竣工，耗资14,940英镑。
英治期间除首三任港督外，其余25位港督均在府内居住。总督府另一个主要功能是接待贵宾。初期接待的都是皇室成员及外籍重要人士，直到第七任港督坚尼地上任后才开始容许华籍商人参与总督府的活动。
最初总督府只有一座以新古典主义建筑风格建成的主楼，落成后历任香港管治者一直有对该建筑进行加建和修改。战前最大的加建工程是扩建东翼。当时总督府由于举行活动日多，港督德辅决定加建东翼，由设计到建成历时仅三年，于1891年启用。东翼主要用作社交活动场地，即今日之宴会厅。东翼面积与主建筑相若，由有盖楼梯相连，上层为宴会厅，下层为饭厅。1930年代总督府日渐残旧，港督贝璐曾建议于马己仙峡道另建新的总督府，但因经济问题及二次世界大战爆发而搁置。 1997年香港回归中国，原来打算将港督府更名为特首府，作为新任特首的官邸，但据说由于担心英国在府内留下间谍装置，因此当时新任特首拒绝以此为官邸。就此前港英的港督府命名出现了问题。最初政府称之为「前港督府」，后经政府专家讨论后，建议将建筑物更名为「紫芦」，取意自建筑物上呈深紫啡色的屋顶。后来由于此名与香港的一些建筑物重名，加上社会普遍不认同，使得「紫芦」一名最终没被采用，而改称为「礼宾府」。
2005年董建华宣布辞职，新任特首曾荫权宣布将以礼宾府作官邸，并花费1450万港元进行维修工程，包括改良电力、电讯网络和影音系统，以及建造一个锦鲤鱼池，以迎接曾荫权的入住。
2006年1月12日，曾荫权与太太正式迁入礼宾府居住。1月16日起，特首及特首办公室将从政府总部迁至礼宾府办公，回复殖民地时期的安排。特首入住後，“礼宾府”的名称将维持不变。
