一條堅尼地道有不少歷史建築。
前任行政長官辦公室所在地原本為舊英童學校,位於中環半山區堅尼地道28號。前任行政長官辦公室建築群,即主樓連僕人宿舍及人力車停泊處,於2009年12月18日被香港古物諮詢委員會由三級歷史建築改評為一級歷史建築。
建築物約建於1905年,為一座兩層高的維多利亞式獨立屋,當時屬香港置地所有。其後該建築被用作英童學校的校舍。學校於香港日治時期停辦,並被日軍佔用。1948年至1950年,該建築曾成為皇仁書院的臨時校舍。但直到1954年,香港政府才正式從日本政府收回業權。該座大樓採用非對稱設計,建築風格以典型意大利式為主。
其後由官立漢文中學,即現今的金文泰中學使用至1961年。1961年至1989年,該建築曾成為教育署若干組別的辦公室及堅尼地道小學(Kennedy Road Junior School)共用。1993年至1999年,該建築物也曾經由中英聯合聯絡小組徵用為辦公室。香港主權移交後,建築物由本地設計師協會租用,成立香港設計中心,由香港賽馬會贊助古物修復及裝修費港幣600萬元。
兩年後,香港設計中心於2006年中搬往九龍九龍塘的創新中心,政府於同年11月,經前任行政長官董建華同意,最後選定此建築物作為前任行政長官辦公室。2007年4月21日,政府宣佈該建築正式成為「前任行政長官辦公室」。 政府花費了200多萬港元進行裝修、添置傢俬、進行外牆油漆工程,以及在大門外加上銅牌和豎立中國國旗及香港特區旗。
該大樓佔地1,200平方米,分為上下兩層。其中下層是一個會議廳,上層則有3間約500呎辦公室,即是可以同時容納3名前任行政長官一起辦公。