白宫占地共7.3万平方米，由主楼和东、西两翼三部分组成。

白宫原来是一座灰色砂岩建筑，在1812年被大火焚毁，战后为了掩盖火吻痕迹所有的石墙都被涂成了白色。

西奥多罗斯福总统在1902年正式将这座建筑命名为白宫。