Ett av de första bostäderna som någonsin byggts i landets huvudstad, det historiska Octagon House i federal stil, designades 1799 av William Thornton för den rika Virginia-markägaren överste John Tayloe III. Under kriget 1812 frivilliga Tayloe huset som en fransk ambassad för att rädda det från förstörelse, och två år senare, när Vita huset tändes av britterna, erbjöd han det till president James Madison som en tillfällig verkställande herrgård . Madison använde ett rum på andra våningen i huset som sin studie, och det var här han undertecknade fredsavtalet från 1815 som avslutade kriget med England.
Madison och hans fru, Dolley, flyttade tillbaka in i Vita huset 1817, och Tayloe och hans familj bodde kvar på Octagon House fram till 1855. Senare använd som ett unionssjukhus i inbördeskriget hade byggnaden fallit i förfall 1899, då American Institute of Architects köpte den för användning som huvudkontor. Grundades som ett museum 1970 och med historiska bilder av, memorabilia från och planer för berömda amerikanska byggnader, är det nu öppet bara två dagar i veckan för självstyrda turer.