En del av Savannah Historic District, Madison Square, uppkallades efter den fjärde amerikanska presidenten och tillkom 1837. Torget firar också Sgt. William Jasper, en Savannah-infödd i revolutionskriget som blev dödligt sårad i strid men lyckades lyckas hämta sitt företags banner. Många lokala Savannah-infödingar hänvisar till detta som Jasper Square till hans ära.
I mitten av Madison Square sitter William Jasper Monument, samt en granitmarkör som definierar den södra gränsen för det brittiska försvaret. Leta efter två kanoner från Savannah Armory på södra delen av torget, som representerar Georgiens två första motorvägar. Det här är utgångspunkterna för Ogeechee Road som leder till Darien och Augusta Road till Augusta.
Madison Square leder till andra anmärkningsvärda sevärdheter i Savannah Historic District. Med utsikt mot västra sidan av torget hittar du St. John's Episcopal Church med Green-Meldrim House precis intill. På nordvästra sidan av Madison Square ligger Sorrel-Weed House, en av stadens mest imponerande herrgårdar. På det sydvästra hörnet av Madison Square står frimurertemplet, tidigare ett skotskt ritetempel. Det finns en vackert restaurerad grekisk revival herrgård på nordöstra hörnet, men den förblir i privata händer. Lägg märke till den intilliggande byggnaden som är integrerad i den, E. Shafer Books & Maps, en av Savannahs äldsta och mest kända oberoende bokhandlare.