Museum Van Loon ligger i en fin herrgård med utsikt över kanalen Keizersgracht; den designades av Adriaen Dortsman 1672 och husets första hyresgäst var Ferdinand Bol, en elev av Rembrandt. Mellan 1884 och 1945 var det familjen Van Loon, som grundade det holländska östindiska företaget (Vereenigde Oostindische Compagnie eller VOC) och var en av de rikaste familjerna i Amsterdam. Idag är detta ett av få radhus från 1600-talet på kanalsidan i Amsterdam som har behållit sin ursprungliga integritet och den eleganta herrgården med dubbelfront står fortfarande med sina stora proportioner intakt. Det speglade verkligen Van Loon-familjens förhöjda sociala ställning genom sin stora storlek, med stora lägenheter fyllda med Louis XV-möbler, fint porslin och dyrbart silverföremål som ledde till en procession av ännu mer utsmyckade rum. Väggarna är inredda i stil med den holländska aristokratin av guldåldern och kvävs med familjeporträtt och den stora trappan är konstruerad av dekorativ marmor med en utsmyckad mässingsbalustrad. En formell knutträdgård ligger bakom huset; bortom det är ett busshus byggt i stil med ett kolonnaderat grekiskt tempel.