De oorsprong van het dorp ’s-Graveland moet worden gezocht omstreeks de eerste helft van de 17e eeuw. Mr. Jan Ingel richt zich in 1625 tot de kamer van de grafelijkheidsdomeinen om ’s-Graveland te mogen verkavelen.

Zo ontstaat het dorp ’s-Graveland. Via de heren Adriaan Pauw en Pieter Corneliszoon Hooft zet hij arbeiders aan het werk om het land te ontginnen. Dit levert een aanklacht op van Hilversum en de ingezetenen van Gooiland. Bijna 100 jaar later worden de partijen het pas eens, maken de ingelanden een contract op en leggen zij de voorwaarden vast voor de ’s-Gravelandse polder. Van 1637 tot 1641 wordt de ’s-Gravelandse vaart gegraven. In 1672 stichten de Fransen overal branden in ’s-Graveland, dat hierdoor grotendeels wordt verwoest. De schadevergoeding bedraagt 6000 gulden.

Door de eeuwen heen hebben de buitenplaatsen het aanzien van het dorp bepaald. De herenhuizen werden gebouwd aan de oostkant van het dorp, de arbeiderswoningen aan de vaart. De bewoners van de landgoederen bepalen het sociale leven en zij stichten onder andere scholen en een wijkgebouw. De bewoners van de buitenplaatsen wonen ’s zomers in ’s-Graveland en ’s winters in de stad. Zo is er ‘s winters geen werk voor de mensen. Omdat het water in ’s-Graveland erg zacht is, zetten de vrouwen in de zomermaanden een wasserij-industrie op. Zo kunnen zij wat extra’s verdienen voor de winter. Later sturen schippers zelfs vanuit Amsterdam hun was. De vrouwen kunnen het werk niet meer alleen aan en de mannen gaan meehelpen. In 1658 vestigen zich enkele lakenwevers in het dorp, maar houden het hier niet lang uit. De laatste lakenweverij was gevestigd in het oude 'Het Wapen van Amsterdam'. Na de Tweede wereldoorlog begint het verval van de buitenplaatsen. De Vereniging tot Behoud van Natuurmonumenten koopt deze op om de schoonheid van de landgoederen te bewaren.