Johan van Oldenbarnevelt had via zijn moeder graag van adel willen zijn.

Veel teruggekeerde kruisvaarders wacht een beloning. Lijfeigenen geeft men de vrijheid. Ridders (de laagste adelstand) krijgen soms een landgoed in beheer. Is dat ook het geval in Amersfoort ? De reden ligt voor de hand. Na de kruistocht laait de oorlog met Gelre weer op. De Eemvallei ooit vredig midden in het Sticht, is nu grensgebied. In de loop der jaren bouwt de bisschop meerdere versterkingen om zich tegen Gelre te verdedigen, onder andere in Amersfoort en Ter Eem. Op de oorkonden die de Heren van Amersfoort ondertekenen staat ook hun titel; ‘miles’, of wel ridder. Een strijdbare titel die past bij de functie als commandant van de grensvesting Amersfoort. In 1119 staat als eerste ene Diederik van Amersfoort in de oorkondeboeken. Hij schenkt dan zijn goederen te Davitslaar (Davelaar onder Scherpenzeel of Daatselaar bij Renswoude?- wh) aan zijn dochter Henrika die gehuwd is met Hugo de Botter.

Amersfoort is in het begin niet meer dan een kasteel geweest. De verblijfplaats van Diederik. Als Hendrik van Vianden, bisschop van Utrecht, Amersfoort stadsrechten geeft in 1259 krijgt Amersfoort een eigen bestuur.

In datzelfde jaar 1259 heeft Walterus van Amersfoort, ridder, op zijn eigen grond het kasteel Stoutenburg doen bouwen. Hij draagt het over aan de bisschop om het wederom in ‘Leen’ te verkrijgen, inclusief de naam Van Stoutenburg en het recht op het voeren van een eigen wapen.

In het jaar 1315 verkoopt Everhard Van Stoutenburg het kasteel aan de bisschop van Utrecht, Guido van Henegouwen. Sinds die tijd voert het de naam: van Weede, aangevuld met Van Stoutenburg, ‘van Weede Van Stoutenburg’

De moeder van Johan stamt dus af van een oud geslacht. Helaas was de adelijke titel ‘Ridder’, de laagste adelstand, alleen overdraagbaar in de mannelijke lijn en niet in de vrouwelijke!