De naam Geldrop betekent vermoedelijk: 'Gelders dorp'. Maar wordt ook op diverse oude kaarten als Geeldorp vermeld. Het geslacht Gheldorp kreeg als eerste de heerlijkheid in bezit. Het was vroeger een enclave van het hertogdom Gelre, een leen dat uitgegeven was door de Hertog van Gelre in het Brabantse land en uit schriftelijke bronnen bekend sinds 1296. De heren van Geldrop bezaten een kasteel en hadden het recht om de pastoor te benoemen. De heerlijkheid werd in 1462 verkocht aan Philips van Horne, die ook al heer was van de heerlijkheid Hees en Leen. Sindsdien valt het gebied bestuurlijk onder de Meierij van 's-Hertogenbosch. Het kasteel bezat een donjon ooit gebouwd in opdracht van de hertog van Gelre. Tijdens de vele Gelderse oorlogen werd de donjon vele malen met ‘buspoyer’ bestookt. Dit betekende dat de donjon, wel overeind bleef staan vanwege de dikke muren maar vrijwel onbewoonbaar was. Omstreeks 1616 heeft Amandus II van Horne er een nieuwe woning met trapgevels bij laten bouwen:
“…sodat dit nu ene fraye edelmanswoninghke is…”.
Dit nieuwe huis vormde de grondslag van het huidige kasteel.
Op 28 december 1627, het feest van Onnozele Kinderen stortte de kerktoren ten gevolge van nalatig onderhoud in tijdens een storm. Vijfentachtig doden en ruim tweehonderd gewonden. Geldrop had het daarna erg te verduren een slechte oogst, ziekten, grote branden en allerlei oorlogshandelingen. Michael Ophovius bisschop van 's-Hertogenbosch vluchtte in 1629 uit zijn stad na een belegering van vijf maanden door Fredrik Hendrik. Hij kwam naar Geldrop en bestuurde vandaar uit zijn bisdom. Ook zijn vriend Peter Paul Rubens verbleef regelmatig op het kasteel.
Ophovius is vooral bekend van het oprichten van missieorganisaties. Vanuit het zuiden werden priesters naar de Republiek in het noorden gestuurd om de katholieke bevolking bij te staan. Dit wordt de Hollandse Missie genoemd.
Opvallend is dat ook na de Tachtigjarige oorlog de Roomskatholieken in Geldrop weinig last hadden met het belijden van hun geloof. Geldrop bleef in het bezit van de van Hornes tot 1768. Daarna werd de heerlijkheid verkocht aan particulieren.
Gedurende de 17e en 18e eeuw is het kasteel erg verwaarloosd. Tot Adriaan van Sprangh het in 1770 liet restaureren. In 1810 werd de heerlijkheid per decreet afgeschaft door de Fransen en werd ook Geldrop een gemeente.
In 1870 werd de Engelse landschapstuin aangelegd. Het huidige landgoed is 11 ha groot en vrij toegankelijk. Het biedt een afwisselende plantengroei en een overgang van parkachtige naar een meer natuurlijke omgeving in de richting van de Kleine Dommel. In 1874 werd op het landgoed van het kasteel, dat toen eigendom was van Hubertus Paulus Hoevenaar, een hervormd kerkje gebouwd, dat echter in 1964 weer werd afgebroken ten behoeve van een verkeersweg. Hoevenaar liet ook het kasteel restaureren.
In 1881 trouwde zijn dochter Arnaudina met de burgemeester van Voorburg, een van Tuyll van Serooskerken. In 1912 kwamen zij op het kasteel aan en werden met klokkengelui, kanonschoten en stoomfluiten binnengehaald. Het begin van een succesverhaal. De kleinzoon van dit echtpaar Hendrik van Tuyll van Serooskerken erfde in 1955 van zijn oom kasteel Heeze. Tenslotte kocht de toenmalige gemeente Geldrop in 1974 het kasteel. Hieraan was de voorwaarde verbonden dat het kasteel en het landgoed ten nutte van de bevolking zou komen en blijven. In 1996 werd het kasteel bezit van de Stichting Kasteel Geldrop, die voor verdere instandhouding zorg draagt. In het kasteel bevindt zich, naast de trouwzaal, een oudheidkamer. Regelmatig worden er tentoonstellingen gehouden en uitvoeringen gegeven.