Indtil 1677 hed slottet Abrahamstrup. Hvem denne Abraham er, vides ikke. Man gætter dog på at navnet er afledt af Valde,ar Sejrs søn Abel. I 1200-tallet tilhørte det meste af Horn Herred  nemlig Valdemar Sejrs krongods.  
Perioden 1673 kom slottet i privateje hos jægermester Vincents Hahn. Det var i 1677 under hans ejerskab, at slottet fik sit nuværende navn, Jægerspris Slot.
1679 overgik slottet igen tilkongehuset, hvor det blev indrettet til sommerbolig for Frederik IV.  for 
1703 overlod kongen slottet til sin broder prins Carl.  
1729 overtog Kronprins Christian (VI) slottet efter prins Carls død.
1743 arvede Kronprins Frederik (V) slottet, arvede slottet, som gik i arv indtil kong Frederik VII, som blev den sidste kongelige ejer af slottet. Ved enevældens ophør i 1848 overgik slottet til staten.
1854 tilbagekøbte kongen imidlertid slottet til brug som tilflugtssted fra det højere borgerskab og aristokratis forargelse over hans borgerlige ægteskab med Louise Christine (bedre kendt som Grevinde Danner).
Efter kongens død i 1863 arvede Grevinde Danner slottet og havde det som fast bopæl. Hun oprettede i 1867 et børnehjem i den tidligere kavalerfløj. Knap et halvt år inden sin død, stiftede hun fundatsen Kong Frederik VII's Stiftelse af 30. oktober 1873. Stiftelsen indebar bl.a., at Jægerspris Slot, efter grevindens død, skulle indrettes til børnehjem for fattige og ulykkeligt stillede piger.
I slotsparken kan man se Grevinde Danners marmorkiste, som er placeret i en gravhøj, som er åben i siden. Her findes også Danneregen, som er en podning af Danmarks ældste træ Kongeegen.  
Der er stadig (2013) børnehjem på Jægerspris Slot, samt andre sociale behandlingstilbud. Jægerspris Slot Gods er på 3.010 hektar med gårdene Christiansminde, Egelundsgården og Louiseholm.