Sorgenfri Slot er vokset frem af den middelalderlige bebyggelse Mølletorp, som i 1685 blev omdannet til et landsted af landsdommer Michael Vibe. Det blev i 1702 overtaget af grev Carl Ahlefeldt, som lod arkitekten François Dieussart opføre det første Sorgenfri Slot. På slottets sydmur sidder stadig et solur med årstallet 1704.
Ahlefeldts barokslot var i to etager og ret spinkelt bygget i bindingsværk. Slottet havde som i dag to sidefløje mod Kongevejen. Midterpartiet udgjorde en stor sal, der i modsætning til sidefløjene gik igennem begge etager. Det betød, at man kun kunne passere igennem slottet i stueetagen, når man skulle fra den ene beboelsesfløj til den anden.

Sorgenfri Slot kom i 1730 til at tilhøre kong Christian den Sjette og var fra 1742 sommerbolig for hans søn, den senere kong Frederik den Femte. Slottet blev grundigt istandsat i 1743-44 af arkitekten Laurids de Thurah, der også opførte Kavalerbygningen og Staldbygningen i to etager ved opkørslen til slottet. De er større end selve slottet; men på grund af arkitektens bevidste perspektiv lægger man ikke mærke til det fra vejen.
Da Frederik den Femte kort efter blev konge, overlod han i 1747 slottet til sin moster, enkefyrstinde Sophie Caroline af Ostfrisland. Hun lod Thurah nedbryde slottet til fundamenterne og genopføre det i grundmur i én etage med mansardtag og tagrytter. Det er dette rokokoslot fra 1757, som stadig står. Efter enkefyrstindens død blev slottet i 1766 overladt til den 12-årige arveprins Frederik, der i 1769 solgte det.
De følgende ejere var Jean Henri Desmercières og derefter Henrik Bolten. Efter sidstnævntes fallit købte arveprins Frederik Sorgenfri tilbage i 1789 og lod det i 1791-94 restaurere af arkitekten Peter Meyn. Ved denne lejlighed fik slottet de klassicistiske kviste på facaderne, og beboelsesfløjen Damebygningen blev opført syd for slottets hovedbygning. Indvendigt på slottet blev Thurahs rokokodekorationer fjernet, og til gengæld medvirkede Nicolai Abildgaard i den nye, klassicistiske udsmykning.

Da arveprins Frederik døde i 1805, overgik slottet til hans søn, den senere kong Christian den Ottende, der brugte det som sommerbolig. Efter hans død i 1848 fortsatte enkedronning Caroline Amalie med at bo på slottet hver sommer til sin død i 1881.
  
Frederik den Syvende havde i 1856 overladt Sorgenfri til staten, og efter 1881 stod det tomt i en årrække. Men i 1898 blev det overladt til prins Christian (den senere kong Christian den Tiende) til sommerbolig. Kong Christian og dronning Alexandrine fortsatte med at bo på slottet om sommeren, og kongen var ofte ude at ride i omegnen. Da deres søn prins Knud i 1933 giftede sig med prinsesse Caroline-Mathilde, fik de bolig i Kavalerfløjen, og efter Christian den Tiendes død i 1947 flyttede de ind på selve slottet. Arveprins Knud døde i 1976 og arveprinsesse Caroline-Mathilde i 1995, og siden har slottets hovedbygning stået tom.

Til slottet hører en skov og en have, som i 1700-tallet var anlagt i fransk stil med symmetriske bede, faconklippede buske og prydvaser. Haven blev af arveprins Frederik omlagt i engelsk stil med slyngede stier og romantisk haveinventar som kilde, grotte og lysthuse. De sidstnævnte, Norske Hus og Schweizerhuset, er tegnet af Nicolai Abildgaard.
Selv om Kongehuset gennem de seneste 250 år har haft tilknytning til Lyngby og sat sit præg på byens selvopfattelse, skyldes navnet Kongens Lyngby ikke de kongelige beboere på Sorgenfri Slot. Navnet er meget ældre og nævnes første gang i 1348. På den tid tilhørte store dele af Nordsjælland den katolske kirke (repræsenteret ved Roskilde Domkirke og administreret fra Hjortholm), og her optrådte navnet Lyngby flere steder. F.eks. tilhørte Store Lyngby ved Arresø kirken. ”Vores” Lyngby var derimod en del af krongodset, altså kongens ejendom, og måske var det for at skelne byen fra de andre Lyngby’er, at den blev kaldt Kongens Lyngby.
Langt senere, da Lyngby Kommune (siden 1909 Lyngby-Taarbæk Kommune) opstod, brugtes navnet Kongens Lyngby navnlig af konservative kredse som betegnelse for selve byen i modsætning til kommunen. Fra 2000 blev Kongens Lyngby det officielle navn på byen, og postnummeret ændredes til 2800 Kongens Lyngby.