Vallø Slot er det naturlige centrum for Vallø Stift.
Slottet, som det kendes i dag, har en historie, der strækker sig tilbage til midten af 1500-tallet.
Siden midten af 1700-tallet har Slottet dannet rammen om det centrale i Vallø Stift – nemlig at udgøre bolig for en del af de i Vallø Stift indskrevne Stiftsdamer.
I 1893 sker katastrofen – Vallø Slot brænder.
Slotsbranden skyldes et uheld med et stearinlys. Ingen kommer alvorligt til skade, men ufattelige kulturværdier går op i lys lue. Slottets mure modstår branden, men alt andet udbrænder.
Genopførelsen af Vallø Slot tager 10 år.
Slottets indre ændredes fuldstændig, idet det var besluttet, at hvor der tidligere havde været slotskirke, riddersal, havesal og kongelig lokaler, skulle hele Slottet nu indrettes til 9 lejligheder til stiftsdamer samt en forhal og en havesal.
Den hvide stiftsbygning (Det hvide Stift), der hidtil havde rummet alle stiftsdamelejlighederne, indrettes nu mere simpelt med kun to lejligheder.
De oprindelige sandstensportaler, sandstensmedailloner og anden sandstenudsmykning på murværk var delvis uskadt fra branden og kunne genanvendes.
I sommeren 1904 blev Slottet genindviet, og 9 stiftsdamer kunne flytte ind.