Klitgaarden – eller "Kongevillaen", som mange i Skagen kaldte den – er beliggende på Damstedevej sydvest for Skagen på et stort areal på 48.000 m². Klitgaarden er tegnet af en datidens største arkitekter Ulrik Plesner, som i mange andre henseender har sat sit præg på hele Skagen. Klitgaarden stod færdig i 1914 og blev opført til Kong Christian X som sommerresidens. Klitgaarden er en trelænget bygning i to etager. Den er bygget i røde mursten, og kalket – som det er typisk for området – gul. Den har afvalmet rødt tegltag med hvidkalkede skorstene. Opførelsen kostede i datidens mønt ca. kr. 40.000, heraf murerarbejdet kr. 16.068, og snedker og maler skulle have kr. 7.938. I dagligstuen, fik kunstneren Harald Slott Møller til opgave at designe 55 tallerkener, dekoreret med byvåben fra de danske købsteder samt stjernetegn og folkedragter.[1]. Arkitekten Ulrik Plesner har ligeledes tegnet en del af møblerne der stadig – ligesom Slott-Møllers tallerkener – er i Klitgaardens stuer.

Kong Christian X og dronning Alxandrine benyttede Klitgaarden i længere perioder indtil deres død i henholdsvis 1947 og 1952. Derefter overgik Klitgaarden til arveprins Knud og arvprinsesse Caroline Mathilde  – arveprinsessen var længstlevende og døde som 83 årig i 1995 – og de tre arvinger satte Klitgaarden til salg.
Det var Skagens daværende kommunaldirektør Karen Krause Jensen, der tog initiativ til at skabe et refugium hvor forbilledet var refugiet San Cataldo beliggende nær Amalfi i Italien. Andre initiativtagere trådte til bl.a. Advokat Niels Gangsted-Rasmussen, forfatteren Klaus Rifbjerg, Knud W. Jensen som var Louisianas  grundlægger, fhv. landsdommer Frans Lichtenberg og rektor for Handelshøjskolen Finn Junge-Jensen.