Omkring aaret 1600 var den bygget i Stil som et Slot og stod i sin ypperste Vælde. 1616 solgte Ejeren, Otto Christoffersen Rosenkrans til Boller, Slottet til Christian d. IV., der forandrede det ældre Bygholms len til Stjærnholms Len og gjorde Slottet til Residents for Lensmanden, medens Bygholm kun blev Ladegaard til dette.