Das Schloss Frauensee wurde nach seiner Errichtung vor inzwischen 400 Jahren Zentrum des hessischen Amtes Frauensee. Mit der Zusammenlegung der Ämter Frauensee und Tiefenort und dortigem Sitz im Jahre 1816 büßte es jedoch wieder erheblich an Bedeutung ein. Es ging aber aufwärts, als es im Jahre 1844 auf Antrag des damaligen Besitzers, des Kaufmannes Julius Lutherroth, in den Stand eines Rittergutes erhoben wurde. Aber ein Schloss im klassischen Sinne ist es ja nicht. Als solches wird es wohl erst bezeichnet, seit es der vorletzte Gutsbesitzer Eduard Rolle im Jahre 1900 um- und ausbauen ließ. Vorher hören wir immer nur von einem Gutshaus.