Die heutige Stadt Schramberg war bis zum Jahr 1806 der Mittelpunkt der Herrschaft Schramberg, die sich im Besitz mehrerer Adelsfamilien befand.
Von 1648 bis 1806 waren die Freiherren (und ab 1746) Grafen von Bissingen und Nippenburg mit der Herrschaft Schramberg belehnt. Sie bewohnte zunächst die Burg Hohenschramberg bis zu ihrer Zerstörung im Pfälzischen Erbfolgekrieg im Jahr 1689. Danach hatte sie einen heute nicht mehr genau bekannten Wohnsitz im Tal.
Die Adelsfamilie war bis zum Ende des Zeitalters der Monarchien am Ende des Ersten Weltkriegs in Schramberg wohnhaft. 1923 verkaufte sie ihr Schlossgut an die Stadt Schramberg und zog auf den Hohenstein bei Rottweil, wo sie bis heute lebt.
Das ehemalige Schloss der Adelsfamilie ist eines der wichtigsten Kulturdenkmale dieser Epoche in Schramberg. Es hat sich von der Adelsresidenz über die Nutzung als Schule und Kulturzentrum zum heutigen Stadtmuseum weiterentwickelt.
1771/73 baute die Adelsfamilie ein neues Schloss in zeittypischem Stil und ließ einen Park dazu anlegen. Bereits 1778 wurde es aber bei einem Hochwasser schwer beschädigt.
Außerdem musste es als Unterkunft bei den zahlreichen Militäreinquartierungen in den napoleonischen Kriegen herhalten. 1820 wurde es an eine Steingutfabrik und eine Zichorienkaffeefabrik vermietet.
Reichsgraf Cajetan von Bissingen und Nippenburg (1806-1890) machte Schramberg erneut zum Lebensmittelpunkt der Adelsfamilie.
1840/43 ließ er von Oberbaurat Friedrich Bernhard Groß (1783-1861) aus Stuttgart den beschädigten Altbau durch einen klassizistischen Neubau ersetzen, der als "Landhaus" bezeichnet wurde.
Kurz vor seinem Tod versammelte Graf Cajetan von Bissingen und Nippenburg (1806-1890) seine Familie noch einmal zu einem Gruppenbild.
Das Familienoberhaupt hatte im österreichischen Staatsdienst eine beeindruckende Karriere gemacht, in der er bis zum Statthalter von Tirol und Vorarlberg (1849-1855) und zum Statthalter von Venedig (1855-1860) aufstieg.
Die Städte Wien, Innsbruck, Feldkirch, Bregenz und Bludenz ernannten ihn zum Ehrenbürger.
Bei seinem Tod würdigte man ihn als "eine Persönlichkeit voll Religiosität und Glaubensstärke und edler Gesinnung, voll Mut und Thatkraft, ein Mann von großem Wissen, voll Freundlichkeit und Herablassung, voll köstlichen Humors und treffenden Witzes."
1923 wurde das Schlossgut von der Stadt Schramberg und einem Käuferkonsortium der Industrie gekauft, um den Bahnhof erweitern und neues Bauland erschließen zu können.
Die Adelsfamilie zog in ihr neues Schloss Hohenstein über dem Neckartal, wo sie bis heute lebt
In ihrem alten Wohnsitz wurde 1926 die neue "Schlossschule" eröffnet.
In der Zeit des Nationalsozialismus erhielt der Schlossplatz den Namen "Hindenburgplatz".
Er wurde für Propagandakundgebungen der NSDAP genutzt und für die Aufmärsche in dieser Zeit baulich weiter umgestaltet.
In der "Schlossschule" befand sich im Zweiten Weltkrieg auch ein Kindergarten der "Nationalsozialistischen Volkswohlfahrt" (NSV).
Das Bild zeigt die Kinder und ihre Erzieherinnen an der damals noch vorhandenen Türe an der Ostseite des Schlosses, wo sich heute der Aufzug befindet.
In der "Schlossschule" befanden sich vor allem die Gewerbe-, Handels- und Hauswirtschaftsschule, zeitweise auch ein Teil der Katholischen Volksschule mit der Mädchenmittelschule, die "Hilfsschule" und ein Kindergarten.
1976 wurden die Beruflichen Schulen in einen Neubau im Stadtteil Sulgen verlegt.
Bei einer großen Hochwasserkatastrophe am 21. Mai 1959 wurde auch der Schlossplatz mit seinem Springbrunnen zerstört. 1964 wurde er mit vier Wasserbecken neu gestaltet, war seitdem aber nicht mehr für Feierlichkeiten wie bisher geeignet.
Die Wasserbecken wurden 2013 aufgrund technische Probleme entfernt. Ein neuer Springbrunnen würde den Schlossplatz weiter aufwerten.
Von 1979 bis 1982 wurde das Schloss als Kulturdenkmal saniert.
Am 19. März 1982 wurde es als Kulturzentrum mit neuen Räumen für das Stadtarchiv, die Stadtbibliothek und das 1979 gegründete Stadtmuseum eröffnet.
2006 erhielt zunächst die Stadtbibliothek (heute Mediathek im City-Center) neue Räume. 2011 zog auch das Stadtarchiv in ein eigenes Gebäude um.
Dadurch entstanden für das Stadtmuseum neue Perspektiven, das nun alle Räume für seine Dauer- und Wechselausstellungen nutzen kann. Aber auch die Arbeitsräume - insbesondere die meisten Magazine für die umfangreichen Sammlungen - befinden sich hier.