Die aus Ehingen stammende Kunstsammlerin Doris Nöth, hat der Stadt eine äußerst umfangreiche Sammlung moderner Kunst überlassen, damit die umfangreiche städtischen Sammlung erweitert und einen weiteren Grundstock für die Galerie gelegt.

Das Gebäude selbst wurde 1624 als Herren- und Adelshof der Freiherrenfamilie von Speth erbaut.