Eine Zeichnung aus dem Jahr 1688 und andere Quellen lassen vermuten, dass am Standort des Karl-May-Hauses bereits damals ein einstöckiges Gebäude stand. Nach einigen Besitzerwechseln erbte Karl Mays Mutter Christiane Wilhelmine May 1836 das Haus.
Am 25.02.1842 wurde Karl May in diesem Haus, damals Niedergasse 122, geboren. 1845 verkaufte Mays Mutter das Haus, um ihre Ausbildung zur Hebamme finanzieren zu können. Familie May zog in eine Mietwohnung am Ernstthaler Markt.

Am 26.05.1929 wurde eine Karl-May-Gedenktafel an der Hausfassade enthüllt und in der Folgezeit die Straße, an der das Haus steht, in Karl-May-Straße umbenannt.
Erst 1980 wurde das Haus als Geburtshaus Karl Mays unter Denkmalschutz gestellt, zwei Jahre später wurde es nicht mehr als Wohnhaus genutzt, sondern renoviert und als Teil der May-Renaissance im DDR-Fernsehen vorgestellt. 1983-85 wurde das Haus rekonstruiert und eine Dauerausstellung vorbereitet. Am 12.03.1985 eröffnete das Haus “Karl-May-Haus” mit einer Ausstellung über Leben und Werk des Schriftstellers sowie dem nachgestalteten Wohn- und Arbeitsraum der Familie May. Am 25.02.1987 begann die erste Sonderausstellung – seitdem eine alljährliche Tradition anlässlich Mays Geburtstags. Am 10.10.1987 konstituierte sich der Wissenschaftliche Beirat Karl-May-Haus.

Am 15.09.1997 musste das Museum schließen: Bei Arbeiten am Gebäude waren Schäden festgestellt worden, die einen Abriss und Neubau des Dachstuhls erforderten. Am 25.02.1998 wurde das Haus nach über fünfmonatiger Schließung wiedereröffnet.

Am 25.02.2001 eröffnete gegenüber des Museums (Karl-May-Str. 51) die Karl-May-Begegnungsstätte. Damit stehen dem Karl-May-Haus heute über 200m² für Sonderausstellungen, Veranstaltungen und Museumspädagogik zur Verfügung.