Hospitalet blev bygget i 1558. Det fungerede nærmest som et plejehjem, hvor byens fattiglemmer kunne få husly, mad og pleje. I 1838 opførtes den røde sygehusbygning nord for hospitalet.
I 1917 blev de to bygninger sammenbygget til den bygning, vi kender i dag.
I 1975 blev bygningen gennemgribende renoveret af Kolding Kommune og indrettet som forsamlingsbygning til brug for byens kulturelle foreninger.