Staldgårdens historie går lige så langt tilbage som Koldinghus og er således fra omkring 1268.
Staldgårdens nuværende bygninger er opført i 1600-tallet.
I 1860´erne var der hestestutteri for hæren. Gårdspladsen tjente som remonteplads, hvor unghestene blev trænet. I det lille stråtækte hus boede opsynsmanden, der skulle prøve at forhindre, at byens borgere stjal mursten fra ruinen.

I 1943 havde Gestapo sit hovedkvarter og Syd- og Sønderjylland på Staldgården. En fængselscelle, Zelle II,  fra denne periode er bevaret intakt. På væggene kan man se navnetræk og inskriptioner fra fangerne.  Cellen er fredet og udgør en del af Museum Kolding.

Staldgården er i år, 2023, ved at få nyt tag på. Fejret blev det med et festligt rejsegilde, som sig hør og bør.

6. juni 2024 blev det sidste tagvindue sat i, og det store renoveringsprojekt var afsluttet. Også dette blev fejret trods murerne manglede at færdiggøre taget. Det håber vi kommer.