Staldgårdens historie går lige så langt tilbage som Koldinghus og er således fra omkring 1268. 

Staldgårdens nuværende bygninger er opført i 1600-tallet.

I 1860´erne var der hestestutteri for hæren. Gårdspladsen tjente som remonteplads, hvor unghestene blev trænet. I det lille stråtækte hus boede opsynsmanden, der skulle prøve at forhindre, at byens borgere stjal mursten fra ruinen.

I 1943 havde Gestapo sit hovedkvarter og Syd- og Sønderjylland på Staldgården. En fængselscelle, Zelle II,  fra denne periode er bevaret intakt. På væggene kan man se navnetræk og inskriptioner fra fangerne.  Cellen er fredet og udgør en del af Museum Kolding.

Staldgården er i år, 2023, ved at få nyt tag på. Fejret blev det med et festligt rejsegilde, som sig hør og bør.