Im Mittelalter wird der Platz als torneres velt (Turnierfeld) erwähnt und war ursprünglich sehr viel größer. Durch den Ausbau der Stadtbefestigung ab 1692 wurden die Gärten von dort hierher verlegt und der Platz verkleinert:

Und im Sommer 1743 wurde "auf dem 17 Morgen und 90 Ruthen" [≈ 4,4 ha] großen Platz "zwischen Wenden= und Fallersleberthor der Exerzierplatz angelegt, abgestochen, geebnet bzw. erhöht, mit Rasen belegt und festgestampft, auch ringsherum mit Linden bepflanzt, auch mit einem Graben umgeben".

Es gab immer wieder Streit um die Eigentumsrechte sowie um die militärische und zivile Nutzung des Platzes. 1848 führte dies zu einem Vergleich und der Feststellung: "Der kleine Exercierplatz ist Eigenthum der Stadt".

Von 1832 bis 1896 fand hier der jährliche Johannismarkt (24. Juni) statt, von 1871 bis 1914 das jährliche Sedanfest und um den Platz herum hatten sich einige Gasthäuser angesiedelt. Auf dem Platz gastierten Menagerien (Zirkusse) und 1949 war hier die erste Harz und Heide Ausstellung.

Im Herbst 1874 wurde auf diesem Rasen das erste Fußballspiel auf deutschem Boden gespielt und 1931 stiegen Heißluftballons auf.

Von 1935 - 1937 wurde die Bernhard-Rust-Hochschule gebaut. Später hieß sie Kant-Hochschule und heute ist es das Haus der Wissenschaft sowie das Naturhistorische Museum. Den verbliebenden Platz nutzte die TU als Sportplatz, bis 2013 mit dem Bau zum BRICS begonnen wurde (eingeweiht 2016).

Nach und nach verkleinert und überbaut, ist der "Kleine Exer" heute bis auf ein kleines Rasenstück verschwunden. Selbst die Straße Am kleinen Exercierplatze die hier entlang führte, trägt seit 1936 den Namen Konstantin-Uhde-Straße.