Изначально на месте сада еще в XVIII в. располагался летний лагерь Томского 39-го пехотного полка (39-й пехотный Томский Е. И. В. Эрц-Герцога Австрийского Людвига-Виктора полк), отчего и пришло название сада.
Парк стал популярным местом прогулок в конце XIX века. Здесь сохранилась естественная популяция белок.А на террасах к спуску Томи водятся прыткие и живородящие ящерицы.
В 1979 году в центре парка сооружён мемориал боевой и трудовой славы томичей. В центральной части мемориального комплекса — Вечный огонь и скульптурная композиция — Родина-мать вручает оружие сыну. Вокруг скульптуры расположено около 15 стел с именами томичей, погибших в ходе сражений Великой Отечественной войны. Ежегодно 9 мая здесь проводятся торжественные митинги и возложения цветов.
Памятник природы «Классические геологические обнажения под Лагерным садом на правом берегу реки Томи» внесён в международный каталог как имеющий единичные аналоги во всем мире. Это место, где практически в одном обнажении видно принципиальное строение таких глобальных геологических структур, как платформы
Интересным фактом является то, что именно здесь была добыта первая томская железная руда, из которой был выплавлен первый в Сибири чугун.