Датой основания сада принято считать 1812 год. Сады на месте русла убранной под землю реки Неглинки были разбиты по проекту архитектора Осипа Бове в рамках плана по восстановлению Москвы после пожара 1812 года. Работы начались по указу императора Александра I.

По первоначальному плану создавалось три сада: Верхний, Средний и Нижний, разделённые Троицким и Боровицким мостами и назывались они Кремлевскими. При этом предполагалось использовать воды Неглинки для создания в них прудов, однако это осуществлено не было.

В 1856 году сады были переименованы в честь императора Александра I