Изначально планировалось усовершенствовать систему военной подготовки в существующих учебных заведениях, однако ряд войн николаевской эпохи показал необходимость организации высшей военной школы, которая могла бы выполнять не только учебные, но и научные функции. Так возникла идея организации военной академии с преподаванием широкого круга военных и смежных с ними дисциплин.

Академия сразу же заняла центральное место в системе военного образования России. Здесь преподавали крупные военные теоретики и историки. Наибольшее внимание они уделяли стратегии, тактике и военной истории.

Поскольку новое учреждение должно было обеспечить армию высшими командными кадрами, к поступающим предъявлялись достаточно высокие требования. В академию принимались офицеры всех родов войск не моложе 18 лет и в чинах не старше капитана армии и штабс-капитана гвардии, артиллерии и сапёров, имевшие опыт реальной службы.

Выпускники, успешно закончившие двухлетний курс теоретического и практического обучения на основном или геодезическом отделении, досрочно производились в следующий чин и получали право поступить на службу в Генеральный штаб. Окончившие полный курс, как правило, занимали впоследствии высшие командные посты.

С 1894 года большую часть выпускников стали направлять на службу в действующую армию для распространения в войсках военных знаний.

В 1910 году Академия начала выпускать свой научный журнал «Известия Императорской Николаевской Военной Академии». Своим содержанием «Известия» стремились «знакомить интересующихся военным делом с новейшими течениями военной мысли, проводить взгляды, выработанные и установленные современной наукой в области вопросов стратегических, тактических и военно-административных». Журнал также стремился к тому, чтобы дать читающей военной публике возможность ориентироваться в русской и иностранной военной литературе – книжной, журнальной и газетной. Также в «Известиях» помещались сведения, которые могли содействовать правильной организации и пополнению военных библиотек.

В начале 1918 года Императорская Николаевская военная академия была эвакуирована в Казань, где её личный состав перешёл на сторону армии адмирала Александра Колчака.

В 1921 году Академия прекратила свое существование и была воссоздана в 1936 году уже в Москве.

В принадлежавших Академии Генерального штаба зданиях на Суворовском проспекте в настоящее время располагается Военная академия связи имени Маршала Советского Союза С.М. Буденного. С 2022 года здания находятся на реставрации.

В фонде Президентской библиотеки хранятся:
«Положение о Николаевской академии Генерального штаба» (1880)
День в истории 
Н.П. Глиноецкий «История Русского генерального штаба» (1894).