1 сентября 1875 — в Москве в торжественной обстановке при огромном скоплении народа, в присутствии императора Александра II прошла закладка здания Исторического музея.

Идея создать музей исторических ценностей витала в кругах российской интеллигенции с середины XIX века. Сохранились письма генерал-майора Николая Чепелевского от 1871 года, в которых он «предполагал устроить в Москве особый музей, который бы сделался не только хранилищем собранных для выставки предметов, но постоянно направлял бы свою деятельность к разработке и собиранию материалов». Академик Константин Бестужев-Рюмин называл народное самосознание высшей целью исторической науки, а создание музея — самым могущественным средством его повышения.
В 1871 году граф Алексей Сергеевич Уваров хотел устроить выставку рисунков о российском быте допетровской эпохи. Великий князь Александр Александрович в середине 1860-х посетил музей древностей в замке Розенборг, после чего заинтересовался археологией и захотел создать в России нечто подобное.
Толчком к воплощению этой идеи послужил успех промышленной выставки к 200-летию со дня рождения Петра I. Среди её экспонатов были археологические находки и исторические реликвии, которые не вписывались в концепцию политехнического музея. Ветераны Крымской войны присылали памятные вещи в отдел обороны Севастополя. Этим предметам требовалось место для хранения и последующей экспозиции. Николай Чепелевский и генерал-адъютант Александр Зеленой (по другим данным — граф Уваров) в январе 1872 года подали цесаревичу Александру записку с предложением создать исторический музей. Александру понравилась идея создать место, куда мог бы прийти любой человек и увидеть, что «не со вчерашнего дня началась разумная жизнь в нашей стране». Цесаревич обратился с соответствующим прошением к императору Александру II и получил письменное разрешение.
В открытых источниках расходятся данные о точной дате подписания указа о создании музея Александром II. Достоверно известно, что это случилось в феврале 1872 года, однако в дне нет определённости — в разных источниках называются 3, 8, 9 (21 по новому стилю) и 14 числа.
Будущий музей решено было назвать в честь «августейшего имени государя наследника цесаревича великого князя Александра Александровича».
По приказу императора для организации музея была создана специальная комиссия учёных-историков под руководством графа Уварова. В неё вошли Дмитрий Иловайский, Василий Ключевский, Сергей Соловьёв, архивист В. Е. Румянцев и Иван Забелин. В январе 1873 года была сформулирована общая концепция музея — «служить наглядной историей главных эпох русского государства». Второго августа 1874 года был утверждён составленный Уваровым Устав музея. Этот документ регламентировал все вопросы пополнения и сохранения фонда экспонатов. Уже тогда разошлись мнения о предмете показа: Чепелевский хотел создать «храм воинской славы», а Забелин и Уваров настаивали на показе общей истории государства. Историки принадлежали к разным школам, и поэтому Уваров предлагал экспонировать «важнейшие государственные реформы в картинах», а Забелин хотел сделать упор на показ быта и жизни народа.
В 1875 году императорская комиссия объявила конкурс на лучший проект здания музея. Планы-претенденты должны были соответствовать определённой программе: использовать исконно русские архитектурные детали: шатры, ширинки, закомары и прочее, гармонично вписываться в ансамбль Красной площади и рифмоваться с Покровским собором. В августе 1875 года победителями были признаны Владимир Шервуд и Анатолий Семёнов с проектом под названием «Отечество». Члены жюри отметили глубину его проработки: он сопровождался обстоятельными пояснительными записями и демонстрировал глубокие знания о русском зодчестве и его наследии. Шервуд — внук англичанина и москвич во втором поколении — лучше других претендентов справился с конкурсным заданием. Решающее слово принадлежало Ивану Забелину, и он одобрил «Отечество» и подписал заказ на строительство.
Изначально организаторы надеялись привлечь частное финансирование и сделать музей общественным, неподконтрольным государству. Несмотря на привлечение спонсоров, в 1874 году общий капитал ГИМ составлял всего 154 тысяч рублей. Из переписки великих князей Александра Александровича и Сергея Александровича известно, что денежные вопросы велись «с легкомыслием замечательным. Построили здание, которое, ещё не законченное, стоит 1 ½ миллиона, и для этого не имели других средств, кроме 200 тысяч, которые дала казна». На строительство ГИМ пришлось взять в Московском кредитном обществе ссуду в 1,26 млн рублей. Закрыть кредит удалось только через 28 лет.
С момента создания музея и до революции 1917 года его фонд пополнялся преимущественно экспонатами из частных коллекций. Среди дарителей были многие знатные семьи:
Романовы, Голицыны, Кропоткины, Оболенские, Бахрушины, Боткины.Знаменитый Барон де Шодуар, Иван Максимилианович передал в дар, через доцента К. С. Кузьминского свои 92 ценные кириллические старопечатные книги.
Вдова Фёдора Достоевского Анна Григорьевна передала в дар музею архив книг, писем и фотографий писателя. Впоследствии на основе этих предметов была создана экспозиция «комната Достоевского». В 1905 году Пётр Щукин подарил ГИМ более 300 тысяч предметов русской живописи, иконописи и прикладного искусства, а также целый архив исторических документов. На тот момент коллекция Щукина превышала число единиц фонда самого музея истории.
В настоящее время коллекция продолжает пополняться: ежегодно до 15 тысяч предметов поступают в фонды благодаря археологическим экспедициям. Небольшое количество предметов поступают в дар от частных лиц или в ходе специальных закупок.
Фонд современного Государственного исторического музея насчитывает более 5 млн единиц хранения и 14 млн листов документальных материалов. Постоянная экспозиция в здании на Красной площади вмещает только 0,5 % от общей коллекции. Число посетителей музея ежегодно превышает 1,2 млн человек. Штат составляют более 800 сотрудников.
В настоящее время в музейное объединение входят Храм Василия Блаженного, Музей Отечественной войны 1812 года и Палаты Романовых. ГИМ также принадлежат выставочные залы на Площади Революции, хранилища и реставрационные мастерские в Измайлове. Идёт строительство депозитарно-выставочного центра площадью 120 тысяч м² в посёлке Коммунарка Новой Москвы.
С 1990 года входит в список объектов всемирного наследия ЮНЕСКО как часть ансамбля Красной площади.