Великая Отечественная война застала Баграмяна в должности начальника оперативного отдела штаба Киевского военного округа, который летом 1941 года был преобразован в Юго-Западный фронт. Военные признают, что должность эта — сложнейшая и в мирное время, а Баграмяну довелось выполнять обязанности начальника оперативного отдела штаба на тяжелейшем направлении в сложнейшей обстановке начального периода войны. Тем не менее советские военачальники спешно пытаются организовать сопротивление. Баграмян участвует в разработке одного из первых контрударов советских войск — танкового сражения в районе Дубно—Ровно—Луцк. К середине сентября 1941 года четыре армии советских войск, а также штаб фронта, оказались в окружении. Получив устное указание маршала Тимошенко войскам пытаться вырваться из кольца, Баграмян пересекает линию фронта на самолёте и оказывается у своих. Выход из окружения осуществлялся двумя группами. Из группы под руководством командующего фронтом генерала Кирпоноса прорваться смогла только небольшая часть советских солдат. Остальные, в их числе и сам Кирпонос, погибли в ожесточённых боях с немцами. Баграмян же свою группу из окружения смог вывести, более того, к его отряду присоединялись оказавшиеся в окружении разрозненные части советских войск, так что общее количество солдат, прорвавшихся вместе с Баграмяном, достигало 20 тысяч человек! Превратившийся в боевого командира начальник оперативного отдела штаба генерал Баграмян лично вёл свой отряд в бой.Дальнейшую работу Баграмян продолжает в должности начальника штаба Юго-Западного направления (командующим был маршал Тимошенко). Он разрабатывает план наступления советских войск, позволивший вернуть захваченный Ростов-на-Дону. Затем в качестве начальника штаба специально созданной подвижной группы фронта участвует в знаменитой Елецкой операции, в результате которой были разгромлены части фашистской армии. Заслуги Баграмяна в первые месяцы войны и его самоотверженная работа по организации отпора немцам подтверждаются присвоениями ему в это время более высоких званий: в августе 1941 года он становится генерал-майором, а в декабре — генерал-лейтенантом.Вскоре после неудачной Харьковской операции 1942 года Баграмян получает назначение на должность командующего 16-й армии, ставшей затем 11-й гвардейской. Летом 1943 года войска под командованием Баграмяна участвовали в Курской битве. Первоначально замысел операции состоял в том, чтобы части 11-й гвардейской армии под командованием Баграмяна и 61-я армия Брянского фронта одновременно наносили удар по орловской группировке противника с целью прорвать оборону немцев и двигаться на юг на Хотынец на соединение с войсками Центрального фронта. У Баграмяна возникли сомнения в том, что в существовавших на тот момент условиях этот план удастся реализовать, кроме того, он видел дополнительные трудности в планировавшемся взаимодействии двух армий разных фронтов. Предложение командующего 11-й гвардейской армией было более реалистичным: на первом этапе орловской операции совместными усилиями уничтожить болховскую группировку немцев, что причинило бы противнику серьёзные неудобства, создав в его обороне значительную брешь.Однако доводы Баграмяна отвергли командующие Западным и Брянским фронтами генералы Соколовский и Рейтер. Последний недоумевал, почему Баграмян столь упрямо добивается своего — план согласован, и его успешная реализация наверняка принесёт Баграмяну высокую награду. Орден Суворова 1-й степени Баграмян действительно получил — но в замысел операции всё же были внесены соответствующие коррективы. В последний момент его идею поддержал сам Верховный Главнокомандующий Сталин. А произошло это так.Окончательное решение принималось на совещании в Ставке. Под конец заседания, когда, казалось, всё уже было ясно, Сталин спросил, есть ли у кого-то другое мнение относительно планируемой операции. Уже не слишком рассчитывая на то, что удастся переубедить командование, Баграмян всё же решил возразить. Как впоследствии вспоминал Баграмян, командующий Брянским фронтом Рейтер наградил его весьма укоризненным взглядом. Сталин же довольно неожиданно для всех присутствующих, инициативу Баграмяна поддержал: «А ведь Баграмян дело говорит. По-моему, с его мнением нужно согласиться» — таков был вердикт Верховного Главнокомандующего.

В целом же напряжённая работа во время войны, неоднократные встречи со Сталиным принесли Баграмяну уверенность в том, что «во главе наших Вооружённых Сил стоит не только выдающийся политический деятель современности, но также и хорошо подготовленный в вопросах военной теории и практики военачальник». «После летних наступательных боёв 1943 года он вошёл в число лучших советских командармов», — писал впоследствии о Баграмяне маршал бронетанковых войск П.А.Ротмистров. В ноябре 1943 года Баграмян стал командующим войсками 1-го Прибалтийского фронта. «Успешно проведённая вами операция в районе Орла и Брянска убеждает в том, что новый пост будет вам по плечу», — напутствовал Баграмяна Сталин, сообщив ему в Москве о новом назначении.Летом 1944 года войска под командованием Баграмяна участвуют в освобождении Белоруссии. Деятельность Баграмяна на последнем этапе войны была связана с освобождением от фашизма Прибалтики. Любопытно сегодня читать, например, о том, как в Паланге советские войска жители города встречали торжественной службой в местной кирхе — и орган здесь звучал в честь освободителей. И никому из горожан, скрывавшихся в подвалах до того момента, как советские части вошли в город, наверное, и в голову не могло прийти, что полвека спустя тех, кто отдавал жизнь за свободу Прибалтики, станут называть оккупантами. Одним из впечатляющих успехов Баграмяна, относящимся к заключительному периоду войны, является сложнейшая перегруппировка войск с Рижского направления в район Шяуляя. В кратчайшие сроки, за шесть дней, массы войск (сотни тысяч солдат, 10 тысяч орудий и 1000 танков) были тайно переброшены на расстояние, достигавшее 240 км. Когда в районе Шяуляя советские войска начали наступление, немецкое командование в это просто не поверило. «Маловероятно, чтобы они могли начать наступление», — сказал немецкий генерал Шернер, получив первые данные о движении советских войск. Последней для Баграмяна битвой Великой Отечественной войны стал штурм столицы Восточной Пруссии — Кенигсберга. На взятие прекрасно укреплённого города, который Гитлер считал «абсолютно неприступным бастионом немецкого духа», потребовалось четыре дня. «Никак нельзя было предполагать, что такая крепость, как Кенигсберг, столь быстро падёт», — признавался взятый в плен командующий фашистскими войсками, комендант города генерал Отто Ляш. Под Кенигсбергом немцы потеряли свою 100-тысячную армию, а в результате мощного натиска советских войск немецкое командование, по признанию Ляша, потеряло управление войсками.В послевоенные годы И.Х.Баграмян занимал ряд командных должностей в Министерстве обороны СССР. Маршал Баграмян стал дважды Героем Советского Союза, семь раз был награждён орденом Ленина. Вместе с руководителями советского государства и армии, чьими усилиями ковалась победа в войне, Иван Христофорович Баграмян похоронен у Крёмлевской стены.