В Красной Армии с 1918 года, участник Гражданской войны.
Командовал армией при освобождении Западной Белоруссии и в советско-финляндской войне 1939-1940 годов, затем - на дипломатической работе.

Во время Великой Отечественной войны командовал армиями. После войны , на различных командных должностях.


С 1960 года главнокомандующий Сухопутных войск и зам. министра обороны.

С июля 1961 года одновременно начальник Гражданской обороны СССР. В 1964-1972 годы начальник Гражданской обороны СССР.

Им проделана огромная работа по созданию, становлению и развитию системы общегосударственных оборонных мероприятий.

Умер 18.03.1982 г.

По собственному завещанию, маршал покоится «на Мамаевом кургане в Сталинграде, где... захоронены тысячи бойцов, которыми я командовал».