Образован декретом СНК РСФСР от 22.2.1921 года. 
Неоднократно менял названия: 
Государственная общеплановая комиссия при СТО РСФСР (22.2.1921-13.7.1923 годы), Государственная плановая комиссия при СНК СССР (13.7.1923-15.3.1946 годы), Государственная плановая комиссия при СМ СССР (15.3.1946-9.1.1948 годы), Государственный плановый комитет при СМ СССР [(9.1.1948-25.5.1955 годы); на его базе были созданы Государственная экономическая комиссия СМ СССР по текущему планированию народного хозяйства (25.5.1955-10.5.1957 годы) и Государственная комиссия СМ СССР по перспективному планированию народного хозяйства (25.5.1955-10.5.1957 годы)], Государственный плановый комитет СМ СССР (10.5.1957 -24.11.1962 годы; 24.11.1962-13.3.1963 годы; 2.10.1965-5.7.1978 годы), Государственный плановый комитет СССР (13.3.1963-2.10.1965 годы при ВСНХ СССР; 5.7.1978-1.4.1991 годы при СМ СССР). 
После упразднения Госплана СССР его функции переданы Министерству экономики и прогнозирования СССР (1.4 - 26.12.1991 года; возглавлялось В. И. Щербаковым).

Был образован для реализации ГОЭЛРО плана и разработки на его основе единого народно-хозяйственного плана. В 1921 году совместно с комиссией ВЦИК провёл работу по установлению нового экономического районирования. В 1921-1923 годах деятельность Госплана СССР была сосредоточена на отраслевом планировании: он составлял планы развития внешней торговли, топливный, продовольственный, транспортный и др. С 1923 года осуществлял согласование народно-хозяйственных планов союзных республик. В 1924-1925 годы перешёл к подготовке перспективных общехозяйственных планов («Контрольные цифры народного хозяйства на 1925-1926 годы»). Для разработки 1-го пятилетнего плана (смотри Пятилетние планы) развития народного хозяйства (1928/29 - 1932/33 годы) в декабре 1927 года в структуре Госплана СССР была образована Центральная комиссия перспективного планирования во главе с Г. М. Кржижановским, его заместители - Г. Ф. Гринько и С. Г. Струмилин. Одновременно началась работа по составлению генерального плана развития страны на 10-15 лет. В 1927 году Госплану СССР решением СНК подчинены Госпланы союзных республик. В 1930-1948 годах в связи с ликвидацией ЦСУ как самостоятельного органа Госплан СССР осуществлял руководство учётно-статистической работой. В 1939-1948 годах занимался внедрением новой техники, для этого при Госплане СССР образован Институт технико-экономической информации.

С началом Великой Отечественной войны повысился уровень централизации планирования, непосредственное руководство им перешло к ГКО, по заданию которого Госплан СССР разрабатывал военно-хозяйственные планы мобилизации ресурсов, перемещения промышленности в восточные районы СССР и организации там военного производства, планы строительства новых металлургических заводов, электростанций, угольных шахт и военных предприятий. В этот период Госплан СССР адресовал плановые задания непосредственно предприятиям. С августа 1943 года он разрабатывал перспективные планы восстановления и развития экономики районов, пострадавших от оккупации, эти планы позже слились с подготовкой плана послевоенного восстановления и развития народного хозяйства СССР (1946-1950 годы).

С 1957 года Госплан СССР - единый орган перспективного и текущего планирования. В 1963-1965 годах осуществлял главным образом перспективное планирование отдельных отраслей промышленности через Госпланы союзных республик и непосредственно подчинённые ему отраслевые комитеты (15); территориальное планирование было возложено на совнархозы. В ходе реформ А. Н. Косыгина Госплан СССР стал осуществлять планирование как отраслевое, так и территориальное (для его осуществления была повышена роль плановых органов союзных республик). Изменилась методика работы по подготовке текущих пятилетних планов: при их составлении одновременно проводились научные предплановые работы, задачей которых было создание схем развития и размещения отраслей народного хозяйства, а также производительных сил по экономическим районам и в целом по стране на 15-20 лет. В структуре Госплана СССР образованы новые подразделения: сводный отдел территориального планирования и размещения производительных сил (1965 год), специальная межведомственная комиссия для методического руководства реформами, Государственный комитет цен для совершенствования системы цен и методов ценообразования, аппарат уполномоченных Госплана СССР в восточных районах. Для эффективного хозяйственного освоения восточных районов страны Госплан СССР разработал и утвердил планы формирования территориальных производственных комплексов – Западно-Сибирского, Братско-Усть-Илимского, Саянского, Южно-Якутского и др.

В составе Госплана СССР функционировали: Государственная экспертная комиссия, состоявшая из крупных учёных и специалистов; Совет по изучению производительных сил (1965-1991 годы); научно-исследовательский экономический институт (1955-1991 годы); НИИ планирования и нормативов (1961-1991 годы); Институт комплексных транспортных проблем (1965-1991 годы); Всесоюзный научно-исследовательский институт комплексных топливно-энергетических проблем (1974-1991 годы); Главный вычислительный центр (1958-1991 годы), осуществлявший расчёты плановых показателей по заказам отделов. Госплан СССР издавал журнал «Плановое хозяйство» (1923-1941 годы; 1944-1991 годы).