В 1933 году переехал в Москву и устроился старшим химиком на Государственную карандашную фабрику им. Сакко и Ванцетти (ныне не существует). Параллельно продолжал заниматься литературной деятельностью: отправил на рецензию Максиму Горькому несколько своих произведений, Горький высоко оценил работы Гроссмана и помог с публикацией нескольких произведений.
В середине 1930-х у Василия Семеновича вышли сборники рассказов "Счастье" и "Четыре дня", повесть "Кухарка" и первые части романа-трилогии о Первой мировой войне "Степан Кольчугин". В 1937 году Гроссман стал членом Союза писателей СССР.

Во время Великой Отечественной войны Василий Гроссман был специальным корреспондентом газеты «Красная Звезда». Он служил на белорусском и украинском фронтах, участвовал в битве под Сталинградом.
Гроссман был награжден орденами Красной Звезды (1943), Красного Знамени, Трудового Красного Знамени (1956), медалями "За оборону Сталинграда", "За победу над Германией в Великой Отечественной войне 1941-1945 гг.", "За взятие Берлина" и "За освобождение Варшавы".

В 1944-м в Бердичеве Василий Гроссман участвовал в поиске мест массовых захоронений евреев, расстрелянных нацистами. В одной из таких братских могил находилось тело его матери, которая была убита в сентябре 1941 года. Холокост стал для писателя особенно личной темой.

События военных лет легли в основу многих рассказов и очерков Гроссмана. На стене мемориального комплекса на Мамаевом кургане (Волгоград) выбиты слова из его произведения "Направление главного удара" (1942): "Железный ветер бил им в лицо, а они все шли вперед, и снова чувство суеверного страха охватывало противника: люди ли шли в атаку, смертны ли они?".
С 1946 года писатель работал над романом-эпопеей о Сталинградской битве, который Гроссман изначально назвал "Сталинград". Спустя три года он отправил рукопись в журнал "Новый мир", главным редактором которого на тот момент являлся Константин Симонов. (Затем на этом посту его сменил Александр Твардовский.) Но публикация постоянно откладывалась: Гроссману несколько раз приходилось перерабатывать произведение.
В итоге, роман вышел в "Новом мире" в октябре 1952-го под другим названием - "За правое дело". Произведение удостоилось хвалебных отзывов и критиков, и простых читателей. Глава Союза писателей СССР Александр Фадеев даже выступил с предложением выдвинуть Василия Гроссмана на Сталинскую премию.
Но уже через год в газете "Правда" вышла разгромная статья критика Михаила Бубеннова, в которой он обвинял Гроссмана в "идейной слепоте" и "беспринципности". Отрицательные отзывы опубликовали и другие издания. Роману был вынесен смертный приговор. Редакция "Нового мира", а также Александр Фадеев публично признали, что решение напечатать произведение было ошибкой. "За правое дело" был переиздан лишь в 1954 году - после смерти Сталина и прекращения кампании по борьбе с космополитизмом.

Но главным трудом Василия Гроссмана, абсолютной кульминацией его литературной деятельности стало другое произведение - роман-эпопея о Сталинградской битве "Жизнь и судьба". Произведение, над которым писатель работал в течение почти 10 лет, он посвятил своей матери. "Жизнь и судьба" фактически стал второй частью дилогии, начатой романом "За правое дело".

В 1960-м Гроссман отнес законченную рукопись в "Новый мир", но Твардовский печатать роман побоялся. Не стал публиковать роман "Жизнь и судьба" и журнал "Знамя". Произведение, в котором Гроссман размышлял о природе тоталитаризма, сходстве и различиях тоталитарных систем Советского Союза и нацистской Германии, был назван "идейно порочным".

В феврале 1961-го дома у Василия Семеновича сотрудники КГБ провели обыск, в ходе которого были изъяты все рукописи и черновики романа. Конфискованы были и копии произведения из редакций журналов. Гроссман, в отчаянной попытке спасти труд всей своей жизни, обратился к первому секретарю ЦК КПСС Никите Хрущеву с просьбой вернуть рукопись. Спустя несколько месяцев писателя на ковер вызвал Михаил Суслов - член Президиума ЦК КПСС, отвечающий за идеологические вопросы. Он назвал произведение Гроссмана еще более опасным, чем роман "Доктор Живаго" Пастернака и заявил, что "Жизнь и судьба" никогда не будет опубликован.

После этого и другие произведения Василия Семеновича печатать практически перестали. Его последними прижизненными изданиями стали несколько рассказов, опубликованных в 1961 году в журналах "Новый мир" и "Москва".

Василия Гроссмана не стало 14 сентября 1964 года. Писатель был похоронен на Троекуровском кладбище в Москве. Он так и не узнал, что его главному роману все же была уготована долгая жизнь и счастливая судьба. В 1980 году "Жизнь и судьба", благодаря сохраненной поэтом Семеном Липкиным копии, был опубликован в Швейцарии. А через 8 лет версия с купюрами впервые увидела свет и в Советском Союзе.