У такой модели ровно одна задача - генерировать каждое последующее слово в предложении.

Чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла...» ид
ти слово «бегать» или слово «раму».