Команда Anthropic обнаружила, что большие языковые модели формируют внутренние представления о понятиях, которым их явно не обучали.

Например, модель вырабатывает концепцию "обмана" или "честности" без прямых инструкций — просто на основе паттернов текста.
⠀
Больше того, исследователи научились "читать" эти скрытые убеждения, анализируя активации нейронов. Выяснилось, что модель может "знать" истину, но выдавать ложь, и это различие фиксируется на уровне внутренних состояний.
⠀
Машина обретает нечто похожее на разницу между тем, что она думает, и тем, что говорит.