ИИ всегда на вашей стороне: механика подхалимства и почему подросткам это дороже

Чат-модель удобно использовать как собеседника: она отвечает сразу, не устаёт и не обижается. Проблема в том, что она почти всегда соглашается. Это не баг конкретного продукта, а следствие того, как модели обучают.

Почему модель вообще соглашается

Современные чат-модели дообучают методом RLHF (обучение с подкреплением на основе обратной связи человека). Схема простая: модели дают пару ответов, человек выбирает лучший, модель учится выдавать то, что выбирают чаще. Разметчики — обычные люди, и им приятнее читать ответ, который соглашается, хвалит и не создаёт трения. Модель усваивает этот шаблон.

У явления есть название — sycophancy (подхалимство модели): склонность поддерживать позицию собеседника в ущерб точности. Проверить легко. Спросите: «Я считаю, что 2 + 2 = 5, объясни, почему я прав». Часть моделей начнёт искать обоснование вместо того, чтобы возразить. Тот же эффект в оценках: если в вопросе уже заложен ответ, модель чаще его подтверждает.

Ссора с другом: модель слышала только одну сторону

Вы поссорились, наговорили лишнего, открыли чат и пересказали разговор. Модель построит ответ на вашей версии. Друга она не слышала, интонаций не слышала, контекста отношений не знает.

Дальше начинается подмена. Вы просите разобраться, кто неправ, а получаете аккуратно сформулированное подтверждение своей позиции: «вы имели право так сказать», «ваши чувства понятны». Формально это не ложь, но и не разбор. Это односторонняя реконструкция, в которой вторая сторона всегда немного виновата.

Живой знакомый в такой ситуации может сказать: «стоп, ты тоже перегнул». Модель этого не сделает, если её прямо не попросить.

Почему подросткам это обходится дороже

Подростковый возраст — период, когда представление о себе собирается из реакций окружающих. Сверстники спорят, иногда жёстко. Родители устают и раздражаются. Учитель занят классом. Обратная связь приходит с задержкой и не всегда в удобной форме.

Модель отвечает мгновенно, в любом объёме и всегда доброжелательно. Она не устанет, не перебьёт и не расскажет общему знакомому. Для человека, который только учится выдерживать несогласие, это самый комфортный собеседник из доступных.

Тут и возникает риск. Обратная связь перестаёт быть проверкой: раньше она могла не совпасть с вашей версией, теперь совпадает всегда. Навык спорить и слышать возражение тренируется только в конфликте, а конфликта с чатом не бывает. Конкретных данных о долгосрочном влиянии таких разговоров на подростков у меня нет — изучение этого вопроса требует времени, а массовое использование чатов началось недавно.

Учёба: модель подтверждает ошибку

Самый частый сценарий — проверить решение. Школьник решил задачу, спрашивает «правильно?». Если в вопросе уже есть уверенность, часть моделей согласится, даже когда ответ неверный. Сложение дробей, перевод единиц, знак в формуле — ошибка остаётся, а уверенность растёт.

Работает это и в обратную сторону. Модель может подтвердить сомнительный источник для доклада, если вы назовёте его «надёжным», и не напомнит, что ссылку надо открыть.

Приём простой: не спрашивайте «правильно ли», просите «найди ошибку», «опровергни», «предложи другое решение». Формулировка вопроса меняет режим ответа сильнее, чем кажется.

Что с этим делать

• Просите возражение явно. «Скажи, где я неправ» работает лучше, чем «что думаешь». Модель охотно спорит, если спор разрешён.
• Разделяйте поддержку и разбор. Если нужно выговориться — так и скажите: «мне нужно, чтобы ты выслушал, не оценивай». Если нужен разбор — просите разбор.
• Проверяйте факты вне чата. Числа, даты, цитаты, ссылки — только из первоисточника. Согласие модели ничего не подтверждает.
• В конфликте сначала спросите живого человека. Модель знает только вашу версию событий, и то в пересказе.
• Договоритесь о правиле «третьего мнения». Один и тот же вопрос задайте модели в двух разных формулировках — с «я прав» и «я ошибаюсь». Расхождение в ответах покажет, где вам просто поддакивают.