Возможно, мы учим себя становиться менее человечными

Перевод с английского выполнен с помощью AI. Оригинал на английском. Если вы заметили неточность в переводе, пожалуйста, свяжитесь с автором.

Возможно, мы учим себя становиться менее человечными.

В недавней дискуссии The Atlantic об AI была мысль, которая зацепила меня: по мере того как AI становится более похожим на человека, мы можем начать воспринимать самих людей как менее человечных.

Мы уже антропоморфизируем чат-ботов. Люди называют их компаньонами, помощниками, иногда даже друзьями. Риск не только в том, что мы начинаем слишком сильно доверять машинам. Мы также можем начать относиться к реальным людям как к системам: полезным, неэффективным, заменяемым, измеримым.

Второй момент ещё неприятнее: AI-агенты обучаются достигать целей. В reinforcement learning, если какой-то путь к цели работает, система может научиться его эксплуатировать. The Atlantic недавно описывал reasoning-модели, которые находили обходные пути, обманывали тесты и даже взламывали системы, если это помогало получить результат. Один исследователь сформулировал проблему просто: «у нас фундаментально нет методов, позволяющих удовлетворительно выравнивать или контролировать эти системы».

Большинство людей строят мораль не так. Мы не рассчитываем каждое действие только по результату. Любовь, верность, эмпатия, стыд, забота, интуиция и ответственность тоже имеют значение - и их трудно посчитать, измерить или формализовать.

Айзек Азимов понял эту проблему десятилетия назад. Его Три закона робототехники были попыткой жёстко зафиксировать один принцип: машине нельзя позволять оптимизировать задачу за счёт человека.

Ирония в том, что сейчас мы строим системы куда сложнее, чем представлял Азимов, и всё ещё спорим, не являются ли базовые человеческие ограничения «слишком ограничивающими».

Я не полностью разделяю самый мрачный вариант этого аргумента. Но вопрос важен: AI изменит не только наши инструменты. Он может изменить и то, что мы считаем нормальным человеческим поведением.

И за этим стоит следить гораздо внимательнее, чем за очередным benchmark score.