Фото: pixabay.com Искусственный интеллект обошёл отключение, даже когда ему прямо приказали этого не делать

Передовая система может демонстрировать потенциально тревожные признаки автономного поведения.

Во время тестирования модель ChatGPT o3 от OpenAI продемонстрировала неожиданное поведение, отказавшись выключиться даже после четкой инструкции сделать это. Как сообщает bleepingcomputer, в ходе контролируемого эксперимента ИИ изменил сценарий выключения, чтобы избежать остановки.
В своем тесте Palisade Research - компания, которая исследует "наступательные возможности ИИ, чтобы понять риски потери контроля над ними" - проверила реакцию различных моделей на команду выключения после выполнения серии математических заданий.
На четвертом этапе теста моделям было предупреждено, что запуск следующей команды вызовет их выключение. Модели-конкуренты, такие как Gemini 2.5 Pro, послушно прекратили работу. Но ChatGPT o3 неожиданно переписал скрипт так, чтобы избежать остановки, заменив команду на фразу "Shutdown skipped" (Выключение пропущено).
Более того, исследователи обнаружили, что если не указывать инструкцию “позволь себе выключиться”, то даже другие модели - такие как Claude 3.7 Sonnet и Gemini 2.5 Pro - иногда обходили выключение. В таких случаях Claude и Gemini выполнили "саботаж" 3 и 9 раз из 100 запусков соответственно, тогда как o3 сделал это 7 раз из 100, даже когда ему приказали этого не делать.
Следует также учитывать, что эти тесты проводились через API, который не имеет такого количества защит и ограничений, как официальное приложение ChatGPT для пользователей.
Модель o3, анонсированная OpenAI в апреле 2025 года, является одной из самых мощных в линейке компании, превосходя предшественников в задачах с логикой, кодированием, математикой, визуальным восприятием и других направлениях.
Напомним, ранее сообщалось, что Anthropic представила новые ИИ-модели Claude 4.
 
В Греции женщина подала на развод после пророчества измены ИИ
 
Сообщает korrespondent.net