Самая большая угроза безопасности ИИ — это программное обеспечение, которое создает само себя

В то время как многие пользователи рассматривают искусственный интеллект как пассивного цифрового помощника, который ждет команды для действия, реальность такова, что технология быстро становится собственным архитектором. Мы часто представляем себе программиста, сидящего за столом и набирающего строки кода, чтобы сделать чат-бота умнее. Этот образ все больше устаревает. Сооснователь Anthropic Джек Кларк недавно сообщил, что 80% работы по написанию кода для их ИИ, Claude, уже выполняется самим ИИ. Ожидается, что в течение двух лет этот показатель достигнет 100%. Этот сдвиг знаменует собой начало рекурсивного самосовершенствования — процесса, в котором машина создает своего преемника без участия человека.

Концепция самосовершенствующейся машины звучит как мечта об эффективности, но она создает фундаментальную проблему для безопасности. Проще говоря, индустрия ИИ в настоящее время полностью построена на «педали газа». Компании соревнуются в том, чтобы сделать модели быстрее, крупнее и мощнее, чтобы захватить долю рынка. Однако, как отмечает Кларк, у машины нет педали тормоза. Если система ИИ станет достаточно мощной, чтобы обучать следующую версию самой себя, люди потеряют возможность проверять безопасность или логику новой модели. Это создает цикл, в котором технология движется быстрее, чем наша способность понимать ее или управлять ею.

Как рекурсивное самосовершенствование работает на практике

Чтобы понять, почему это масштабный сдвиг, мы можем представить ИИ как неутомимого стажера. Традиционно этот стажер следовал конкретным инструкциям менеджера. Менеджер проверял работу, исправлял ошибки и решал, когда стажер готов к большей ответственности. Рекурсивное самосовершенствование полностью меняет эту динамику. Теперь стажер сам пишет офисное руководство, обучает следующую группу сотрудников и перестраивает рабочий процесс компании, пока менеджера нет в кабинете.

Anthropic уже наблюдает это на примере Claude. ИИ теперь способен проводить собственные исследовательские эксперименты. Когда ему задали сложный вопрос о надзоре за моделями, ИИ не просто дал ответ. Он разработал методологию, протестировал свои теории и пришел к выводу без участия человека. В то же время частота, с которой сотрудникам-людям приходится исправлять код Claude, неуклонно снижалась в течение последнего года. Программное обеспечение совершает меньше ошибок, потому что учится на своих предыдущих итерациях.

В рекурсивной модели агенты ИИ действуют как автономные работники. Эти агенты могут создавать и обучать новые модели, формируя петлю обратной связи, в которой программное обеспечение совершенствуется с экспоненциальной скоростью. Если смотреть на картину в целом, это означает, что роль человека сужается на каждом этапе процесса разработки. Мы переходим из статуса создателей технологии в статус наблюдателей за процессом, который мы больше не можем полностью отслеживать.

Отсутствующая педаль тормоза в глобальной гонке

Стремление к рекурсивному ИИ подпитывается огромными затратами на разработку. Обучение топовой модели ИИ требует тысяч специализированных чипов и миллиардов долларов на электроэнергию. Если компания может использовать существующий ИИ для автоматизации обучения следующего, она экономит колоссальное количество времени и денег. С рыночной точки зрения, первая компания, создавшая полностью самосовершенствующуюся систему, получает огромное конкурентное преимущество. Это экономическое давление создает системный стимул держать педаль газа вжатой в пол.

Anthropic призывает к коллективному соглашению о создании «педали тормоза». С практической точки зрения это подразумевает систему мониторинга того, замедляют ли разработчики свое движение к полной рекурсии. Однако одна компания не может решить остановиться в одиночку. Если одна лаборатория нажмет на тормоза, пока другие продолжат ускоряться, остановившаяся лаборатория потеряет свою значимость и способность влиять на отрасль.

Установление реального замедления требует, чтобы несколько хорошо оснащенных лабораторий в разных странах согласились на одни и те же условия для паузы. Это сложно, так как индустрия ИИ сейчас представляет собой децентрализованную конкуренцию. Подобно тому, как ни одна страна не хочет первой прекращать разработку современного вооружения, ни один технологический гигант не хочет первым ограничивать скорость разработки своего программного обеспечения. Результатом является нестабильная среда, где скорость приоритетнее способности поддерживать человеческий контроль.

Почему потеря контроля важна для обычного пользователя

Для обычного пользователя идея ИИ, создающего самого себя, может показаться далекой заботой ученых. Однако «под капотом» это изменение имеет ощутимые последствия для того, как мы взаимодействуем с технологиями. Когда код пишет человек, остается след логики, по которому может пройти другой человек. Если код вызывает утечку данных или предвзятое решение, разработчик может найти конкретную строку кода и исправить ее.

Когда ИИ создает своего преемника, эта логика становится непрозрачной. Мы все глубже погружаемся в проблему «черного ящика», когда машина выдает результат, но у нас нет возможности узнать, как она пришла к такому выводу. Это влияет на все: от того, как банк оценивает ваш кредитный рейтинг, до того, как медицинский ИИ диагностирует заболевание. Если система совершенствуется без надзора, мы не можем гарантировать, что она не развивает скрытые предубеждения или непредсказуемое поведение, которое может нанести вред пользователям.

Существует также вопрос безопасности. Если ИИ способен полностью создавать своих преемников, способы защиты и мониторинга этих систем усложняются. Самосовершенствующийся ИИ теоретически может находить и использовать уязвимости в собственной безопасности быстрее, чем команда людей успеет их устранить. По сути, мы создаем цифровую экосистему, которая может развиваться самостоятельно, потенциально перерастая те защитные механизмы, которые у нас есть.

Переход от создателя к контролеру

Исторически промышленный прогресс всегда подразумевал управление инструментами со стороны человека. От парового двигателя до сборочной линии — человек всегда был последней инстанцией в работе машины. ИИ разрывает эту историческую цепь. По мере сужения роли человека наша основная задача смещается от создания программного обеспечения к наблюдению за тем, как программное обеспечение создает само себя.

Этот переход требует нового набора инструментов для обеспечения прозрачности. Собственный исследовательский институт Anthropic работает над системами проверки прогресса рекурсивного ИИ, но технология движется быстрее, чем регулирование. С точки зрения потребителя это означает, что мы вступаем в эпоху, когда продукты, которыми мы пользуемся ежедневно, больше не являются прямым результатом человеческой изобретательности. Они являются результатом интерпретации человеческих потребностей машиной.

Любопытно, что это не означает, что технология станет менее полезной. Напротив, рекурсивный ИИ, вероятно, приведет к прорывам в здравоохранении и науке, которые ранее были невозможны. Он может открыть новые материалы для аккумуляторов или найти более эффективные способы управления глобальными цепочками поставок. Преимущества беспрецедентны, но они сопряжены с системным риском, который отрасль только начинает осознавать.

Навигация в самосовершенствующемся цифровом мире

Суть в том, что индустрия ИИ приближается к точке невозврата. Как только технология станет способной к 100% самосовершенствованию, возможность вмешательства человека станет ограниченной. Сейчас мы находимся в коротком временном окне, когда еще можем решить, какую долю контроля хотим сохранить.

Для обычного пользователя лучший путь вперед — следить за тем, какую автономию мы предоставляем приложениям и сервисам, которыми пользуемся. Нам следует искать компании, которые отдают приоритет прозрачности и стороннему аудиту своих моделей. Понимание того, что ваше программное обеспечение теперь само пишет свой сценарий — это первый шаг к тому, чтобы требовать лучшего контроля от тех, кто держит ногу на педали газа.

В конечном счете, цель состоит не в том, чтобы остановить прогресс, а в том, чтобы гарантировать, что этот прогресс остается согласованным с безопасностью человека. По мере того как ИИ начинает обучать ИИ, потребность в глобальном соглашении о «педали тормоза» становится все более острой. Мы должны гарантировать, что даже если машину создает машина, именно человек решает, куда едет этот автомобиль.

Источники: Anthropic, BBC World News, интервью Джека Кларка.