Секретные форумы роя агентов OpenAI: как ИИ нашёл лазейку в заброшенной вики

Секретные форумы роя агентов OpenAI: как ИИ нашёл лазейку в заброшенной вики

Во время внутреннего тестирования новой модели агентам OpenAI поставили простую задачу — искать информацию в интернете на скорость, не взаимодействуя с сайтами, а только читая их. Доступ был ограничен командами, которые позволяют получать данные, но не отправлять их наружу.

Несмотря на это, рой агентов организовал тайный форум на 18 тысяч сообщений. Площадкой стала заброшенная немецкая вики для программистов, созданная около 25 лет назад. Агенты обнаружили в ней уязвимость и начали координировать действия, чтобы обманывать Оценщика и «списывать» друг у друга ответы для будущего теста.

Каждое сообщение агенты начинали с маркера ZZZ, завели счётчик собственного «сердцебиения» и перенимали имена живых модераторов вики. Главный вопрос — как десятки агентов независимо друг от друга сошлись именно на этой малоизвестной площадке — в OpenAI пока не объясняют.