Claude научился анализировать свой опыт в периоды бездействия — разработчики Anthropic сравнивают этот процесс со сном человека. Исследование показало, как ИИ может упорядочивать накопленную информацию и закреплять полезные знания.
Об этом пишет РБК-Украина со ссылкой на статью Anthropic.
Почему «запоминать все» — плохая идея?
Разработчики объясняют: если бот записывает каждый шаг, его память превращается в помойку. Но если он не хранит важные детали — в следующий раз придется начинать с нуля .
Чтобы найти баланс, исследователи отправили Claude проходить игру Pokémon Red, где нужно исследовать мир и приобретать значки.
Результаты ИИ-моделей после 10000 игровых шагов удивили разработчиков:
Sonnet 3.7 хранила абсолютно все: накопила 413 файлов в 225 папках (это почти 978 000 символов), но получила лишь 1 значок;
Claude Fable 5 действовала точечно: заполнила всего 10 файлов в 3 папках (около 43400 символов) и забрала 4 значка.
Fable 5 записывала главное — стратегии, выводы и текущие цели. Модель не тратила сил на обработку того, что и так видно на экране игры, и не теряла важных открытий между сессиями.
Как «сны» помогают исправлять ошибки?
В Anthropic подчеркнули: если ИИ сохранил ложный факт, в последующих разговорах он будет воспринимать его как правду. Избавиться от этой «галюцинации» помогли именно «сны».
Во время очередного теста в Pokémon Red бот неправильно записал координаты Покецентра у горы Мун. Поэтому он постоянно бродил вокруг, прыгал через односторонние уступы и возвращался к началу маршрута.
В режиме простоя Claude сверил свои заметки с полным текстом прошедшей игры и обнаружил ошибку:
- ассистент сам заменил ложные координаты на правильные;
- вернувшись в игру, он легко прошел гору Мун и добрался до города Сирулин;
- версия без функции «сна» так и осталась бродить в той же ловушке.
Превращение «хаоса» файлов в «Википедию»
Эффективность такого «ночного размышления» ИИ проверили на больших массивах данных. Claude поручили проработать 350 000 внутренних документов компании Stainless общим объемом около 420 миллионов токенов.
За 128 периодов бездействия модель самостоятельно создала на основе этих материалов полноценную викисистему со структурированными данными и перекрестными ссылками.
Благодаря этому точность ответов на 25 сложных тестовых вопросов выросла с 13 до 48 процентов.
В другом эксперименте Claude анализировал документы, связанные со слиянием компаний. Созданная в период бездействия база знаний помогла модели отвечать на вопросы с точностью до 87 процентов.
Для сравнения, обычный поиск в документах обеспечивал всего 73 процента точности.
Со всем тем, технология имеет существенные ограничения.
Разработчики признают: такие сеансы анализа нуждаются в значительных вычислительных ресурсах, а избыточное количество информации в памяти может перегружать следующие сессии работы модели.
