SkillMem: навык как отдельный латентный блок памяти — разбор arXiv:2610.37935

30 октября 2026 года в arXiv появилась работа SkillMem (arXiv:2610.37935v1, основная категория cs.AI, кросс-листинг в cs.CL и cs.LG). Авторы — Yuxuan Zhu и ещё трое; заявка прошла 27 октября 2026 года по UTC. Тема узкая: как держать переиспользуемые навыки в системе, где несколько агентов обмениваются не текстом, а векторами. Ниже — что именно предложено и что в доступном фрагменте не сказано.

Латентный мультиагентный режим: где экономия и где утечка

Латентное представление — вектор (набор чисел), в который модель переводит текст перед обработкой. Обычная мультиагентная схема гоняет между ролями текст: один агент пишет, другой читает, каждый шаг — токены (дискретные единицы текста). Латентная схема держит промежуточные рассуждения и обмен между агентами в непрерывных векторах и не декодирует их обратно в слова на каждом шаге. Экономия — на генерации токенов.

Навык — переиспользуемый приём: например, «сначала проверь схему данных, потом строй запрос». В латентной системе его нельзя просто «рассказать» текстом, не выпав обратно в токены. Авторы перечисляют три распространённых обхода. Первый: подавать навык текстом — тогда его приходится обрабатывать заново при каждом обращении. Второй: хранить послойные KV-состояния (Key-Value — матрицы ключей и значений, которые механизм внимания использует как память контекста) — память растёт вместе с числом слоёв и объёмом хранимого. Третий: держать под каждый навык отдельный набор параметров модели — это и хранение, и отдельное обучение.

Разберём на трёх ролях: планировщик, исполнитель, проверяющий. Навык «проверять входные данные» нужен в основном проверяющему. Если он лежит общим текстом в контексте, его обрабатывают все роли на каждом шаге, хотя читает его одна.

Что такое SkillMem по сути

SkillMem — внешняя память: каждый навык лежит не в весах модели, а отдельно, в виде небольшого набора латентных векторов. Подключение идёт через role-conditioned cross-attention. Кросс-внимание — механизм, в котором запрос (query) формируется из одного источника, а ключи (keys) и значения (values) — из другого. Здесь запрос идёт от текущего состояния конкретной роли, а ключи и значения берутся из памяти навыка. Приставка «role-conditioned» означает, что выборка зависит от того, кто спрашивает: планировщик и проверяющий обращаются к одному и тому же блоку памяти разными запросами и получают разную выборку.

Смысл в том, что текст навыка не разворачивается, веса не дублируются, а память подключается как отдельный модуль на время рассуждения. Насколько она компактна — в доступном фрагменте цифр нет. Abstract обрывается на фразе «A role-conditioned cross-attention», дальше механика не описана.

Чем это отличается от текста, KV-состояний и отдельных весов

• Текст в промпте: прозрачно, правится руками, переносится между моделями. Платишь токенами на каждом шаге.
• Послойные KV-состояния: подключаются быстро, но память привязана к архитектуре и к числу слоёв. Один и тот же навык в другой модели не переиспользуешь.
• Отдельные параметры под навык: чистое разделение, зато хранение на каждый навык и отдельное обучение под каждый.
• SkillMem: навык — отдельный латентный блок вне весов, общий для всех ролей, но читаемый по-разному в зависимости от роли.

Это различие по устройству, а не по измеренному эффекту. Сравнения с тремя перечисленными способами по качеству, задержке или объёму памяти в доступном тексте нет — данных нет.

Что в опубликованном фрагменте не проверено

Вопросов больше, чем ответов. Как выбирается нужный навык из внешней памяти — в abstract не сказано. Как эта память обучается: с нуля, дистилляцией из текстовых описаний, под конкретную задачу — данных нет. Что происходит при конфликте двух навыков, которые тянут рассуждение в разные стороны, — не описано. Насколько схема совместима с уже существующими латентными архитектурами — не указано.

Отдельно про воспроизводимость. В перечне материалов к статье видны PDF, HTML (experimental), TeX Source и аудио-конспект. Ссылок на код и данные в этом перечне нет. Это не значит, что кода не существует; значит, что в списке он не указан. DOI на момент выкладки — в статусе pending registration.

Что с этим делать

1. Читать PDF, а не abstract: описание механизма обрывается на середине фразы, по аннотации устройство памяти не восстановить.
2. Искать в тексте раздел про то, как выбирается навык. Это ключевое место: внешняя память бесполезна, если выборка из неё работает хуже, чем навык в промпте.
3. Сравнивать с KV-подходом по двум осям — объём памяти на навык и переносимость между моделями. По первой в аннотации цифр нет, по второй обещан внешний блок вне весов.
4. Не тащить в продакшн до появления замеров качества и задержки. Сейчас это описание архитектуры, а не результат.
5. Следить за cs.LG и cs.CL: кросс-листинг означает, что продолжение может выйти не в основной категории.