апуск автономных агентных сценариев на локальном железе через Model Context Protocol (MCP) обычно быстро упирается в глухую аппаратную стену. Проблема кроется не в слабой вычислительной мощности чипов, а в неэффективном пайплайне: стандартные конфигурации заново кодируют массивные необработанные JSON-схемы инструментов на каждом отдельном шаге диалога. Это впустую забивает объединенную память и резко увеличивает задержку до генерации первого токена, превращая локальных ИИ-ассистентов на ноутбуках в неповоротливые счетчики токенов.
Чтобы устранить это узкое место, независимый исследователь Мустафа Арслан разработал Nexus — экспериментальный прототип для раздачи KV-кэша в пространстве пользователя. Вместо загрузки полных схем инструментов напрямую в основное контекстное окно Nexus полностью разделяет маршрутизацию вызовов и обработку схем. За кулисами за выбор нужного инструмента отвечает семантический буфер INT8 в связке с пороговым фильтром кросс-энкодера, оставляя генерацию аргументов сжатым сигнатурам, которые в среднем занимают всего 19 токенов.
Синтетические тесты на объединенной памяти Apple Silicon с моделью Qwen2.5-14B-Instruct наглядно показывают практическую выгоду. В то время как стандартная конкатенация полных схем целиком забивает контекстное окно, Nexus уверенно держит нагрузку до 250 инструментов с точностью маршрутизации около 89%. Что особенно критично для повседневного использования, архитектура выдает первые токены аргументов в 1,66 раза быстрее, одновременно сокращая потребление памяти основного контекста примерно на 80%.
Кроме того, Nexus напрямую внедряет скомпилированные KV-блоки схем в оперативную память, применяя адаптивное по глубине декодирование суффиксов при превышении порога в 256 токенов, чтобы избежать смещения позиционных эмбеддингов. Для разработчиков и продвинутых пользователей, запускающих локальные наборы агентных инструментов на стандартных ноутбуках, этот подход доказывает: грамотная архитектура, а не постоянная покупка дополнительной оперативной памяти — ключ к отзывчивой работе локальных ИИ-моделей.