апуск тяжелых нейросетей на обычном ноутбуке всегда упирался в жесткое ограничение Apple: объем объединенной памяти. Если модель с открытыми весами весила больше 100 гигабайт, для нее требовалась профессиональная рабочая станция минимум со 128 ГБ оперативной памяти — а это вынуждало переплачивать компании тысячи долларов за заводской апгрейд. Бесплатный проект с открытым исходным кодом slotstream от разработчика carloslfu полностью меняет правила игры, подгружая тяжелую модель Qwen3.8-Flash-Next напрямую с быстрого встроенного накопителя.
Как чтение с диска побеждает нехватку памяти
Модель Qwen3.8-Flash-Next построена на архитектуре Mixture of Experts (MoE, смесь экспертов) со 125 млрд параметров и занимает около 104 ГБ дискового пространства в оптимизированном 4-битном формате. Обычно попытка запустить нейросеть такого размера на компьютере среднего уровня приводит к мгновенной нехватке памяти, но утилита slotstream использует совершенно иной принцип работы.
Движок работает на базе MLX и Metal, а логика распределения памяти опирается на архитектуру Apple: нужные блоки считываются с накопителя сразу туда, где с ними напрямую работает графический чип.
Вместо того чтобы целиком загружать массив на 104 ГБ в оперативную память, программа постоянно держит в ней лишь компактное базовое ядро объемом 3,8 ГБ. По мере генерации текста утилита динамически считывает отдельные слои-эксперты с SSD-накопителя в фиксированный пул ячеек памяти по мере необходимости. Поскольку чипы Apple Silicon объединяют процессорную и графическую память в единый массив, данные поступают из скоростного хранилища NVMe напрямую к видеоядру без задержек и лишней пересылки по системной шине.
Реальные тесты на обычном железе
Показатели в реальных условиях разрушают миф о том, что для запуска стогигабайтных моделей обязательно нужны дорогие серверные стойки. На стандартном MacBook Pro с 48 ГБ памяти тесты разработчика показали инициализацию движка всего за 2 секунды, пиковое потребление памяти не выше 32 ГБ и стабильную скорость генерации текста на уровне 12 токенов (примерно 8–9 слов) в секунду, чего вполне достаточно для комфортной работы.
Локальный запуск без аренды серверов
Разумеется, есть базовые системные требования к железу. Потребуется компьютер Mac на процессоре Apple Silicon под управлением macOS 14 или новее, а также около 110 ГБ свободного места, поэтому накопитель на 512 ГБ становится разумным практическим минимумом. Программа поставляется в виде готового файла на языке Swift без громоздких надстроек на Python и сразу поддерживает стандартные интерфейсы сервисов Ollama и OpenAI, поэтому все привычные инструменты подключаются к ней без лишней настройки.
Грамотная оптимизация кода делает бессмысленной покупку избыточного железа для запуска многокомпонентных нейросетей. Больше нет необходимости тратить огромные бюджеты на топовые компьютеры Mac с объемом памяти от 128 ГБ или отправлять конфиденциальные рабочие данные в сторонние облачные сервисы. Чтение слоев напрямую с накопителя превращает запуск огромных локальных нейросетей в простую повседневную реальность.