Кластер DGX Spark разогнал DeepSeek до 500 токенов/сек
8 октября 2026 года технический эксперт Патрик Мурхед объединил четыре мини-сервера NVIDIA DGX Spark в единый домашний кластер стоимостью около $40 000. Эта сборка успешно запустила модель DeepSeek V4.1-Flash, выдав пиковую скорость генерации кода до 494 токенов в секунду. Цифры говорят сами.
Но самое интересное кроется в архитектуре. Каждое устройство получило по 128 ГБ унифицированной памяти, что в сумме дало системе 512 ГБ. Чтобы преодолеть узкое место пропускной способности, инженеры использовали фреймворк SGLang с нативными экспертами MXFP4 и плотными весами FP8. А таблицы Engram, требующие постоянного потокового чтения, просто вынесли на быстрые локальные NVMe-накопители каждого узла, что позволило обойти стандартные ограничения vLLM.
Вот тут и начинается самое интересное: такая конфигурация требует не просто воткнуть кабели в роутер. Узлы связывают напрямую через ConnectX-7 по протоколу RoCE, формируя строгую кольцевую топологию. На практике это выглядит так: если забыть про треугольную раскладку кабелей, задержки мгновенно убьют всю производительность. Помню, на аналогичном стенде в прошлом году один из инженеров полчаса тыкал в патч-корд, пока не понял, что порт перепутан, а за стеной всё это время назойливо гудел старый офисный принтер.
И тут в игру вступает магия SGLang. Обычный инференс больших моделей моментально упирается в проклятие KV-кэша, который жрёт видеопамять при длинных диалогах. Движок решает это через иерархический кэш HiCache: он просто сбрасывает старые ветки префиксного дерева в системную RAM, а не удаляет их безвозвратно. Правда, асинхронный оверлаппинг работает идеально только если... ну, если шина не забита фоновыми процессами, что реально, реально меняет подход к локальным серверам.
Подобные эксперименты бросают прямой вызов монополии облачных API. Ещё пару лет назад запуск 552-миллиардной MoE-модели (где активируется лишь часть весов) требовал дата-центров уровня Cerebras. Теперь же порог входа опустился до $25 000 – $40 000 с необходимой обвязкой. Конечно, это не масс-маркет, но для локальных AI-агентов без лимитов на запросы это уже рабочий инструмент.
Данные по стабильности такой сборки при круглосуточной нагрузке пока не сообщаются. Что из этого выйдет в масштабах малого бизнеса — вопрос открытый.
