| 123456789101112131415161718192021222324252627282930313233343536373839404142 |
- # DeepSeek-V4.1-Flash-1017 через FLARE — их собственный пакет под четыре Spark.
- #
- # Ветка `gb10` репозитория local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE —
- # подписанный FLARE-пакет ровно под наш стенд: 17 шардов ≈ 511.3 GB (12 весовых
- # + 5 графовых), TP4, 16 одновременных запросов, DSpark до 5 драфтов с adaptive
- # verification, prefill чанками 4096, контекст до 1M на запрос.
- #
- # Запуск: `sm121 serve --recipe dsv41-flash-1017-4x-flare-gb10 --cluster dgx58-switch`
- # Лаунчер сам: preflight агентов на всех нодах, `flare download` на контроллере
- # (идемпотентно, 511 GB один раз), `flare orbit run --detach`, затем ждёт
- # /health + /v1/models. `sm121 stop` → `flare orbit stop`, `sm121 logs` →
- # `flare orbit attach`.
- #
- # Креды (ключ издателя, publisher) — в приватном config: [flare] accept_key /
- # accept_publisher / orbit_cluster. В репозиторий рецептов они не попадают.
- engine = "flare"
- deploy = "native"
- name = "DeepSeek-V4.1-Flash-1017 (FLARE gb10, 4x TP4, c16, DSpark5)"
- model = "deepseek-ai/DeepSeek-V4.1-Flash-1017"
- parent_model = "deepseek-ai/DeepSeek-V4.1-Flash"
- required_nodes = 4
- cluster = "dgx58-switch"
- # адрес модели для клиентов — общий кластерный алиас (FLARE отдаёт его же
- # через --name, но лаунчеру/бенчу нужен явный id в args)
- args = ["--served-model-name", "deepseek-v4.1-flash"]
- [flare]
- package = "local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE"
- revision = "gb10"
- name = "dsv41-flash-1017-4x-flare-gb10"
- http_port = 30000
- # их же рекомендованный набор (README ветки gb10), verbatim
- serve_flags = [
- "--max-concurrency", "16",
- "--mtp-draft-tokens", "5",
- "--mtp-adaptive-verification",
- "--embedding-table-storage", "disk",
- "--embedding-table-resident-scales",
- "--embedding-table-cache-size", "1GiB",
- ]
|
