|
|
@@ -55,8 +55,29 @@ get_hisparse_gpu_memory_usage`). verify-base проходит — он рани
|
|
|
`new = v0.31.0-файл + (оверлей − ddd6fbca)`; 21 авто, 2 вручную
|
|
|
(`rejection_sampler` — рефакторинг `gather_draft_sampled()`;
|
|
|
`flashinfer_mla_sparse_sm90` — 3-кортеж `_kv_lens_host` + early-return
|
|
|
-`_TRITON`). Коммит `5e04b7b`. Ребильд 30 с (кэш), import smoke OK,
|
|
|
-serve с 08:12 (sync dgx1→dgx2 + загрузка весов).
|
|
|
+`_TRITON`). Коммит `5e04b7b`.
|
|
|
+
|
|
|
+**Вторая ловушка — guard в `experimental/draft-trunc/draft_trunc.py`**:
|
|
|
+`VLLM_COMMIT = "ddd6fbca"` + чек `f"+g{VLLM_COMMIT}" in vllm.__version__`.
|
|
|
+Ночные базы несли scm-суффикс `+g<sha>`; релизный v0.31.0 — голый
|
|
|
+`"0.31.0"` → guard ронял движок на старте ("Refresh the copies...").
|
|
|
+Фикс: guard закреплён за версией релиза (semantics fail-loud сохранены),
|
|
|
+коммит `6e0b952`. Ребильд 30 с, label `29c47313…`.
|
|
|
+
|
|
|
+Финал: serve6 (08:29) — контейнер живой, грузит веса (33 шарда, NFS4),
|
|
|
+Mac-процесс serve умер после стрима лога (ран-лиджер закрыт); модель
|
|
|
+поднимается автономно, readiness ~08:39 UTC. Пайдантик-трейс с `{{dflash}}`
|
|
|
+в логах serve2/serve6 источник не установлен (live-команда catched inspect
|
|
|
+несёт resolved `snapshots/bf582e4e…`, движок грузит веса — не в этом
|
|
|
+краш); если повторится — смотреть APIServer-процесс, а не команду.
|
|
|
+
|
|
|
+## Итог дня (10-15)
|
|
|
+
|
|
|
+- kindling-2x снова жив на v0.31.0-базе (sm121-native, воспроизводим с нуля).
|
|
|
+- Ключевой урок: при смене BASE в kindling-дире **все** бейковые оверлеи
|
|
|
+ (полные копии vllm-файлов) надо ребейсить + проверять guards на
|
|
|
+ `__version__` (draft-trunc). Чек-лист: дрейф-аудит 38 файлов bake-листа,
|
|
|
+ `rg "__version__|VLLM_COMMIT" experimental/`.
|
|
|
|
|
|
## Замечания
|
|
|
|
