Переглянути джерело

night log: disk audit — stopped containers pinned 211-245 G of images, root-owned leftovers, gr8/uv caches

The '916 G, where did it go' question: docker image prune -a never removed an
image referenced by any container including Exited ones (12-15 per node), so
the space came back only after docker container prune; ~/sm121-cache and
~/ns/1017-tf were root-owned and the first rm -rf silently did nothing; plus
/srv/gr8 and the uv caches. Free now 557/605/607/597 G.
Alexander Korolev 13 годин тому
батько
коміт
0a4940df8c
1 змінених файлів з 23 додано та 0 видалено
  1. 23 0
      history/night-shifts/2026-10-23.md

+ 23 - 0
history/night-shifts/2026-10-23.md

@@ -193,3 +193,26 @@ safety-critical — TC-92 (tenant isolation). Прод на том же моде
 
 Вывод: разрыв в префилле был **I/O**, а не стек движка; остаётся декод
 (37.0 c1 против прод 47.8–50.7) при уже равном префилле.
+
+## Диск: аудит и чистка (вечер 2026-10-23)
+
+Вопрос оператора «нода 916 G, ОС ~100 G, куда остальное» разобрался вскрытием
+`du -x -d1 /` по нодам. Настоящие пожиратели:
+
+1. **docker: остановленные контейнеры держали образы.** `docker image prune -a`
+   не трогает образ, на который ссылается *любой* контейнер, включая `Exited`
+   (у нас их висело 12–15 на ноду). Поэтому `docker system df` показывал
+   «211–245 G reclaimable», а место не возвращалось. Лечение:
+   `docker container prune -f && docker image prune -af` → **+276…+287 G/ноду**.
+2. `~/sm121-cache` 91 G × 4 (90 G — тарболл закрытого GLM-5.3 kindling) и
+   `~/ns/1017-tf` 95 G × 2 (TensorFold) — первый `rm -rf` **без sudo молча не
+   сработал** (root-owned), поэтому отчёт о чистке был неверным. Только с
+   `sudo` освободилось.
+3. `/srv/gr8` 86 G × 2 — остатки движка gr8.
+4. `~/.cache/uv` 24–30 G на ноде (кэш uv-тулчейна) — снесён.
+5. `flare-src` нужен только контроллеру (dgx5) — с остальных удалён, бинарь
+   копируется; `vllm-judge` удалён (переделывать заново).
+
+Итог: свободно **dgx5 557 G, dgx6 605 G, dgx7 607 G, dgx8 597 G**
+(осталось занято: engram 190 G/ноду, docker ~30–50 G, ОС ~65–95 G).
+Места хватает на gb10-пакет (511 G контроллеру + срезы пирам).