docs: bootstrap 1b project — epic, issues, open-1b init audit report (#1)

2026-09-28 15:18:21 +00:00
commit 833cb77525
8 changed files with 370 additions and 0 deletions
@@ -0,0 +1,26 @@
+# Epic: Gensyn open-1b — верификация auditable training и локальный inference
+
+**Цель.** Независимо проверить заявление Gensyn о *bitwise auditable training* (open-1b) на нашем железе и запустить модель локально; зафиксировать факты, ограничения и решения.
+
+## Контекст
+
+- Анонс 2026-09-15: https://www.gensyn.ai/news/introducing-open-1b-auditable-training (+ PRNewswire 302878850)
+- Harness: https://github.com/gensyn-ai/open-transformers (Apache-2.0)
+- Audit CLI: https://github.com/gensyn-ai/gensyn-audit
+- Audit app: https://open1b.gensyn.ai/ (manifest: https://open1b.gensyn.ai/manifest.json)
+- Модель: HF `Gensyn/open-1b-base`, `-midtrained-93B`, `-sft`
+- Модель: 1.61B total / 1.08B non-emb, 24 слоя, 400B токенов, 80 957 шагов, 48×H100
+- 2dph info-leaf (PO, 2026-09-28): `6703767319c6e2f9fa6d63465934d72e`
+
+## Дети эпика
+
+- `#AUDIT-INIT` — Аудит init-unit open-1b (CPU, Linux x86-64)
+- `#AUDIT-INTERVAL` — Аудит тренировочного интервала open-1b (заблокировано)
+- `#INFERENCE` — Локальный запуск open-1b на Arc B580 (llama.cpp Vulkan)
+- `#REPORT` — Сводный отчёт и запись фактов в 2dph
+
+## Критерий закрытия эпика
+
+Все дочерние issues закрыты с доказательствами (тест/лог/хэш). Заблокированный
+интервальный аудит может остаться открытым, если блокер явно задокументирован
+(нет опубликованного interval-unit + ресурсы хоста).
@@ -0,0 +1,25 @@
+Epic: #EPIC
+
+## Цель
+
+Независимо воспроизвести опубликованный **init-хэш** open-1b официальным harness'ом
+на CPU (Linux x86-64, без NVIDIA).
+
+## Критерии приёмки
+
+- [x] kit `pt-f91110a0d0c8_rp-c9ca6e71e673` скачан; sha256 **всех** файлов сверены с `kit.json`
+- [x] `repop.build_info().commit == kit.json.repop_commit` (`c9ca6e71e673`)
+- [x] `pretrain-audit-replay --from-init --until-step 0 --config-name 1b_repop_v2 --device cpu` → `match=true`
+- [x] отчёт с raw-выводом и таблицей sha256
+
+## Результат (2026-09-28)
+
+✅ **MATCH**. `state_hash = 16554a1119745f1b9bf4ac60b03226e5e9ca1247a2bd56169cd4c822fd457aed`,
+wall 58.3 s, peak RSS 16.8 GB, exit 0.
+
+Отчёт: `audit/REPORT.md`.
+
+## Ограничение
+
+Init-unit по README **не** проверяет тренировочный интервал — это отдельная задача
+`#AUDIT-INTERVAL`.
@@ -0,0 +1,29 @@
+Epic: #EPIC
+
+## Цель
+
+Воспроизвести **тренировочный интервал** (replay шага против опубликованного hash) —
+именно это доказывает заявление «bitwise auditable training», в отличие от init-unit.
+
+## Критерии приёмки
+
+- [ ] получен interval-unit с canonical target hash (published commitment на шаг)
+- [ ] скачан чекпоинт + шарды, потреблённые интервалом
+- [ ] `pretrain-audit-replay --checkpoint … --until-step N --gcs-root … --expect-hash …` → `MATCH`
+- [ ] отчёт с raw-выводом
+
+## Блокер (2026-09-28)
+
+- ⛔ В kit `pt-f91110a0d0c8_rp-c9ca6e71e673` `trajectory.json` содержит **только init-units**
+  (`100m_smoke_repop`, `1b_repop_run3`, `1b_repop_v2`). Interval-units «added per run once its
+  checkpoints and state_hash files are published» — **не опубликованы**. Self-serve кит
+  не определяет commit на шаг.
+- ⛔ Ресурсы хоста: нужно ~24 ГБ RAM (есть ~11 ГБ) и ≥60 ГБ диска (есть 39 ГБ);
+  один чекпоинт `ckpt/step_000000100/` = 19.31 ГБ.
+- Решение по разблокировке (владелец — PO/пользователь): запросить у audit-app interval-unit,
+  либо выполнять на хосте с ≥32 ГБ RAM / ≥60 ГБ диска (предпочтительно NVIDIA `--device cuda`).
+
+## Примечание
+
+Per-step log доступен на `gs://gensyn-open-1b/logs/state_hashes.jsonl`; harness не умеет
+автоподстановку, а audit-app гейтит сабмиты — это тоже часть блокера.
@@ -0,0 +1,23 @@
+Epic: #EPIC
+
+## Цель
+
+Поднять open-1b локально и доказать работоспособность на нашем железе
+(Intel Arc B580, Vulkan; без NVIDIA/CUDA).
+
+## Критерии приёмки
+
+- [ ] llama.cpp собран с Vulkan; бэкенд активен на Arc B580
+- [ ] веса HF (`Gensyn/open-1b-sft`, fallback `-base`) скачаны, provenance = точная ревизия
+- [ ] конвертация в GGUF; собран/выбран квант
+- [ ] `llama-cli`/`llama-server` даёт связный ответ; замер tok/s и VRAM
+- [ ] отчёт с точными командами и caveat'ами
+
+## Прочее
+
+- Сервисы — только docker compose (не systemd).
+- Обвязка — Go; Python только через `uv` (канонический `convert_hf_to_gguf.py`).
+
+## Статус
+
+🔄 выполняется фоновым SE-субагентом (2026-09-28).
@@ -0,0 +1,16 @@
+Epic: #EPIC
+
+## Цель
+
+Свести результаты в отчёт и записать проверенные факты в 2dph (brain), пометив
+что подтверждено, а что остаётся ограничением.
+
+## Критерии приёмки
+
+- [ ] сводный отчёт (что доказано / что нет) в репо
+- [ ] info-leaf в 2dph с итогом (source: `po/gensyn`)
+- [ ] явно зафиксированы ограничения: `repop` closed-source, v3-hash не покрывает RNG/cursor/spike/meta, interval-unit не опубликован
+
+## Статус
+
+info-leaf записан: `6703767319c6e2f9fa6d63465934d72e`. Отчёт — по завершении #INFERENCE и #AUDIT-INTERVAL.