Ingest

ingest: синтез источников в wiki

Прочитать источник → построить карту знания → решить гранулярность → создать или обогатить страницы → связать всё через wikilinks и frontmatter.

Один источник обычно затрагивает 5-15 wiki-страниц. Знание накапливается на одной странице из нескольких источников — это и есть compounding knowledge.

Стандарт синтаксиса: пиши весь Obsidian Markdown в правильном Obsidian Flavored Markdown (wikilinks [[Note]], embeds ![[file]], properties как YAML frontmatter). Детали — скилл obsidian-markdown.

---

Команда и флаги

Команда	Поведение
/ingest [источник]	Стандартный режим: прочитать → обсудить ключевые выводы → синтезировать страницы
/ingest --auto [источник]	Автоматический режим: пропустить обсуждение, сразу синтезировать
/ingest --force [источник]	Принудительный пересинтез: игнорировать дедуп через manifest
/ingest [несколько источников]	Пакетный режим (см. ниже)

Для починки накопленных issues без нового источника — /lint. Он сам запустит script auto-fixes, agent fixes и ask-dialogue.

---

Маршрутизация по типу источника

Источник	Что читать
Markdown файл (raw/<path>.md)	references/dedup.md (проверка hash) → Synthesis Workflow
PDF/DOCX (raw/formats/<file> или raw/<file>)	сначала вызвать /transcribe → восстановленный .md в raw/ → Synthesis Workflow
URL (https://...)	references/url-ingestion.md (defuddle + URL-дедуп) → Synthesis Workflow
Изображение (.png/.jpg/.jpeg/.gif/.webp/.svg/.avif)	секция Image ingestion ниже → Synthesis Workflow

---

Synthesis Workflow

Восемь фаз. Никаких сокращений или импровизации последовательности — каждая фаза имеет свою цель.

#	Фаза	Цель
1	Прочитать источник целиком	Понять структуру знания, не создавая страниц
2	Построить карту знания	Выделить концепции / сущности / утверждения
3	Решить гранулярность	Для каждой единицы — будет ли своя страница (критерии в reference)
4	Написать или обновить	Создать новую (по шаблону) или дополнить существующую
5	Связать страницы	frontmatter (sources/related/tags/domain) + inline wikilinks
6	Обновить инфраструктуру	log.md, cache.md, summary.md. wiki/index.md не трогать — генерируется автоматически
7	Domain proposal	Если порог N=10 пройден тегом без domain — предложить создать
8	Lint review	вызвать /lint — он сам запустит bin/static_lint.py, применит script auto-fixes и agent fixes, проведёт ask-dialogue с пользователем

Полные детали фаз 1-7: references/synthesis-phases.md. Полный pipeline Phase 8: .claude/skills/lint/SKILL.md — ingest просто делегирует.

После Phase 8 — записать запись в raw/meta/ingested.json (см. references/dedup.md).

---

Image / Vision ingestion

Триггер: пользователь передаёт путь к файлу изображения (.png, .jpg, .jpeg, .gif, .webp, .svg, .avif).

1. Если оригинал не в raw/formats/ — переместить в raw/formats/<slug>.<ext>.
2. Прочитай файл изображения через инструмент Read. Агент обрабатывает изображения нативно.
3. Опиши содержимое: извлеки весь текст (OCR), идентифицируй ключевые идеи, сущности, диаграммы, данные.
4. Сохрани описание в raw/<slug>-<YYYY-MM-DD>.md:

   ---
   source_type: image
   original_file: raw/formats/<slug>.<ext>
   fetched: YYYY-MM-DD
   ---
   # Изображение: <slug>
   
   [Полное описание содержимого, транскрибированный текст, видимые сущности и т.д.]
   

5. Продолжи с Synthesis Workflow на сохранённом файле описания.

Применение: фотографии whiteboard, скриншоты, диаграммы, инфографика, сканы документов.

---

Batch Ingest

Триггер: пользователь кладёт несколько файлов или говорит "ingest все".

1. Перечисли все файлы для обработки. Подтверди с пользователем перед стартом.
2. Обработай каждый источник по synthesis workflow. Cross-referencing между источниками отложи до шага 3.
3. После всех источников: сделай проход cross-reference. Найди связи между новыми страницами разных источников.
4. Обнови index (additive), log (append сверху, по записи на источник) и cache (overwrite целиком, отражает только последнее состояние) — один раз в конце, не на каждый источник.
5. Phase 8 (lint review) — один раз в конце, не на каждый источник.
6. Отчитайся: "Обработано N источников. Создано X страниц, обновлено Y. Вот ключевые связи."

Batch ingest менее интерактивен. Для 30+ источников ожидай значительное время обработки. Чекинься с пользователем после каждых 10 источников.

---

Дисциплина токенов

• Сначала прочитай wiki/cache.md. Если содержит релевантный контекст — не перечитывай связанные страницы целиком.
• Прочитай wiki/index.md (таблицы со саммари) для поиска существующих страниц до создания новых.
• Читай не более 3-5 существующих страниц за один ingest. Если нужно 10+ — значит, читаешь слишком широко.
• Используй точечные правки (Edit), не Write для всего файла, при обновлении существующих страниц.
• Wiki-страницы держи короткими: 100-300 строк. Если страница больше 300 — раздели по гранулярности.

---

Чего не делать

• Не пиши страницы как пересказ источника. Пиши знание (декларативное настоящее время). Источник — провенанс, а не сюжет страницы.
• Не пропускай Phase 2 (карта знания). Без неё ingest деградирует в одну большую страницу или в хаос.
• Не пропускай Phase 5 (связи). Страница без wikilinks и без sources: — мёртвая страница.
• Не пропускай обновление cache и summary в Phase 6. Cache — то, что делает следующие сессии быстрыми.