GRACE (Graph-RAG Anchored Code Engineering) — методология навигации LLM-агентов по кодовой базе через контракты, семантическую разметку и граф знаний. Собрано по крупицам в Telegram-канале «AI Projects» Владимира Иванова.
| Файл | Содержание |
|---|---|
SKILL.md |
Ядро GRACE — workflow, PCAM, уникальные теги, Controller/Worker, профили |
references/grace-methodology-guide.md |
Полное руководство (~24K) |
references/agent-project-viability.md |
Pre-check: когда GRACE применим |
references/ax-tree-rules.md |
Семантический AX Tree для UI |
references/deepseek-math-analysis.md |
GRACE глазами математика (5 принципов, AAG, Belief State) |
references/perplexity-metric.md |
Self-Aligned Perplexity как научная метрика |
references/grep-all-you-need.md |
PwC: grep > векторный поиск на всех LLM |
references/latent-reasoning-foundation.md |
Wang (2026): LLM Reasoning Is Latent + Berdoz et al. (ICML 2026): Reasoning Structure — теоретическое основание GRACE |
references/hidden-training-formats.md |
Скрытые форматы обучения LLM |
references/html-docs-for-ai-agents.md |
HTML-документация для AI-агентов — почему HTML побеждает Markdown (эссе Владимира Иванова) |
references/fastcontext-slm-explorer.md |
FastContext от Microsoft — SLM для поиска в кодовых базах, отделение exploration от solving (эссе Владимира Иванова) |
references/prompt-engineering-gpt55-outcome-first.md |
Промпт-инжиниринг для GPT-5.5 — outcome-first подход, personality, retrieval budget, валидация (разбор Пименова) |
references/comfyui-dit-artifact-cleanup.md |
ComfyUI DiT artifact cleanup |
references/indra-ocr-cpu.md |
Indra OCR (1M параметров, ONNX, без GPU): проверено на нашем слайде 154 — 404 мс/страница и все 18 чисел, но четыре с дефектом формата; где годится, а где нет, и лицензионное ограничение весов |
references/graphiti-temporal-memory.md |
Graphiti как темпоральная память агента: разбор мастер-класса с проверкой по коду — облачные клиенты и телеметрия по умолчанию, поиск без временного фильтра, 13 инструментов MCP, грабли установки (нет версии 0.31.0 на PyPI, httpx, Python ≥3.12 для FalkorDB Lite) |
| Файл | Содержание |
|---|---|
references/kun-chen-tdd-and-ground-truth.md |
ProgramBench: forced TDD против свободного подхода (192 парные задачи, pass 52.4 → 48.8 %, стоимость +55 %, входные токены +112 %) и переход агентов на ground truth вместо тестов |
references/unit-test-only-reward-degradation.md |
PreciseCoder: unit-test-only GRPO учит править больше (3.94 → 8.28 строки) и галлюцинировать баги в корректном коде (no-op 30.8 → 20.5 %) |
references/rl-training-semantic-signals.md |
На какой сигнал реально обучены кодирующие модели: MiMo-V2.6, GLM-5, DeepSeek DSec — reward hacking как отдельная инженерия, рубрики критика поверх тестов, обнуление подтверждённых хак-наград |
references/ebt-evidence-based-testing.md |
Доказательное тестирование из life-critical стандартов: DO-178C (71 цель уровня A, 30 with independence; трассируемость к требованиям), IEC 62304, Common Criteria EAL, формальные методы от Floyd и Hoare до B-метода и Météor |
references/requirements-registry-rfc-culture.md |
Реестр требований в культуре RFC (RFC 1 Крокера 1969, RFC 2119/8174, неизменяемость и граф Obsoletes/Updates, редактор как институт) — что это даёт новому GRACE: реестр как источник истины, спек как кэш, дрейф как изменение без ребра в графе, обязательный defeater у записи доказательства, приёмка = перезапуск чекера |
references/semantic-invariants-soft-logic.md |
Семантические инварианты и вероятностная логика: PSL/MLN как существующая рамка, отличие при LLM-извлечении атомов, инвариант как замкнутость по переходам (а не аналитичность), протокол замера ложных приёмок и отклонений, разделение «условность в промпте» и «проверка после», что из life-critical реально взято (независимость + запись следа) |
references/sft-code-training-and-module-contracts.md |
Классический SFT кодирующих моделей (Code Llama, self-instruct: тесты как фильтр датасета) и сдвиг к контрактам на модуль вместо контрактов на функцию |
references/spec-has-no-status-in-context.md |
«У него ВСЁ ТЕКСТ»: наблюдение автора GRACE о том, что ТЗ в контексте модели не имеет статуса — разбор на нашем реестре (39 обещаний, 316 переходов): пять обязательств были «доказаны» черновиками агентов, потому что статус не был записан машинно; где статус живёт на самом деле (kind, предикат с sha256, defeater) и почему «старые практики на помойку» — только про адрес, а не про необходимость |
references/kpi-inside-methodology.md |
KPI внутри методики: кейсы, A/B и требование вместо бенчмарка — три разных акта проверки, замер шума на 26 прогонах (Жаккар 0,41–0,69; позиционный эффект не обнаружен при MDE r = 0,15/0,19), KPI тотальной увязки как вентиль с кодом выхода, и главная опасность — 100 % можно выполнить и соврать (пять обязательств, зелёных из-за чисел в черновиках агентов); полка навыков как измерение: 1000 SKILL.md, 377 с кодом, 17 с файлами тестов |
references/grace-tests-as-logs-and-evidence.md |
Тесты как наполнение логов и доказательства по пунктам спеки (бремя доказательства, evidence-ассерт в журнале, невыдумываемость доказательства) |
references/agentic-e2e-vs-scripted-tests.md |
Скриптовые E2E против агентского тестирования через MCP как пользователя; баланс алгоритмических и агентских проверок |
references/diagnostics-over-tests-dirty-data.md |
Диагностика важнее ритуалов: грязные данные, фантомные записи и выпадения на JOIN (шесть зелёных тестов при повреждённом выходе), LDD — критерии надёжности как часть контекста |
references/anthropic-code-review-pipeline.md |
Конвейер ревью Anthropic при агентском коде: Find → Verify → Rank → Post, риск-классы человеческого одобрения, очередь слияния против актуального main, «инцидент → тест проверяющего агента»; отдельно — что подтверждено документацией, а что только пересказами, и где промо сглаживает факты |
references/agent-tests-do-not-change-outcomes.md |
SWE-bench Verified, 6 моделей: объём самотестов не меняет исход (все p > 0.05; DeepSeek −20 решённых при 376 убранных тестах, p = 0.435), меняет стоимость (input −49 % у Kimi); разбор расхождений с эссе про «отключение тестов» |
references/building-to-the-test.md |
Microsoft: 222 Playwright-теста, Copilot CLI, 18 прогонов — без оракула неполная, но честная библиотека, с оракулом score 222/222 при мёртвой библиотеке; авторы прямо отделяют это от reward hacking; приём no-op ablation |
references/tdflow-human-vs-llm-tests.md |
TDFlow (EACL 2026): 94.3 % с человеческими тестами против 68.0 % с самотестами, но 93.3 % при BTR = 0 — авторство не важно, если тест корректен; BTR требует gold-патча и в проде недоступен |
references/tddev-acceptance-oracle-closed-loop.md |
TDDev (20 веб-приложений): TDD +15.5…23.7 п.п. у Sonnet, отрицательная экономика у Qwen (−2.36 п.п./Mtoken); оракул замкнут на acceptance-критерии; в статье нет чисел «34–48 %» и «25×» из пересказа |
experiments/ |
Воспроизводимые прогоны к разборам: phantom-join/ (журнал + критерии + оценка в трёх состояниях), model-probe/ (как модель пишет модуль сама). Запуск: bash experiments/run_all.sh |
registry/ |
Гейт реестра требований в коде: спаны по байтовым смещениям, три класса дрейфа, перезапуск чекеров, замер предикатов на посаженных дефектах (python3 registry/grace.py --root <проект> parse|coverage|drift|replay|measure). Рабочий пример — registry/examples/mini/, тесты — 35 шт. |
skills/grace/grace-diagnostics/SKILL.md |
Навык: диагностика в первую очередь — критерии надёжности в журнале, три состояния вердикта, evidence по пунктам спеки (остальные навыки — в skills/) |
- Примат замысла — разработка с формальных XML-артефактов
- Синтез по чертежу — код = compile(DevelopmentPlan.xml)
- Дуальность разметки — якоря = шаблон + навигационная карта
- Grep-first — векторный поиск проигрывает grep (PwC, 2026)
- Наблюдаемость — belief state LLM → верифицируемый артефакт
- Автор: Владимир Иванов (Telegram-канал «AI Projects»)
- GRACE 2.0: Doxygen для Python, Wenyan-prompting, GREP-hints
- Подтверждено исследованиями: ETH Zurich (AGENTS.md −3%), PwC (grep > vector)