Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
6 changes: 3 additions & 3 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

Локальный coding-ассистент с доказательными ответами, RAG по исходному коду, tool calling и изолированным выполнением тестов.

**Статус:** document RAG поддерживает fast/grounded режимы, проверку citations и явный отказ. Реализованы локальные токены, роли, project ACL, rate limits и технический audit. Code RAG индексирует tracked Python-файлы через Git и Tree-sitter с commit-aware citations и incremental updates. M6 coding loop запускает compileall/unittest в Docker без сети и оставляет diff на human review. На ветке M7 добавлены OpenAI-compatible loopback provider, model-generated diff, проверка patch до `git apply` и benchmark Base/RAG/RAG + test loop. На этой ветке embeddings пока fake; реальная модель, GPU, offline и качество не проверены.
**Статус:** M0–M6 и программная часть M7 находятся в `main`. Document RAG поддерживает fast/grounded режимы, проверку citations и отказ при недостатке evidence. Реализованы локальные токены, роли, project ACL, rate limits и технический audit. Code RAG индексирует tracked Python-файлы из Git commit через Tree-sitter. Coding loop использует OpenAI-compatible loopback provider, создаёт model-based diff и проверяет его в Docker до human review. Benchmark сравнивает Base, RAG и RAG + test loop на трёх синтетических задачах. Embeddings остаются fake, reranker не подключён; реальная модель, GPU, offline и качество на ней не проверены.

## Цель

Expand Down Expand Up @@ -66,7 +66,7 @@ python -m local_coding_copilot.code_cli index ../exchange-demo \
python -m local_coding_copilot.code_cli query "validate_order"
```

Для M7 укажите локальный OpenAI-compatible endpoint в `COPILOT_LLM_BASE_URL` и имя модели в `COPILOT_LLM_MODEL`. Provider принимает только loopback HTTP URL; redirects и системные proxy отключены. Сгенерированный diff ограничен существующими файлами, проверяется до `git apply` и исполняется только через M6 sandbox. См. [runbook](docs/RUNBOOK.md).
Чтобы запустить программный M7-путь, укажите локальный OpenAI-compatible endpoint в `COPILOT_LLM_BASE_URL` и имя модели в `COPILOT_LLM_MODEL`. Provider принимает только loopback HTTP URL; redirects и системные proxy отключены. Сгенерированный diff ограничен существующими файлами, проверяется до `git apply` и исполняется только через Docker sandbox. Сам endpoint и модель нужно отдельно установить на целевой машине; hardware/offline gate ещё не пройдены. См. [runbook](docs/RUNBOOK.md).

HTTP: `python -m local_coding_copilot.api`. MCP stdio: `python -m local_coding_copilot.mcp_server`. Оба используют тот же токен и project ACL. Подробности в [runbook](docs/RUNBOOK.md).

Expand All @@ -88,4 +88,4 @@ pytest

## Текущий этап

**M0–M6** завершены и проверены в CI. **M7** готовит настоящий локальный inference provider, model-based patches и сравнительный coding benchmark; подтверждение на RTX 4070 Ti, замеры VRAM/скорости/качества и offline-проверка остаются обязательными ручными gate на целевом ПК. Используйте только синтетические документы и код.
**M0–M6 и кодовая часть M7** влиты и проверены в CI. M7 остаётся незавершённым до запуска настоящей модели на RTX 4070 Ti, подключения локальных embeddings, измерений качества/latency/VRAM/RAM и offline-проверки. Текущий benchmark содержит три синтетические задачи и является только начальной проверкой. Используйте только синтетические документы и код.
4 changes: 3 additions & 1 deletion docs/ARCHITECTURE.md
Original file line number Diff line number Diff line change
Expand Up @@ -26,7 +26,7 @@ HTTP client / MCP client / IDE

### API и MCP

FastAPI HTTP и MCP stdio вызывают один `Application` с общими `DocumentRAGService` и auth service. Они не содержат отдельных реализаций retrieval или orchestration. HTTP аутентифицирует Bearer token, MCP получает токен из окружения процесса. Права определяются по записи токена и project membership в PostgreSQL, а не по аргументам запроса. Транспорты предназначены только для локальных синтетических данных.
FastAPI HTTP и MCP stdio вызывают один `Application` с общими `DocumentRAGService` и auth service. Они не содержат отдельных реализаций retrieval или orchestration. HTTP аутентифицирует Bearer token, MCP получает токен из окружения процесса. Права определяются по записи токена и project membership в PostgreSQL, а не по аргументам запроса. Это локальные optional transports, не облачные AI API; HTTP слушает loopback. Coding workflow сейчас доступен через CLI. Если конечная поверхность продукта должна обходиться без HTTP/MCP, эти адаптеры остаются только для разработки и не включаются в неё.

### Provider interfaces

Expand All @@ -45,6 +45,8 @@ Document RAG использует PostgreSQL full-text и pgvector candidates,

Code RAG индексирует только tracked Python-файлы чистого Git checkout. Tree-sitter извлекает классы, функции и методы с qualified symbol names и line ranges. PostgreSQL выполняет exact path/symbol/content search, full-text и pgvector retrieval с RRF; ACL действует до candidate generation. Citations содержат repository, path, symbol, lines и commit SHA. Incremental indexer сравнивает SHA-256 содержимого, заменяет только изменённые файлы, удаляет исчезнувшие и обновляет commit metadata без повторной векторизации неизменённых файлов. Reranker provider пока не подключён.

Текущая сборка подключает `FakeEmbeddingProvider` к обоим RAG-путям. Его векторы детерминированы, но не кодируют семантическую близость; качество vector retrieval не подтверждено. Индексатор читает regular blobs зафиксированного Git tree и отклоняет tracked Python symlinks, не dereference-ит их из файловой системы.

Текущая document-запись содержит:

```text
Expand Down
29 changes: 15 additions & 14 deletions docs/DEVELOPMENT_PLAN.md
Original file line number Diff line number Diff line change
Expand Up @@ -85,20 +85,21 @@

## M7 — Реальная локальная LLM и offline validation

**Статус:** in_progress (подготовка кода и CI; hardware validation ещё не начата).

- Реализовать сменный provider для OpenAI-compatible локального endpoint без привязки к inference server; fake HTTP server tests не обращаются к внешним AI API.
- Подключить настроенную LLM к document/code RAG; embeddings пока остаются fake и должны быть отражены в итоговых выводах.
- Подключить model-based patch generation к существующим `PatchProvider` и coding orchestration; валидировать tool calls по allowlist/schema и unified diff до `git apply`.
- Проверять сквозной fake HTTP → model patch → worktree → sandbox → repair/audit путь только scripted test fixture; это integration simulation, не model generation benchmark и не hardware validation.
- Запустить quantized coding model на RTX 4070 Ti: сначала 7B, затем сравнить с 14B при наличии VRAM.
- Проверить initial patch и максимум две repair iterations на синтетических coding tasks.
- Сравнить полный ограниченный source snapshot без RAG, LLM + grounded code RAG и LLM + RAG + test loop.
- Замерить VRAM/RAM, latency, tokens/sec, полное время задачи, pass@1, применимость patch, build/test success, repairs и human acceptance.
- Предварительно загрузить модели и Docker images; проверить offline после отключения интернета.
- Записать фактические результаты и ограничения. CI продолжает использовать fake/deterministic providers без GPU и внешних AI API.

**Gate:** model-based patches проходят существующий sandbox/repair/review flow; benchmark и offline-проверка выполнены на целевом ПК; фактические показатели и ограничения задокументированы. Успешный GitHub CI сам по себе не подтверждает работу GPU, offline или производительность.
**Статус:** in_progress (provider, model patch workflow, benchmark harness и fake-HTTP integration покрыты кодом/CI; hardware/model validation ещё не начата).

- Код завершён: сменный provider для OpenAI-compatible loopback endpoint; fake HTTP tests не обращаются к внешним AI API.
- Код завершён: настроенная LLM подключена к document/code RAG; embeddings пока fake, reranker не включён.
- Код завершён: model-based patch generation подключена к `PatchProvider`/coding orchestration; tool calls валидируются по allowlist/schema, unified diff — до `git apply`.
- Код/CI завершены: сквозной scripted fake HTTP → model patch → worktree → sandbox → repair/audit. Это integration simulation, не model generation benchmark и не hardware validation.
- Осталось: запустить quantized coding model на RTX 4070 Ti — сначала 7B, затем сравнить с 14B при наличии VRAM.
- Осталось: проверить initial patch и максимум две repair iterations на реальных запусках модели.
- Осталось: подключить локальные embeddings и оценить retrieval на зафиксированном наборе; reranker добавлять только при измеримом улучшении.
- Осталось: расширить coding benchmark независимыми acceptance tests; текущие три задачи являются smoke-level baseline.
- Осталось: измерить VRAM/RAM, latency, tokens/sec, полное время coding-задачи, verified success и human acceptance.
- Осталось: предварительно загрузить модели и Docker images; проверить offline после отключения интернета.
- Осталось: записать фактические результаты и ограничения. CI продолжает использовать fake/deterministic providers без GPU и внешних AI API.

**Gate:** настоящий локальный provider и embeddings проходят coding/RAG сценарии; расширенный benchmark и offline-проверка выполнены на целевом ПК; фактические показатели и ограничения задокументированы. Успешный GitHub CI или scripted fake endpoint сами по себе не подтверждают качество генерации, работу GPU, offline или производительность.

## M8 — Приёмка тестировщиками

Expand Down
6 changes: 3 additions & 3 deletions docs/EVALUATION.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,7 +14,7 @@

### Code set

`exchange-demo` содержит зафиксированный Git history, правила, unittest suite и три намеренных дефекта с expected failures. Code RAG integration-тесты проверяют symbol/path/commit retrieval и incremental updates. `evals/coding_tasks.json` и три `.patch` файла задают deterministic M6 harness: CI применяет каждый patch к синтетической копии репозитория и выполняет реальные compileall/unittest в Docker. Это проверяет patch/test/review контур, но не pass@1 генерации LLM. Набор из 20–30 coding-задач с исходным commit и скрытыми acceptance tests планируется отдельно: bug fix, небольшая feature, refactoring, API compatibility, test repair и cross-service change.
`exchange-demo` содержит зафиксированный Git history, правила, unittest suite и три намеренных дефекта с expected failures. Code RAG integration-тесты проверяют symbol/path/commit retrieval и incremental updates. `evals/coding_tasks.json` и три `.patch` файла задают deterministic M6 harness: CI применяет каждый patch к синтетической копии репозитория и выполняет реальные compileall/unittest в Docker. Это проверяет patch/test/review контур, но не качество генерации LLM. Набор из 20–30 coding-задач с исходным commit и независимыми acceptance tests планируется отдельно: bug fix, небольшая feature, refactoring, API compatibility, test repair и cross-service change.

Eval-задачи нельзя использовать для fine-tuning.

Expand Down Expand Up @@ -43,12 +43,12 @@ Grounded path дополнительно проверяет существова

- patch applies;
- build pass;
- hidden tests pass и pass@1;
- прохождение независимых acceptance tests на первой попытке;
- изменения существующих тестов;
- число repair iterations;
- доля принятых человеком diff.

На M7 `copilot-coding-evaluation` сравнивает три режима на одном commit и наборе coding-задач: Base (полный ограниченный snapshot tracked Python-файлов из Git, без retrieval и repair), RAG (grounded code citations, без repair) и RAG + test loop (grounded citations, максимум две repair iterations). Все три режима получают исходный код: Base получает snapshot до 24 KiB суммарно, RAG — только выбранные commit-matched citations. `evals/coding_benchmark.json` содержит только task ID и instructions; loader отвергает дополнительные поля и runner не загружает prepared patch files. `patch_applied` и `patch_apply_rate` относятся к итоговому worktree diff после последней попытки, а не к промежуточной попытке, которую repair сбросил. Cleanup error сохраняется в результате задачи и не прерывает отчёт. Отчёт содержит SHA-256 canonical task set, base commit, configured model/endpoint, rates применения patch/build/test, число repairs, длительность, p50/p95 LLM request latency и tokens/sec, если endpoint возвращает usage. `pass_at_1` измеряется для Base/RAG; `success_after_repairs` отдельно отражает RAG + test loop. Human acceptance, VRAM и RAM автоматически не предполагаются и остаются ручными измерениями. Набор мал и синтетический, его результаты не доказывают качество на реальном коде.
На M7 `copilot-coding-evaluation` сравнивает три режима на одном commit и наборе coding-задач: Base (ограниченный snapshot tracked Python-файлов из Git, без retrieval и repairs), RAG (grounded code citations, без repairs) и RAG + test loop (grounded citations, максимум две repair iterations). Все три режима получают исходный код: Base получает snapshot до 24 KiB суммарно, RAG — только выбранные commit-matched citations. `evals/coding_benchmark.json` содержит только task ID и instructions; loader отвергает дополнительные поля и runner не загружает prepared patch files. Сейчас набор содержит три синтетические задачи, поэтому benchmark пригоден как smoke-level baseline, но слишком мал для вывода о качестве или обобщении. `patch_applied` и `patch_apply_rate` относятся к итоговому worktree diff после последней попытки. Cleanup error сохраняется в результате задачи и не прерывает отчёт. Отчёт содержит SHA-256 canonical task set, base commit, configured model/endpoint, rates применения patch/build/test, число repairs, длительность, p50/p95 LLM request latency и tokens/sec, если endpoint возвращает usage. `single_attempt_verified_rate` для Base/RAG и `success_after_repairs_rate` для test loop отражают прохождение текущих compileall/unittest, а не независимых hidden acceptance tests. Human acceptance, VRAM и RAM остаются ручными измерениями.

### Fake HTTP integration simulation

Expand Down
Loading
Loading