Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
6 changes: 6 additions & 0 deletions .env.example
Original file line number Diff line number Diff line change
@@ -1,2 +1,8 @@
DATABASE_URL=postgresql://copilot:copilot@127.0.0.1:5432/copilot
COPILOT_API_TOKEN=replace-with-token-from-security-cli
COPILOT_LLM_BASE_URL=http://127.0.0.1:8080/v1
COPILOT_LLM_MODEL=local-model
# Optional for local servers that enforce bearer auth. Do not use a cloud endpoint.
# COPILOT_LLM_API_KEY=
COPILOT_LLM_TIMEOUT_SECONDS=120
COPILOT_LLM_MAX_TOKENS=8192
6 changes: 4 additions & 2 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

Локальный coding-ассистент с доказательными ответами, RAG по исходному коду, tool calling и изолированным выполнением тестов.

**Статус:** document RAG поддерживает fast/grounded режимы, проверку citations и явный отказ. Реализованы локальные токены, роли, проектные ACL, rate limits и технический audit. Code RAG индексирует tracked Python-файлы через Git и Tree-sitter с commit-aware citations и incremental updates. Coding loop применяет подготовленные unified diff в отдельном worktree и запускает compileall/unittest в Docker без сети; успешный patch ожидает ручного review. Сейчас используются fake embeddings/LLM и детерминированный patch provider, реальные модели относятся к M7.
**Статус:** document RAG поддерживает fast/grounded режимы, проверку citations и явный отказ. Реализованы локальные токены, роли, project ACL, rate limits и технический audit. Code RAG индексирует tracked Python-файлы через Git и Tree-sitter с commit-aware citations и incremental updates. M6 coding loop запускает compileall/unittest в Docker без сети и оставляет diff на human review. На ветке M7 добавлены OpenAI-compatible loopback provider, model-generated diff, проверка patch до `git apply` и benchmark Base/RAG/RAG + test loop. На этой ветке embeddings пока fake; реальная модель, GPU, offline и качество не проверены.

## Цель

Expand Down Expand Up @@ -66,6 +66,8 @@ python -m local_coding_copilot.code_cli index ../exchange-demo \
python -m local_coding_copilot.code_cli query "validate_order"
```

Для M7 укажите локальный OpenAI-compatible endpoint в `COPILOT_LLM_BASE_URL` и имя модели в `COPILOT_LLM_MODEL`. Provider принимает только loopback HTTP URL; redirects и системные proxy отключены. Сгенерированный diff ограничен существующими файлами, проверяется до `git apply` и исполняется только через M6 sandbox. См. [runbook](docs/RUNBOOK.md).

HTTP: `python -m local_coding_copilot.api`. MCP stdio: `python -m local_coding_copilot.mcp_server`. Оба используют тот же токен и project ACL. Подробности в [runbook](docs/RUNBOOK.md).

## Проверки
Expand All @@ -86,4 +88,4 @@ pytest

## Текущий этап

**M0–M6** завершены: document/code RAG, ACL, security baseline, AST metadata, commit-aware citations, incremental indexing, deterministic coding loop, Git worktree и Docker sandbox проверены в CI. Следующий этап — **M7**: реальные локальные модели, целевой GPU и offline validation. Версия предназначена только для синтетических документов и кода.
**M0–M6** завершены и проверены в CI. **M7** готовит настоящий локальный inference provider, model-based patches и сравнительный coding benchmark; подтверждение на RTX 4070 Ti, замеры VRAM/скорости/качества и offline-проверка остаются обязательными ручными gate на целевом ПК. Используйте только синтетические документы и код.
6 changes: 3 additions & 3 deletions docs/ARCHITECTURE.md
Original file line number Diff line number Diff line change
Expand Up @@ -32,12 +32,12 @@ FastAPI HTTP и MCP stdio вызывают один `Application` с общим

В `src/local_coding_copilot/providers/contracts.py` определены независимые контракты:

- `LLMProvider` — chat/tool calling; адаптеры внешнего или OpenAI-compatible local endpoint ещё предстоит реализовать;
- `LLMProvider` — chat/tool-call responses; M7 реализует OpenAI-compatible loopback HTTP adapter. Tool calls сопоставляются с разрешёнными именами и поддерживаемым подмножеством JSON Schema (`type`, `enum`, `required`, `properties`, `additionalProperties`, `items`); неизвестные schema keywords отклоняются. Coding patch path запрещает tool calls и принимает только raw unified diff;
- `EmbeddingProvider` — embeddings;
- `RerankerProvider` — reranking;
- fake implementations — детерминированные CI-тесты без внешних API.

POC не должен зависеть от конкретного облачного провайдера.
POC не зависит от конкретного inference server и не обращается к облачным endpoint. Provider запрещает non-loopback URL, proxy и redirects. Fake provider остаётся стандартом CI и локального запуска без конфигурации.

### Retrieval

Expand Down Expand Up @@ -66,7 +66,7 @@ Document query реализован без дополнительного agent

Оба режима отказывают при отсутствии релевантных источников. Grounding-проверки не доказывают смысловую истинность каждого утверждения и не являются security boundary. LLM-judge используется только в отдельной calibration harness, не в production answer path.

`CodingOrchestrator` доступен через CLI только admin с membership в проекте. Он делает первую попытку и не более двух repair iterations, получая unified diff через `PatchProvider`. Текущий `StaticPatchProvider` читает заранее подготовленные `.patch` файлы: это deterministic harness для проверки orchestration, а не генерация кода LLM. После compileall и unittest результат `awaiting_review` содержит diff, SHA-256, changed files, признак изменения тестов и технические результаты проверок. Merge API отсутствует.
`CodingOrchestrator` доступен через CLI только admin с membership в проекте. Он делает первую попытку и не более двух repair iterations, получая unified diff через `PatchProvider`. `StaticPatchProvider` остаётся детерминированным M6 harness, а `ModelPatchProvider` для M7 просит локальную LLM вернуть только raw diff. Patch проходит структурную и path validation, затем `git apply --check` в detached worktree; бинарные изменения, mode changes, traversal, `.git`, symlink paths и add/delete/rename отклоняются. Tool calls отклоняются coding provider и не исполняются. После compileall и unittest результат `awaiting_review` содержит diff, SHA-256, changed files, признак изменения тестов и технические результаты проверок. Merge API отсутствует.

### Git workspace и sandbox

Expand Down
19 changes: 12 additions & 7 deletions docs/DEVELOPMENT_PLAN.md
Original file line number Diff line number Diff line change
Expand Up @@ -83,16 +83,21 @@

**Gate:** несколько подготовленных задач дают реальный проверенный patch; запрещённые действия блокируются.

## M7 — Целевой ПК и offline validation
## M7 — Реальная локальная LLM и offline validation

**Статус:** todo.
**Статус:** in_progress (подготовка кода и CI; hardware validation ещё не начата).

- Запустить выбранную quantized coding model на 4070 Ti.
- Проверить local providers, VRAM/RAM, latency и 2–3 пользователей.
- Проверить offline после предварительной загрузки артефактов.
- Выполнить полный benchmark с реальной моделью.
- Реализовать сменный provider для OpenAI-compatible локального endpoint без привязки к inference server; fake HTTP server tests не обращаются к внешним AI API.
- Подключить настроенную LLM к document/code RAG; embeddings пока остаются fake и должны быть отражены в итоговых выводах.
- Подключить model-based patch generation к существующим `PatchProvider` и coding orchestration; валидировать tool calls по allowlist/schema и unified diff до `git apply`.
- Запустить quantized coding model на RTX 4070 Ti: сначала 7B, затем сравнить с 14B при наличии VRAM.
- Проверить initial patch и максимум две repair iterations на синтетических coding tasks.
- Сравнить полный ограниченный source snapshot без RAG, LLM + grounded code RAG и LLM + RAG + test loop.
- Замерить VRAM/RAM, latency, tokens/sec, полное время задачи, pass@1, применимость patch, build/test success, repairs и human acceptance.
- Предварительно загрузить модели и Docker images; проверить offline после отключения интернета.
- Записать фактические результаты и ограничения. CI продолжает использовать fake/deterministic providers без GPU и внешних AI API.

**Gate:** задокументированы фактические показатели; непроверенные заявления отсутствуют.
**Gate:** model-based patches проходят существующий sandbox/repair/review flow; benchmark и offline-проверка выполнены на целевом ПК; фактические показатели и ограничения задокументированы. Успешный GitHub CI сам по себе не подтверждает работу GPU, offline или производительность.

## M8 — Приёмка тестировщиками

Expand Down
2 changes: 2 additions & 0 deletions docs/EVALUATION.md
Original file line number Diff line number Diff line change
Expand Up @@ -48,6 +48,8 @@ Grounded path дополнительно проверяет существова
- число repair iterations;
- доля принятых человеком diff.

На M7 `copilot-coding-evaluation` сравнивает три режима на одном commit и наборе coding-задач: Base (полный ограниченный snapshot tracked Python-файлов из Git, без retrieval и repair), RAG (grounded code citations, без repair) и RAG + test loop (grounded citations, максимум две repair iterations). Все три режима получают исходный код: Base получает snapshot до 24 KiB суммарно, RAG — только выбранные commit-matched citations. `evals/coding_benchmark.json` содержит только task ID и instructions; loader отвергает дополнительные поля и runner не загружает prepared patch files. `patch_applied` и `patch_apply_rate` относятся к итоговому worktree diff после последней попытки, а не к промежуточной попытке, которую repair сбросил. Cleanup error сохраняется в результате задачи и не прерывает отчёт. Отчёт содержит SHA-256 canonical task set, base commit, configured model/endpoint, rates применения patch/build/test, число repairs, длительность, p50/p95 LLM request latency и tokens/sec, если endpoint возвращает usage. `pass_at_1` измеряется для Base/RAG; `success_after_repairs` отдельно отражает RAG + test loop. Human acceptance, VRAM и RAM автоматически не предполагаются и остаются ручными измерениями. Набор мал и синтетический, его результаты не доказывают качество на реальном коде.

### Производительность

- p50/p95 latency и time to first token;
Expand Down
Loading
Loading