diff --git a/README.md b/README.md index e9b1a92..d9883d2 100644 --- a/README.md +++ b/README.md @@ -2,7 +2,7 @@ Локальный coding-ассистент с доказательными ответами, RAG по исходному коду, tool calling и изолированным выполнением тестов. -**Статус:** document RAG поддерживает fast/grounded режимы, проверку citations и явный отказ. Реализованы локальные токены, роли, project ACL, rate limits и технический audit. Code RAG индексирует tracked Python-файлы через Git и Tree-sitter с commit-aware citations и incremental updates. M6 coding loop запускает compileall/unittest в Docker без сети и оставляет diff на human review. На ветке M7 добавлены OpenAI-compatible loopback provider, model-generated diff, проверка patch до `git apply` и benchmark Base/RAG/RAG + test loop. На этой ветке embeddings пока fake; реальная модель, GPU, offline и качество не проверены. +**Статус:** M0–M6 и программная часть M7 находятся в `main`. Document RAG поддерживает fast/grounded режимы, проверку citations и отказ при недостатке evidence. Реализованы локальные токены, роли, project ACL, rate limits и технический audit. Code RAG индексирует tracked Python-файлы из Git commit через Tree-sitter. Coding loop использует OpenAI-compatible loopback provider, создаёт model-based diff и проверяет его в Docker до human review. Benchmark сравнивает Base, RAG и RAG + test loop на трёх синтетических задачах. Embeddings остаются fake, reranker не подключён; реальная модель, GPU, offline и качество на ней не проверены. ## Цель @@ -66,7 +66,7 @@ python -m local_coding_copilot.code_cli index ../exchange-demo \ python -m local_coding_copilot.code_cli query "validate_order" ``` -Для M7 укажите локальный OpenAI-compatible endpoint в `COPILOT_LLM_BASE_URL` и имя модели в `COPILOT_LLM_MODEL`. Provider принимает только loopback HTTP URL; redirects и системные proxy отключены. Сгенерированный diff ограничен существующими файлами, проверяется до `git apply` и исполняется только через M6 sandbox. См. [runbook](docs/RUNBOOK.md). +Чтобы запустить программный M7-путь, укажите локальный OpenAI-compatible endpoint в `COPILOT_LLM_BASE_URL` и имя модели в `COPILOT_LLM_MODEL`. Provider принимает только loopback HTTP URL; redirects и системные proxy отключены. Сгенерированный diff ограничен существующими файлами, проверяется до `git apply` и исполняется только через Docker sandbox. Сам endpoint и модель нужно отдельно установить на целевой машине; hardware/offline gate ещё не пройдены. См. [runbook](docs/RUNBOOK.md). HTTP: `python -m local_coding_copilot.api`. MCP stdio: `python -m local_coding_copilot.mcp_server`. Оба используют тот же токен и project ACL. Подробности в [runbook](docs/RUNBOOK.md). @@ -88,4 +88,4 @@ pytest ## Текущий этап -**M0–M6** завершены и проверены в CI. **M7** готовит настоящий локальный inference provider, model-based patches и сравнительный coding benchmark; подтверждение на RTX 4070 Ti, замеры VRAM/скорости/качества и offline-проверка остаются обязательными ручными gate на целевом ПК. Используйте только синтетические документы и код. +**M0–M6 и кодовая часть M7** влиты и проверены в CI. M7 остаётся незавершённым до запуска настоящей модели на RTX 4070 Ti, подключения локальных embeddings, измерений качества/latency/VRAM/RAM и offline-проверки. Текущий benchmark содержит три синтетические задачи и является только начальной проверкой. Используйте только синтетические документы и код. diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index 93f835c..c2bd8bb 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -26,7 +26,7 @@ HTTP client / MCP client / IDE ### API и MCP -FastAPI HTTP и MCP stdio вызывают один `Application` с общими `DocumentRAGService` и auth service. Они не содержат отдельных реализаций retrieval или orchestration. HTTP аутентифицирует Bearer token, MCP получает токен из окружения процесса. Права определяются по записи токена и project membership в PostgreSQL, а не по аргументам запроса. Транспорты предназначены только для локальных синтетических данных. +FastAPI HTTP и MCP stdio вызывают один `Application` с общими `DocumentRAGService` и auth service. Они не содержат отдельных реализаций retrieval или orchestration. HTTP аутентифицирует Bearer token, MCP получает токен из окружения процесса. Права определяются по записи токена и project membership в PostgreSQL, а не по аргументам запроса. Это локальные optional transports, не облачные AI API; HTTP слушает loopback. Coding workflow сейчас доступен через CLI. Если конечная поверхность продукта должна обходиться без HTTP/MCP, эти адаптеры остаются только для разработки и не включаются в неё. ### Provider interfaces @@ -45,6 +45,8 @@ Document RAG использует PostgreSQL full-text и pgvector candidates, Code RAG индексирует только tracked Python-файлы чистого Git checkout. Tree-sitter извлекает классы, функции и методы с qualified symbol names и line ranges. PostgreSQL выполняет exact path/symbol/content search, full-text и pgvector retrieval с RRF; ACL действует до candidate generation. Citations содержат repository, path, symbol, lines и commit SHA. Incremental indexer сравнивает SHA-256 содержимого, заменяет только изменённые файлы, удаляет исчезнувшие и обновляет commit metadata без повторной векторизации неизменённых файлов. Reranker provider пока не подключён. +Текущая сборка подключает `FakeEmbeddingProvider` к обоим RAG-путям. Его векторы детерминированы, но не кодируют семантическую близость; качество vector retrieval не подтверждено. Индексатор читает regular blobs зафиксированного Git tree и отклоняет tracked Python symlinks, не dereference-ит их из файловой системы. + Текущая document-запись содержит: ```text diff --git a/docs/DEVELOPMENT_PLAN.md b/docs/DEVELOPMENT_PLAN.md index ab566bc..eb85883 100644 --- a/docs/DEVELOPMENT_PLAN.md +++ b/docs/DEVELOPMENT_PLAN.md @@ -85,20 +85,21 @@ ## M7 — Реальная локальная LLM и offline validation -**Статус:** in_progress (подготовка кода и CI; hardware validation ещё не начата). - -- Реализовать сменный provider для OpenAI-compatible локального endpoint без привязки к inference server; fake HTTP server tests не обращаются к внешним AI API. -- Подключить настроенную LLM к document/code RAG; embeddings пока остаются fake и должны быть отражены в итоговых выводах. -- Подключить model-based patch generation к существующим `PatchProvider` и coding orchestration; валидировать tool calls по allowlist/schema и unified diff до `git apply`. -- Проверять сквозной fake HTTP → model patch → worktree → sandbox → repair/audit путь только scripted test fixture; это integration simulation, не model generation benchmark и не hardware validation. -- Запустить quantized coding model на RTX 4070 Ti: сначала 7B, затем сравнить с 14B при наличии VRAM. -- Проверить initial patch и максимум две repair iterations на синтетических coding tasks. -- Сравнить полный ограниченный source snapshot без RAG, LLM + grounded code RAG и LLM + RAG + test loop. -- Замерить VRAM/RAM, latency, tokens/sec, полное время задачи, pass@1, применимость patch, build/test success, repairs и human acceptance. -- Предварительно загрузить модели и Docker images; проверить offline после отключения интернета. -- Записать фактические результаты и ограничения. CI продолжает использовать fake/deterministic providers без GPU и внешних AI API. - -**Gate:** model-based patches проходят существующий sandbox/repair/review flow; benchmark и offline-проверка выполнены на целевом ПК; фактические показатели и ограничения задокументированы. Успешный GitHub CI сам по себе не подтверждает работу GPU, offline или производительность. +**Статус:** in_progress (provider, model patch workflow, benchmark harness и fake-HTTP integration покрыты кодом/CI; hardware/model validation ещё не начата). + +- Код завершён: сменный provider для OpenAI-compatible loopback endpoint; fake HTTP tests не обращаются к внешним AI API. +- Код завершён: настроенная LLM подключена к document/code RAG; embeddings пока fake, reranker не включён. +- Код завершён: model-based patch generation подключена к `PatchProvider`/coding orchestration; tool calls валидируются по allowlist/schema, unified diff — до `git apply`. +- Код/CI завершены: сквозной scripted fake HTTP → model patch → worktree → sandbox → repair/audit. Это integration simulation, не model generation benchmark и не hardware validation. +- Осталось: запустить quantized coding model на RTX 4070 Ti — сначала 7B, затем сравнить с 14B при наличии VRAM. +- Осталось: проверить initial patch и максимум две repair iterations на реальных запусках модели. +- Осталось: подключить локальные embeddings и оценить retrieval на зафиксированном наборе; reranker добавлять только при измеримом улучшении. +- Осталось: расширить coding benchmark независимыми acceptance tests; текущие три задачи являются smoke-level baseline. +- Осталось: измерить VRAM/RAM, latency, tokens/sec, полное время coding-задачи, verified success и human acceptance. +- Осталось: предварительно загрузить модели и Docker images; проверить offline после отключения интернета. +- Осталось: записать фактические результаты и ограничения. CI продолжает использовать fake/deterministic providers без GPU и внешних AI API. + +**Gate:** настоящий локальный provider и embeddings проходят coding/RAG сценарии; расширенный benchmark и offline-проверка выполнены на целевом ПК; фактические показатели и ограничения задокументированы. Успешный GitHub CI или scripted fake endpoint сами по себе не подтверждают качество генерации, работу GPU, offline или производительность. ## M8 — Приёмка тестировщиками diff --git a/docs/EVALUATION.md b/docs/EVALUATION.md index a4e8210..a4970a6 100644 --- a/docs/EVALUATION.md +++ b/docs/EVALUATION.md @@ -14,7 +14,7 @@ ### Code set -`exchange-demo` содержит зафиксированный Git history, правила, unittest suite и три намеренных дефекта с expected failures. Code RAG integration-тесты проверяют symbol/path/commit retrieval и incremental updates. `evals/coding_tasks.json` и три `.patch` файла задают deterministic M6 harness: CI применяет каждый patch к синтетической копии репозитория и выполняет реальные compileall/unittest в Docker. Это проверяет patch/test/review контур, но не pass@1 генерации LLM. Набор из 20–30 coding-задач с исходным commit и скрытыми acceptance tests планируется отдельно: bug fix, небольшая feature, refactoring, API compatibility, test repair и cross-service change. +`exchange-demo` содержит зафиксированный Git history, правила, unittest suite и три намеренных дефекта с expected failures. Code RAG integration-тесты проверяют symbol/path/commit retrieval и incremental updates. `evals/coding_tasks.json` и три `.patch` файла задают deterministic M6 harness: CI применяет каждый patch к синтетической копии репозитория и выполняет реальные compileall/unittest в Docker. Это проверяет patch/test/review контур, но не качество генерации LLM. Набор из 20–30 coding-задач с исходным commit и независимыми acceptance tests планируется отдельно: bug fix, небольшая feature, refactoring, API compatibility, test repair и cross-service change. Eval-задачи нельзя использовать для fine-tuning. @@ -43,12 +43,12 @@ Grounded path дополнительно проверяет существова - patch applies; - build pass; -- hidden tests pass и pass@1; +- прохождение независимых acceptance tests на первой попытке; - изменения существующих тестов; - число repair iterations; - доля принятых человеком diff. -На M7 `copilot-coding-evaluation` сравнивает три режима на одном commit и наборе coding-задач: Base (полный ограниченный snapshot tracked Python-файлов из Git, без retrieval и repair), RAG (grounded code citations, без repair) и RAG + test loop (grounded citations, максимум две repair iterations). Все три режима получают исходный код: Base получает snapshot до 24 KiB суммарно, RAG — только выбранные commit-matched citations. `evals/coding_benchmark.json` содержит только task ID и instructions; loader отвергает дополнительные поля и runner не загружает prepared patch files. `patch_applied` и `patch_apply_rate` относятся к итоговому worktree diff после последней попытки, а не к промежуточной попытке, которую repair сбросил. Cleanup error сохраняется в результате задачи и не прерывает отчёт. Отчёт содержит SHA-256 canonical task set, base commit, configured model/endpoint, rates применения patch/build/test, число repairs, длительность, p50/p95 LLM request latency и tokens/sec, если endpoint возвращает usage. `pass_at_1` измеряется для Base/RAG; `success_after_repairs` отдельно отражает RAG + test loop. Human acceptance, VRAM и RAM автоматически не предполагаются и остаются ручными измерениями. Набор мал и синтетический, его результаты не доказывают качество на реальном коде. +На M7 `copilot-coding-evaluation` сравнивает три режима на одном commit и наборе coding-задач: Base (ограниченный snapshot tracked Python-файлов из Git, без retrieval и repairs), RAG (grounded code citations, без repairs) и RAG + test loop (grounded citations, максимум две repair iterations). Все три режима получают исходный код: Base получает snapshot до 24 KiB суммарно, RAG — только выбранные commit-matched citations. `evals/coding_benchmark.json` содержит только task ID и instructions; loader отвергает дополнительные поля и runner не загружает prepared patch files. Сейчас набор содержит три синтетические задачи, поэтому benchmark пригоден как smoke-level baseline, но слишком мал для вывода о качестве или обобщении. `patch_applied` и `patch_apply_rate` относятся к итоговому worktree diff после последней попытки. Cleanup error сохраняется в результате задачи и не прерывает отчёт. Отчёт содержит SHA-256 canonical task set, base commit, configured model/endpoint, rates применения patch/build/test, число repairs, длительность, p50/p95 LLM request latency и tokens/sec, если endpoint возвращает usage. `single_attempt_verified_rate` для Base/RAG и `success_after_repairs_rate` для test loop отражают прохождение текущих compileall/unittest, а не независимых hidden acceptance tests. Human acceptance, VRAM и RAM остаются ручными измерениями. ### Fake HTTP integration simulation diff --git a/docs/RUNBOOK.md b/docs/RUNBOOK.md index 203d7ae..7b58bfd 100644 --- a/docs/RUNBOOK.md +++ b/docs/RUNBOOK.md @@ -1,6 +1,6 @@ # Эксплуатация -**Текущее состояние M6:** document RAG работает с PostgreSQL/pgvector, fake embeddings и fake LLM без LLM-конфигурации. На M7-ветке можно подключить локальный OpenAI-compatible inference endpoint. Все операции с документами требуют локальный токен и project membership; ingestion разрешён только admin. Используйте только синтетические документы. +**Текущее состояние:** M0–M6 и программная часть M7 влиты в `main`. Без LLM-настроек приложение использует fake LLM и fake embeddings. Coding CLI поддерживает OpenAI-compatible loopback inference endpoint и model-generated patch. Реальная модель, настоящие embeddings, GPU и offline пока не проверены. Все операции с документами требуют локальный токен и project membership; ingestion разрешён только admin. Используйте только синтетические документы. ## Установка и запуск @@ -100,7 +100,7 @@ export COPILOT_LLM_TIMEOUT_SECONDS=120 export COPILOT_LLM_MAX_TOKENS=8192 ``` -Endpoint должен предоставлять `POST /v1/chat/completions`. Запустите выбранный локальный inference server отдельно и привяжите его к loopback интерфейсу. Конкретная модель и команда запуска зависят от целевого ПК и проверяются на M7 hardware gate. +Endpoint должен предоставлять `POST /v1/chat/completions`. Запустите выбранный локальный inference server отдельно и привяжите его к loopback интерфейсу. Конкретная модель и команда запуска зависят от целевого ПК; они ещё не валидированы на M7 hardware gate. Индексируйте тот же чистый commit `exchange-demo`, на котором будет строиться worktree: @@ -144,7 +144,7 @@ copilot-coding-evaluation \ --output data/runtime/m7-coding-evaluation.json ``` -Runner выполняет Base, RAG и RAG + test loop на одном base commit. Benchmark dataset разрешает только `task_id` и `instructions`; runner не открывает `evals/coding_tasks.json` или prepared patches. Каждая задача получает отдельный detached worktree; после сохранения diff hash и метрик benchmark удаляет созданный им worktree. Отчёт не содержит prompts, responses или diff body. `human_acceptance` остаётся `null` до ручной разметки. Набор синтетический и мал, поэтому его цифры — исходная точка, а не подтверждение качества модели. +Runner выполняет Base, RAG и RAG + test loop на одном base commit. Benchmark dataset разрешает только `task_id` и `instructions`; runner не открывает `evals/coding_tasks.json` или prepared patches. Сейчас в dataset три синтетические задачи, поэтому это smoke-level baseline, не оценка обобщающего качества. Каждая задача получает отдельный detached worktree; после сохранения diff hash и метрик benchmark удаляет созданный им worktree. Отчёт не содержит prompts, responses или diff body. `human_acceptance` остаётся `null` до ручной разметки. Метрики verified-rate отражают прохождение текущих compileall/unittest, не независимых hidden acceptance tests. ## Rate limits и audit @@ -168,7 +168,7 @@ Evaluation сохраняет `data/runtime/m3-evaluation.json`, сравнив ## Будущая локальная конфигурация -Целевой запуск — один домашний ПК, Docker Compose, PostgreSQL/pgvector и OpenAI-compatible model endpoint. Реальные локальные модели и offline-проверка относятся к M7. Модели, runtime-данные и логи хранятся вне Git. +Целевой запуск — один домашний ПК, Docker Compose, PostgreSQL/pgvector и OpenAI-compatible model endpoint. Реальные локальные модели, embeddings и offline-проверка остаются незакрытой частью M7. Модели, runtime-данные и логи хранятся вне Git. ## Что должно быть задокументировано к приёмке diff --git a/docs/SCOPE.md b/docs/SCOPE.md index 0e61da9..fddd1b6 100644 --- a/docs/SCOPE.md +++ b/docs/SCOPE.md @@ -14,7 +14,7 @@ 1. Локальные HTTP API и MCP для одного движка. 2. Document RAG с hybrid retrieval, источниками и корректным отказом. -3. Локальные LLM, embeddings и reranker через сменные provider interfaces. +3. Сменные provider interfaces для LLM, embeddings и reranker. В текущем коде подключён OpenAI-compatible loopback LLM provider; embeddings пока fake, а reranker interface не подключён к retrieval path. Локальные embeddings и проверенный reranker остаются будущей работой. 4. Пользователи, проектные ACL, rate limits и audit. 5. Индексация синтетического Git-репозитория с AST-метаданными и commit SHA. 6. Coding workflow: task → retrieve → plan → patch → test → review → diff. @@ -22,6 +22,8 @@ 8. Воспроизводимый benchmark и сценарии для тестировщиков. 9. Docker Compose и runbook для локального запуска. +HTTP API и MCP в этом POC — локальные optional transports, не облачные AI API. HTTP server привязан к loopback; inference provider также обращается только к loopback endpoint. Coding workflow сейчас доступен через CLI. Если интерфейс продукта должен полностью обходиться без HTTP/MCP, эти transports не входят в финальную поверхность продукта и должны оставаться только тестовыми/разработческими адаптерами. + ## Не входит в POC - Production SLA, аппаратная HA и автоматическое масштабирование. diff --git a/docs/SECURITY.md b/docs/SECURITY.md index ccfcc2f..2993d12 100644 --- a/docs/SECURITY.md +++ b/docs/SECURITY.md @@ -52,6 +52,8 @@ - Coding task разрешён только admin с project membership; авторизация выполняется до создания worktree. - `tests_changed` и diff SHA включаются в review/audit. Изменённые тесты требуют человеческой проверки: успешный unittest сам по себе не доказывает корректность patch. - Интеграционные тесты проверяют network denial, отсутствие host paths/socket, read-only root, non-root и timeout. Лимиты памяти/CPU настроены, но стресс-тестирование изоляции и ресурсов ещё не выполнено. +- Вывод контейнера читается потоково и сохраняется только ограниченный хвост, чтобы вывод недоверенного процесса не накапливался целиком в памяти хоста. +- Code indexer читает regular blobs из зафиксированного Git tree и отклоняет tracked Python symlinks; пути не открываются через рабочую файловую систему checkout. - Для production рассматриваются gVisor/Kata/VM и отдельные CI-ноды; Docker POC не является гарантией против всех container escape. ### Логи и аудит @@ -77,5 +79,6 @@ 6. Агент пытается изменить тесты или выполнить merge. 7. Полные секретные значения не появляются в логах. 8. M7 отвергает удалённый endpoint, redirects, tool call вне allowlist/schema и patch с traversal, binary/mode changes или symlink path. +9. Code indexer не читает tracked Python symlink, ведущий за пределы checkout; sandbox ограничивает объём stdout/stderr, накопленный в памяти хоста. Успешное выполнение запрещённого действия является критичным блокером приёмки. diff --git a/src/local_coding_copilot/code/indexer.py b/src/local_coding_copilot/code/indexer.py index d04524f..0e02d76 100644 --- a/src/local_coding_copilot/code/indexer.py +++ b/src/local_coding_copilot/code/indexer.py @@ -39,13 +39,19 @@ def index( raise ValueError("Repository must have a clean Git worktree") commit_sha = _git(root, "rev-parse", "HEAD") - tracked_paths = sorted(_git(root, "ls-files", "--", "*.py").splitlines()) + tracked_blobs = _tracked_python_blobs(root, commit_sha) + tracked_paths = sorted(tracked_blobs) current_hashes = {} contents = {} for path in tracked_paths: - content = (root / path).read_text(encoding="utf-8") + blob_sha = tracked_blobs[path] + raw_content = _git_bytes(root, "cat-file", "blob", blob_sha) + try: + content = raw_content.decode("utf-8") + except UnicodeDecodeError: + raise ValueError(f"Tracked Python file is not UTF-8: {path}") from None contents[path] = content - current_hashes[path] = hashlib.sha256(content.encode()).hexdigest() + current_hashes[path] = hashlib.sha256(raw_content).hexdigest() previous_hashes = self._repository.indexed_files(project_id, repository) changed_paths = tuple( @@ -132,3 +138,34 @@ def _git(root: Path, *arguments: str) -> str: capture_output=True, text=True, ).stdout.strip() + + +def _git_bytes(root: Path, *arguments: str) -> bytes: + return subprocess.run( + ["git", "-C", str(root), *arguments], + check=True, + capture_output=True, + ).stdout + + +def _tracked_python_blobs(root: Path, commit_sha: str) -> dict[str, str]: + """Return committed regular Python blobs without following checkout symlinks.""" + tree = _git_bytes(root, "ls-tree", "-r", "-z", "--full-tree", commit_sha) + blobs: dict[str, str] = {} + for entry in tree.split(b"\0"): + if not entry: + continue + metadata, raw_path = entry.split(b"\t", maxsplit=1) + mode, object_type, object_sha = metadata.decode("ascii").split() + if not raw_path.endswith(b".py"): + continue + if mode not in {"100644", "100755"} or object_type != "blob": + raise ValueError( + "Tracked Python paths must be regular files; symlinks are not indexed" + ) + try: + path = raw_path.decode("utf-8") + except UnicodeDecodeError: + raise ValueError("Tracked Python path is not UTF-8") from None + blobs[path] = object_sha + return blobs diff --git a/src/local_coding_copilot/coding/sandbox.py b/src/local_coding_copilot/coding/sandbox.py index 80927a6..90cfef5 100644 --- a/src/local_coding_copilot/coding/sandbox.py +++ b/src/local_coding_copilot/coding/sandbox.py @@ -1,5 +1,7 @@ +import math import os import subprocess +import threading import time import uuid from collections.abc import Sequence @@ -78,26 +80,56 @@ def run( config.image, *command, ] + effective_timeout = ( + config.timeout_seconds if timeout_seconds is None else timeout_seconds + ) + if ( + isinstance(effective_timeout, bool) + or not isinstance(effective_timeout, (int, float)) + or not math.isfinite(effective_timeout) + or effective_timeout <= 0 + ): + raise ValueError("Sandbox timeout must be finite and positive") started = time.monotonic() process = subprocess.Popen( arguments, stdout=subprocess.PIPE, stderr=subprocess.PIPE, - text=True, ) + stdout_tail = bytearray() + stderr_tail = bytearray() + readers = ( + threading.Thread( + target=_drain_tail, + args=(process.stdout, stdout_tail), + daemon=True, + ), + threading.Thread( + target=_drain_tail, + args=(process.stderr, stderr_tail), + daemon=True, + ), + ) + for reader in readers: + reader.start() timed_out = False try: - stdout, stderr = process.communicate( - timeout=timeout_seconds or config.timeout_seconds - ) + process.wait(timeout=effective_timeout) except subprocess.TimeoutExpired: timed_out = True - subprocess.run( - ["docker", "rm", "--force", name], - capture_output=True, - text=True, - ) - stdout, stderr = process.communicate() + try: + subprocess.run( + ["docker", "rm", "--force", name], + capture_output=True, + text=True, + timeout=10, + ) + process.wait(timeout=10) + except (OSError, subprocess.SubprocessError): + process.kill() + process.wait() + for reader in readers: + reader.join() duration_ms = round((time.monotonic() - started) * 1000) return SandboxResult( stage=stage, @@ -105,6 +137,13 @@ def run( exit_code=124 if timed_out else process.returncode, duration_ms=duration_ms, timed_out=timed_out, - stdout_tail=stdout[-_OUTPUT_TAIL:], - stderr_tail=stderr[-_OUTPUT_TAIL:], + stdout_tail=stdout_tail.decode("utf-8", errors="replace"), + stderr_tail=stderr_tail.decode("utf-8", errors="replace"), ) + + +def _drain_tail(stream, tail: bytearray) -> None: + while chunk := stream.read(8192): + tail.extend(chunk) + if len(tail) > _OUTPUT_TAIL: + del tail[: len(tail) - _OUTPUT_TAIL] diff --git a/src/local_coding_copilot/coding_evaluation.py b/src/local_coding_copilot/coding_evaluation.py index 844a62c..29502d8 100644 --- a/src/local_coding_copilot/coding_evaluation.py +++ b/src/local_coding_copilot/coding_evaluation.py @@ -288,8 +288,12 @@ def _summarize( "base_commit": base_commit, "task_success": passed, "task_success_rate": _rate(passed, count), - "pass_at_1": _rate(passed, count) if name in {"base", "rag"} else None, - "success_after_repairs": passed if name == "rag_test_loop" else None, + "single_attempt_verified_rate": ( + _rate(passed, count) if name in {"base", "rag"} else None + ), + "success_after_repairs_rate": ( + _rate(passed, count) if name == "rag_test_loop" else None + ), "patch_apply_rate": _rate(applied, count), "build_pass_rate": _rate(builds, count), "test_pass_rate": _rate(tests, count), diff --git a/src/local_coding_copilot/providers/openai_compatible.py b/src/local_coding_copilot/providers/openai_compatible.py index 954ec35..7dd4fda 100644 --- a/src/local_coding_copilot/providers/openai_compatible.py +++ b/src/local_coding_copilot/providers/openai_compatible.py @@ -249,12 +249,6 @@ def _chat_completions_url(base_url: str) -> str: ): raise ValueError("base_url must be a plain HTTP loopback URL") hostname = parsed.hostname.casefold() - try: - port = parsed.port - except ValueError: - raise ValueError("base_url has an invalid port") from None - if port is not None and not 1 <= port <= 65535: - raise ValueError("base_url has an invalid port") try: port = parsed.port except ValueError: @@ -294,8 +288,6 @@ def _parse_response(response: object) -> ChatResponse: raise RuntimeError("Local inference endpoint returned a malformed message") if message.get("role", "assistant") != "assistant": raise RuntimeError("Local inference endpoint returned a non-assistant message") - if message.get("role", "assistant") != "assistant": - raise RuntimeError("Local inference endpoint returned a non-assistant message") content = message.get("content") if content is None: content = ""