codex-directorのティア判定を判断の持ち主で行う形に組み替える - #21
Open
kyosuke wants to merge 3 commits into
Open
Conversation
本番D1からローカルD1へ移す実装で、サンドボックスの外でしか確かめられない 詳細を受入条件に書いた2箇所が、そのまま2回の差し戻しになった。Codexは確認 できないまま指示に従うので、確かめてから書くか目的だけ渡すかの判断を テンプレートに残す。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
19発注の内訳がsol 7件・terra 9件・luna 2件で上位ティアに偏っていた。旧基準は lunaの入場条件を「設計判断が不要」としていたため、判断がわずかに絡む作業は 自動的にterra以上へ流れ、lunaが育つ経路がなかった。ログ自身の評価でもsolが 不要だった発注が2件あり、luna側には失敗例が1件もない。 判定の軸を作業量から「依頼文を書き終えた時点でCodexに残る裁量」へ移し、 lunaの推論量にmediumとhighを開けてterraの射程を測れるようにした。solは実測で 効果が出た3条件に絞り、推論量では解決しない領域（テスト設計・完了誤認・設計の 丸投げ）を選ばない理由として明示する。 7-30の値下げでlunaとterraの単価差が2.5倍から10倍に開いたので倍率も残すが、 発注1件のコストは差し戻し1回の検収サイクルより小さい。単価は下げる動機を 強めるだけで判定順は覆さない、という位置づけを書いた。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
値下げの数値は解説記事から引いていた。単価はティア選択の動機として参照する 値なので、二次情報のまとめ方に依存しない形にしておく。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
背景
試験運用19発注の内訳は
sol7件（37%）・terra9件（47%）・luna2件（11%）で、上位ティアに偏っていた。ログ自身の評価でもsolが不要だった発注が2件あり（Workers デプロイ調査、workers プール導入）、lunaの2件はどちらも一度で合格していて失敗例が1件もない。偏りの原因は基準の作りにある。
lunaの入場条件が「設計判断が不要」だったため、判断がわずかでも絡む作業は自動的にterra以上へ流れ、lunaが育つ経路がなかった。lunaはnoneとlowにしか割り当てられておらず、推論量を上げたlunaは一度も試されていない。変更
判定の軸を組み替えた
作業量ではなく、依頼文を書き終えた時点で Codex に残る裁量の量で決める。
sol+highterra+mediumluna、推論量で幅を調整ファイル数・行数はティアの根拠にしない（7ファイルの移行を
terra+mediumが一度で通した実測がある）。lunaにmediumとhighを開けたterraの射程をどこまで引き取れるかを測る段階と明記し、未検証であることを添えた。落ちたときはティアを上げる前に切り分ける。依頼文の埋め漏れなら同じlunaで出し直し、構造理解が届いていないと判断できたときだけterraへ上げる。solを実測で効果が出た3条件に絞った判定困難な実装（暗号・認証、境界、競合状態、移行リスク）、一次資料との広域照合、構成から組ませる大規模実装。あわせて「選ばない理由」を明示した。ファイル数が多いだけ、テスト網羅・設計の不足、完了誤認、設計の丸投げは、いずれも推論量では解決しないか別の手段で解く領域である。
差し戻しは既定でティアを上げない
実測で
solの差し戻しがterra+mediumで通り、terraの差し戻しがluna+lowで通っている。依頼文の不備なら同ティアで出し直し、範囲が絞れたら1段下げ、原因不明で2回落ちたときだけ上げる。コスト差の位置づけ
2026-07-30 の値下げで
lunaとterraの出力単価差が2.5倍から10倍に開いた。ただし発注1件のコストは差し戻し1回で生じる検収サイクルより小さいので、単価は下げる動機を強めるだけで判定順は覆さない、と書いた。数値は確認日と出典つきで、変わる前提として扱う。記録項目の追加
trial-log に「1段下げて発注したか」を追加した。下げた場合は根拠と結果、下げなかった場合は上位ティアが必要と考えた理由を書く。実測が積まれない限り判定基準は上位ティアへ戻る、と明記した。
同梱した別コミット
delegation-template.mdに「検証できない実装詳細を受入条件に書かない」節（12行）を追加するコミットを含む。以前のセッションで書かれて未コミットのまま残っていたもので、本 PR の「指示の質でティアを下げる」節から参照するため同じブランチに入れた。検証
ドキュメントのみの変更で、実行可能な検証はない。効果はこれ以降の発注で
lunaのmedium以上を試し、trial-log に結果が積まれてから判断する。🤖 Generated with Claude Code