RAG ?????? 是一个面向发布后故障定位与应急处置的多 Agent 运维系统,聚焦一个高频且适合打通闭环的场景:
- 发布配置/版本回归导致
5xx飙升
项目采用 Go + LangGraph 分层架构:
Go负责 incident 生命周期、审批、执行回执、审计与持久化LangGraph负责多 Agent 并行取证、诊断规划、审批中断恢复、回滚执行与最终报告生成
系统目标不是替代人工值班,而是把告警触发后的第一轮诊断链路结构化,把“取证、判断、审批、回滚、验证、报告”组织成一条可恢复、可审计、可观测的工作流。
- 多 Agent 协作诊断
Triage Agent识别是否进入发布后故障工作流Change Agent、Log Agent、Dependency Agent三个主分支并行取证Planner Agent汇总证据并生成根因假设与回滚计划Critic Agent复核证据充分性,必要时触发一次 replanPolicy Agent根据风险决定是否进入人工审批Report Agent输出最终诊断报告
- LangGraph 编排
- 三个主并行分支在同一张图里汇合
- 支持
interrupt / resume - 支持 checkpoint 持久化与中断恢复
- 安全处置闭环
- 高风险写操作默认进入审批
- 回滚请求带幂等键
- 回滚后自动执行恢复验证
- 可观测性
- Prometheus 指标
- Grafana 看板
- incident 事件时间线
- agent run 审计
- 演示控制台
- 单页
/demo控制台 - 实时指标、趋势、人工审批、历史报告查询
- 单页
RAG ?????? 的核心不是“让一个模型回答问题”,而是把一次线上故障拆成多个职责清晰、可并行、可审计的 Agent 协作过程。
在主场景里,三个主并行 Agent 分别回答三个不同问题:
Change Agent- 最近一次发布改了什么
- 是否存在配置、版本、连接参数变化
- 当前版本和回滚目标版本是什么
Log Agent- 错误是否集中在本服务
- 是否出现数据库连接、认证、配置不匹配等局部异常模式
- 错误与发布时间是否强相关
Dependency Agent- 下游依赖是否健康
- 是否存在错误放大
- 故障是否主要由依赖传播导致
这三个分支并行执行,先各自产生结构化证据,再汇总到 Planner Agent。这样的拆分既符合真实值班场景,也让工作流更容易解释、验证和审计。
flowchart LR
A["Alert / Replay Event"] --> B["incident-api (Go)"]
B --> O["orchestrator (Python + LangGraph)"]
O --> G["ops-gateway (Go)"]
B --> DB[("MySQL")]
O --> CP[("SQLite Checkpoint")]
O --> R[("Redis")]
O --> M[("Prometheus / Grafana")]
G --> M
G --> DB
- 创建和查询 incident
- 持久化 incident 上下文
- 审批通过/拒绝
- 保存分析结果与最终报告
- 查询事件时间线与 agent run 审计
- 暴露只读工具接口
- 暴露回滚动作接口
- 暴露恢复验证接口
- 承载回滚幂等控制
- 暴露 Prometheus 指标
- 加载 incident 上下文
- 执行多 Agent 编排
- 处理并行分支汇合
- 在审批节点中断
- 审批后恢复执行回滚与验证
- 输出最终报告
- 暴露 Prometheus 指标
flowchart TD
A["incident created"] --> B["Triage Agent"]
B --> C1["Change Agent"]
B --> C2["Log Agent"]
B --> C3["Dependency Agent"]
C1 --> D["Planner Agent"]
C2 --> D
C3 --> D
D --> E["Critic Agent"]
E -->|request_replan| D
E -->|approve_plan| F["Policy Agent"]
F -->|require_human_approval| G["Approval Gate"]
F -->|deny / no action| J["Report Agent"]
G -->|approved| H["rollback_action"]
G -->|rejected| J
H --> I["verify_recovery"]
I --> J
J --> K["final report"]
- 三个主取证 Agent 并行执行
Planner -> Critic -> Policy构成诊断与安全决策主链approval_gate使用 LangGraphinterruptresume在人工审批后恢复到图中断点继续执行- checkpoint 状态与业务真相分离
创建 incident 时会携带:
clusternamespaceenvironmentalert_namealert_started_atrelease_idrelease_versionprevious_versionlabels
这些字段会贯穿整条工作流,供三个并行 Agent、回滚动作和恢复验证共同使用。
Evidenceevidence_idsource_typesource_refsummaryconfidence
Hypothesis- 根因假设
- 证据引用
- 置信度
ActionPlantarget_servicecurrent_revisiontarget_revisionrisk_levelevidence_idsverification_policyrequires_approval
ActionReceiptexecutorfrom_revisionto_revisionstatusverification_status
FinalReportsummaryroot_causerecommended_actionverification
项目采用 metrics-first 方案。orchestrator 与 ops-gateway 直接暴露 /metrics,Prometheus 抓取后由 Grafana 展示。
graph_node_duration_secondsgraph_interrupts_totalgraph_replans_totalevidence_items_totaltool_call_duration_secondsapproval_wait_duration_secondsincident_runs_totalllm_calls_totalllm_duration_secondsrollback_requests_totalrecovery_verification_totalaudit_write_failures_total
GraphOps Incident OverviewGraphOps Agent Runtime
- Prometheus: http://127.0.0.1:9090
- Grafana: http://127.0.0.1:3000
- 用户名:
admin - 密码:
admin
- 用户名:
RAG ?????? 支持将不同 Agent 路由到不同本地模型,以体现“轻量并行 + 主链路强推理”的设计。
默认配置:
- 主链路
Triage / Planner / Critic / Policy / Reportqwen3:4b
- 并行证据分支
Change / Log / Dependencyqwen3:1.7b
这种划分使得:
- 三个主并行 Agent 走更轻的子模型,降低并发成本
- 主决策链仍由更强的主模型负责
- 前端控制台可直接显示 provider、主模型、并行模型,以及每个 agent run 的实际模型名
项目内置一个前端控制台:
控制台包含:
- 运行态总览
- 三个主并行 Agent 说明
- 指标拆解与趋势
- incident 快照
- evidence / report 展示
- agent timeline
- 人工审批按钮
- 最近一次联调摘要
- 历史报告查询
POST /incidentsGET /incidentsGET /incidents/{id}GET /incidents/{id}/eventsGET /incidents/{id}/agent-runsPOST /incidents/{id}/approvePOST /incidents/{id}/rejectGET /incidents/{id}/report
GET /healthzPOST /runs/incidents/{incident_id}POST /runs/incidents/{incident_id}/resumeGET /metrics
POST /tools/changes/queryPOST /tools/logs/queryPOST /tools/dependency/queryPOST /actions/rollbackPOST /actions/verifyGET /metrics
项目将状态分为三层:
- 业务真相
- MySQL 中的
incidents / approvals / evidence_items / action_receipts / incident_events / agent_runs
- MySQL 中的
- 编排状态
- LangGraph checkpoint,当前使用 SQLite
- 运行保护
- Redis 中的
runlock:incident:{id}与idemp:rollback:{incident_id}:{target_service}
- Redis 中的
这种分层保证:
- incident 可审计
- 编排可恢复
- 幂等保护不与业务真相耦合
- Go
1.24+ - Python
3.12+ - PowerShell
- Docker Desktop
- 可选:本地 Ollama
默认从环境变量读取:
REASONER_PROVIDEROLLAMA_MAIN_MODELOLLAMA_PARALLEL_MODELOLLAMA_BASE_URLOLLAMA_NUM_CTXOLLAMA_PARALLEL_NUM_CTX
规则模式:
$env:REASONER_PROVIDER="rules"Ollama 模式:
$env:REASONER_PROVIDER="ollama"
$env:OLLAMA_MAIN_MODEL="qwen3:4b"
$env:OLLAMA_PARALLEL_MODEL="qwen3:1.7b"
$env:OLLAMA_NUM_CTX="8192"
$env:OLLAMA_PARALLEL_NUM_CTX="8192"docker compose up -d redis prometheus grafana如需启用 MySQL:
docker compose up -d mysql规则模式:
$env:REDIS_URL="redis://127.0.0.1:6379/0"
$env:REASONER_PROVIDER="rules"
.\scripts\dev.ps1规则模式 + MySQL:
$env:REDIS_URL="redis://127.0.0.1:6379/0"
$env:REASONER_PROVIDER="rules"
.\scripts\dev.ps1 -UseMySQLOllama 模式:
$env:REDIS_URL="redis://127.0.0.1:6379/0"
$env:REASONER_PROVIDER="ollama"
$env:OLLAMA_MAIN_MODEL="qwen3:4b"
$env:OLLAMA_PARALLEL_MODEL="qwen3:1.7b"
$env:OLLAMA_NUM_CTX="8192"
$env:OLLAMA_PARALLEL_NUM_CTX="8192"
.\scripts\dev.ps1 -UseMySQL启动成功后可访问:
- incident-api:
http://127.0.0.1:8082 - ops-gateway:
http://127.0.0.1:8085 - orchestrator:
http://127.0.0.1:8090 - demo console:
http://127.0.0.1:8082/demo
$env:REASONER_PROVIDER="rules"
.\scripts\replay.ps1 -ApproveRollback.\scripts\replay.ps1 -VariantIndex 12 -ApproveRollback评测脚本内置 18 个发布回归变体样本:
release_config_regression_01 ~ 18
运行方式:
$env:REASONER_PROVIDER="rules"
.\scripts\eval.ps1 -ApproveRollback -OutputPath .\logs\eval-report.json输出内容包括:
action_accuracyrollback_recovered_ratemedian_initial_latency_msmedian_end_to_end_latency_mswaiting_for_approval_case_count
go test ./...cd .\orchestrator
python -m pytest tests -q.
├── cmd/
│ ├── incident-api/
│ └── ops-gateway/
├── internal/
│ ├── incidentapi/
│ └── opsgateway/
├── orchestrator/
│ ├── graphops_orchestrator/
│ └── tests/
├── sql/
│ └── migrations/
├── scripts/
├── prometheus/
├── grafana/
│ ├── dashboards/
│ └── provisioning/
└── compose.yaml
RAG ?????? 是一个围绕“发布后 5xx 飙升”场景构建的多 Agent 运维编排系统,核心是通过 Change Agent / Log Agent / Dependency Agent 三条主并行分支收集证据,再由 LangGraph 将诊断、审批、回滚、恢复验证和最终报告连接成一条可恢复、可审计、可观测的工作流。