Improve onboarding verification and routing controls
This commit is contained in:
1 parent
bc0f8e0773
commit
d05de52cd9
30 files changed
+3024
-162
No files matched your search
@@ -257,6 +257,18 @@ npm run review:list -- --reason=low-confidence --limit=10
|
||||
|
||||
Resolution history는 stream에 쌓이며, compatibility hash는 sunset 전까지 read fallback으로 유지된다. Sunset 조건과 절차는 [resolution-hash-sunset-procedure.md](resolution-hash-sunset-procedure.md)를 따른다.
|
||||
|
||||
### 10.2 Tool Audit
|
||||
|
||||
Tool call은 성공과 실패 모두 `lolympus-agent:tool-calls` Stream에 남긴다. 원본 args는 저장하지 않고, 민감 키를 제거한 뒤 hash만 기록한다.
|
||||
|
||||
```bash
|
||||
npm run tool-audit:list -- --limit=20
|
||||
npm run tool-audit:list -- --skill=onboarding --since=24h
|
||||
npm run tool-audit:show -- <callId>
|
||||
```
|
||||
|
||||
Stream은 `AGENT_TOOL_AUDIT_MAX_LEN` 기준으로 trim된다. 기본값은 `100000`이다.
|
||||
|
||||
## 11. Calibration 흐름
|
||||
|
||||
Calibration은 사람 점수와 LLM judge 점수의 상관을 계산한다.
|
||||
@@ -460,6 +472,13 @@ npm test
|
||||
| `EVAL_TOURNAMENT_MIN_CASES` | 10 | proposal 최소 archive cases |
|
||||
| `PROMPT_VARIANT_ID` | unset | 운영 prompt variant 선택 |
|
||||
| `AGENT_ROUTER_WEIGHTS_PATH` | unset | learned router weights path |
|
||||
| `AGENT_BUDGET_LLM_COST_ENABLED` | true | LLM token cost를 request budget에 누적 |
|
||||
| `AGENT_COST_AWARE_TIER_ENABLED` | true | confidence/cost-aware tier selection |
|
||||
| `AGENT_SUPERVISOR_FAST_PATH_ENABLED` | true | supervisor regex fast-path 사용 |
|
||||
| `SUPERVISOR_FAST_PATH_CONFIDENCE` | 0.85 | fast-path 최소 규칙 confidence |
|
||||
| `AGENT_TOOL_SANDBOX_ENABLED` | false | tool context 최소 권한 강제 여부 |
|
||||
| `AGENT_TOOL_AUDIT_MAX_LEN` | 100000 | tool audit Stream maxlen |
|
||||
| `AGENT_NATS_ACL_MODE` | log-only | NATS subject ACL 모드 |
|
||||
| `AGENT_SUPERVISOR_LLM_RESPONSE_ENABLED` | true | supervisor LLM userMessage 사용 여부 |
|
||||
| `PHOENIX_OTLP_ENDPOINT` | unset | Phoenix OTLP trace endpoint |
|
||||
| `PHOENIX_LOG_PROMPTS` | false | LLM prompt/completion content trace 기록 |
|
||||
@@ -519,7 +538,15 @@ ALERT_THRESHOLD_DRIFT_PCT=15
|
||||
예를 들어 onboarding latency alert와 moderation latency alert는 서로 throttle하지 않는다.
|
||||
skill이 없는 cross-system alert는 기존처럼 글로벌 dedupe를 사용한다.
|
||||
|
||||
### 16.2 Phoenix trace
|
||||
### 16.2 Secret, Tool Sandbox, NATS ACL
|
||||
|
||||
Secret은 Infisical을 우선으로 로드한다. Infisical credential은 로컬 env 또는 IMDS에서 읽고, 새 secret env를 추가할 때는 `src/common/known-secret-keys.ts`에 함께 등록해야 로그 redaction 대상에 들어간다. LLM, embedding, Phoenix API key도 redaction 대상이다.
|
||||
|
||||
Tool은 `requires` 선언으로 필요한 context만 받는다. `AGENT_TOOL_SANDBOX_ENABLED=false`가 기본이라 운영 초기는 호환성을 유지한다. 1주 정도 audit을 본 뒤 false positive가 없으면 true로 전환한다.
|
||||
|
||||
NATS subject ACL은 `src/common/nats-skill-acl.ts`의 `DEFAULT_NATS_ACL`에서 관리한다. 기본 `AGENT_NATS_ACL_MODE=log-only`는 위반을 warn으로만 남기고 publish/request는 그대로 진행한다. 1개월 운영 후 false positive가 없으면 `enforce`로 전환한다.
|
||||
|
||||
### 16.3 Phoenix trace
|
||||
|
||||
LLM 호출, skill 실행, tool 실행 span은 OpenTelemetry trace로 남긴다.
|
||||
`PHOENIX_OTLP_ENDPOINT`가 없으면 기존 설정을 따른다. 개발 환경 기본값은 trace exporter 비활성화이고, `OTEL_EXPORTER=stdout`이면 콘솔 exporter를 쓴다.
|
||||
@@ -544,7 +571,7 @@ Phoenix UI에서는 `service.name=lolympus-agent`, `gen_ai.system`, `gen_ai.requ
|
||||
Prompt와 completion 본문은 기본적으로 기록하지 않는다.
|
||||
디버깅 때문에 필요할 때만 `PHOENIX_LOG_PROMPTS=true`를 켠다. 이 경우 email, 전화번호, token/API key 형태의 값은 span 기록 전에 masking된다.
|
||||
|
||||
### 16.3 Prometheus scrape
|
||||
### 16.4 Prometheus scrape
|
||||
|
||||
Agent process는 `METRICS_PORT`에서 HTTP endpoint를 연다.
|
||||
|
||||
@@ -596,7 +623,7 @@ sum by (skill, stage) (rate(agent_validator_fail_total[5m]))
|
||||
| eval drift | 15% 이하 |
|
||||
| archive stalled | 3회 연속 실패 0건 |
|
||||
|
||||
### 16.4 Slack webhook 설정
|
||||
### 16.5 Slack webhook 설정
|
||||
|
||||
Slack incoming webhook URL을 env로 설정한다.
|
||||
|
||||
|
||||
File diff suppressed because it is too large.
Load diff
Reference in new issue
Block a user