Files
lolympus-agent/docs/optimization-roadmap.md

5.0 KiB

Optimization Roadmap

Last verified: Iter8 implementation branch, 2026-05-18.

운영 가능한 멀티 에이전트 기반은 Iter8에서 닫았다. 이 문서는 다음 고도화를 추측으로 시작하지 않기 위한 trigger 표다. Trigger는 권장 시작점이며, 최종 착수는 사람이 실제 비용, 운영 부담, 사용자 영향도를 보고 결정한다.

Trigger Summary

항목 Trigger 조건 측정 지표 Plan 작성 시작 시점
Cost-aware routing 월 LLM 비용이 운영 예산을 초과 agent_token_cost_usd 합계 비용 초과가 2개월 연속 발생
Parallel fan-out handoff 평균 hop이 2.0 이상 또는 timeout 빈발 agent_handoff_count p50/p95 hop >= 2.0이 1주 지속
Cross-room context 방 사이의 동일 사용자/패턴 이슈가 반복 신규 metric 필요 sensor 먼저 추가 후 데이터 확인
Resolution hash sunset dual-write 안정 2개월 + stream/hash divergence 0 sunset 점검 script 또는 spot check 조건 충족 후 sunset plan 실행
Review queue Web UI 일일 review queue 진입이 10건 이상 또는 운영자 2명 이상 agent_human_override_total daily 1개월 지속
Runtime skill discovery 신규 skill 배포가 주 1회 이상 배포 기록, lint:skills 변경 빈도 빈도 조건 충족
Multi-skill orchestration handoff chain 평균이 3 hop 이상 agent_handoff_count p90, handoff golden 평균 3 hop 이상 반복
Supervisor 자동 학습 router shadow agreement rate가 80% 미만 eval:router-shadow-report 2개 이상 window에서 80% 미만

Cost-aware routing

왜 지금 안 하는가: 현재는 비용보다 correctness와 운영 가능성이 더 큰 리스크다. tier별 routing과 learned router가 이미 비용을 일부 통제한다.

시작 시 검토할 것: model별 token cost 산정, skill별 비용 dashboard, router decision의 false negative 비용, fallback 품질이다. 관련 코드는 src/observability/metrics.ts, src/skills/onboarding/runtime/router.ts, src/eval/router-training.ts다.

Parallel fan-out

왜 지금 안 하는가: handoff graph가 아직 작고, 병렬 실행은 비용과 race condition을 늘린다.

시작 시 검토할 것: fan-out 대상 skill의 idempotency, response merge policy, budget accounting, timeout policy다. 관련 코드는 src/agent/dispatch.ts, src/agent/budget.ts, src/eval/golden/handoff/cases.jsonl다.

Cross-room context

왜 지금 안 하는가: room 간 context가 실제로 필요한 빈도와 개인정보 리스크가 아직 수치화되지 않았다.

시작 시 검토할 것: 사용자 단위 aggregation metric, retention/TTL, opt-in 정책, PII redaction이다. 먼저 sensor와 metric을 추가하고 한 달 이상 관찰한다.

Resolution hash sunset

왜 지금 안 하는가: Iter6에서 stream audit와 hash compatibility dual-write를 막 붙였다. 바로 제거하면 운영 rollback 경로가 좁아진다.

시작 시 검토할 것: stream과 hash의 일치율, review:show와 review:stats read path, TTL 이후 복구 가능성이다. 절차는 resolution-hash-sunset-procedure.md를 따른다.

Review queue Web UI

왜 지금 안 하는가: CLI로 충분한 규모인지 확인되지 않았다. Web UI는 인증, audit, 권한, 배포 표면을 늘린다.

시작 시 검토할 것: 일일 queue 양, 운영자 수, 자주 쓰는 resolution action, note template, audit export 필요성이다. CLI는 src/operations/cli.ts가 기준이다.

Runtime skill discovery

왜 지금 안 하는가: 현재 skill 수가 적고 정적 registry가 변경 영향 파악에 유리하다.

시작 시 검토할 것: skill package format, hot reload, SKILL.md validation timing, transition matrix reload, 배포 rollback 방식이다.

Multi-skill orchestration

왜 지금 안 하는가: 지금의 handoff는 sequential dispatch로 충분하다. orchestration graph를 일반화하면 디버깅 난도가 크게 올라간다.

시작 시 검토할 것: graph DSL, response merge, partial failure, supervisor override, eval judge 확장이다.

Supervisor 자동 학습

왜 지금 안 하는가: supervisor routing과 userMessage는 이제 막 안정 가드를 갖췄다. 자동 학습은 충분한 resolution label과 shadow divergence evidence가 필요하다.

시작 시 검토할 것: npm run eval:router-shadow-report -- --since=7d, supervisor resolution action 분포, target별 false route, human note taxonomy다.