From b1cc27f6ad6444b2fda483fda0e3233b84484cd4 Mon Sep 17 00:00:00 2001 From: dahyeon Date: Mon, 18 May 2026 07:18:28 -0700 Subject: [PATCH] Improve eval proposal parsing and add status variant --- src/eval/loop/propose.test.ts | 45 ++++++++++++++++++++++++++++++++ src/eval/loop/propose.ts | 12 ++++++++- src/eval/proposals/d1ed50ee.json | 15 +++++++++++ 3 files changed, 71 insertions(+), 1 deletion(-) create mode 100644 src/eval/proposals/d1ed50ee.json diff --git a/src/eval/loop/propose.test.ts b/src/eval/loop/propose.test.ts index 9dcae3a..134bb4a 100644 --- a/src/eval/loop/propose.test.ts +++ b/src/eval/loop/propose.test.ts @@ -146,6 +146,51 @@ describe("proposeVariants", () => { }); }); + it("normalizes a single diff object from LLM JSON", async () => { + const llmClient = { + hasEndpoints: () => true, + chatCompletion: () => + Promise.resolve({ + content: JSON.stringify({ + prompts: [ + { + description: "Clarify deadline status", + diff: { + layer: "policy", + op: "append", + text: "마감 임박 상태 질문에는 남은 필수 항목과 다음 행동을 먼저 말한다.", + }, + rationale: "some proposal models emit one diff as an object", + expectedImprovement: "valid proposal manifests", + }, + ], + tools: [], + }), + endpoint: "mock", + message: { role: "assistant", content: "{}" }, + provider: "cliproxy", + raw: {}, + }), + } as unknown as LlmClient; + + const proposals = await proposeVariants(llmClient, { + slice: { + tier: 1, + intent: "status-question", + phase: "deadline-near", + }, + recentLabels: [], + worstCases: [archiveEntry()], + currentPromptSnapshot: "snapshot", + }); + + expect(proposals.prompts[0]?.diff).toHaveLength(1); + expect(proposals.prompts[0]?.diff[0]).toMatchObject({ + layer: "policy", + op: "append", + }); + }); + it("summarizes PRM root causes for proposal context", () => { const validateCase = archiveEntry(); const toolCase = { diff --git a/src/eval/loop/propose.ts b/src/eval/loop/propose.ts index f7bb842..bc4fed0 100644 --- a/src/eval/loop/propose.ts +++ b/src/eval/loop/propose.ts @@ -70,12 +70,22 @@ const promptDiffSchema = z.object({ text: z.string().trim().max(4_000).optional(), }); +const promptDiffListSchema = z.preprocess( + (value) => { + if (Array.isArray(value) || value === undefined) { + return value; + } + return [value]; + }, + z.array(promptDiffSchema).min(1).max(10), +); + const proposalSchema = z.object({ prompts: z .array( z.object({ description: z.string().trim().min(1).max(300), - diff: z.array(promptDiffSchema).min(1).max(10), + diff: promptDiffListSchema, expectedImprovement: z.string().trim().min(1).max(500), rationale: z.string().trim().min(1).max(500), }), diff --git a/src/eval/proposals/d1ed50ee.json b/src/eval/proposals/d1ed50ee.json new file mode 100644 index 0000000..1f226c0 --- /dev/null +++ b/src/eval/proposals/d1ed50ee.json @@ -0,0 +1,15 @@ +{ + "description": "status-question에서 의도 정렬 개선: 진행상태 확인 질문과 남은 항목 열거 요청을 분리", + "diff": [ + { + "layer": "policy", + "op": "append", + "reason": "현재는 status-question으로 분류되면 항상 절차 목록 템플릿을 출력해, \"내전/5대5\" 같은 비온보딩 표현이나 진행 여부 확인 질문에서도 잘못된 단계 나열이 발생함. 진행확인형과 남은 절차 요청형을 분리해 잘못된 응답을 방지함.", + "text": "[답변 분기 보강]\n- status-question으로 분류되더라도, 먼저 발화의 실제 의도를 판단한다.\n- 온보딩 상태/진행 확인형인지 판단 기준: \"완료\", \"됐다/됐나\", \"안됐나\", \"입장했/들어왔\", \"가능\", \"놓친\", \"마무리\" 등 진행/결과 확인 표현이 있는가?\n- 진행상태 확인형이면 먼저 한 줄로 상태 판정만 답한다. 예: \"아직 등록이 완료되지 않았어요.\" 또는 \"방금 들어왔을 때는 아직 미완료입니다.\"\n- 남은 절차를 열거하는 것은 사용자 요청이 명시적일 때만. (예: \"뭐 남았지?\", \"아직 뭐 해야 하지?\", \"어떤 단계가 남았어?\")\n- 온보딩 키워드(닉네임/방 하트/본인인증/구인방/디스코드/등록/완료/입장/남았)가 없고 게임/일반 잡담성 표현(내전, 5대5, 관리자 멘트 등)만 있을 때는 \"[NO_RESPONSE]\"를 그대로 출력한다." + } + ], + "expectedImprovement": "의도 정합성(intentAlignment) 및 accuracy/scope/concision 실패가 반복되는 유형에서 즉시 개선되고, 오지 않은 정보 제공을 줄여 점수 하락을 완화한다.", + "rationale": "실패의 공통원인은 '무조건 남은 항목 나열' 구조이다. 새 규칙으로 status-question 응답을 상태 판정형/요청형으로 조건 분기해, 의도 불일치 답변을 줄인다.", + "variantId": "d1ed50ee", + "trustTier": "T2" +}