Improve eval proposal parsing and add status variant

This commit is contained in:
dahyeon committed 2026-05-18 07:18:28 -07:00
1 parent bcf095224a
commit b1cc27f6ad
3 files changed
+71 -1

No files matched your search

+45
View File
@@ -146,6 +146,51 @@ describe("proposeVariants", () => {
}); });
}); });
it("normalizes a single diff object from LLM JSON", async () => {
const llmClient = {
hasEndpoints: () => true,
chatCompletion: () =>
Promise.resolve({
content: JSON.stringify({
prompts: [
{
description: "Clarify deadline status",
diff: {
layer: "policy",
op: "append",
text: "마감 임박 상태 질문에는 남은 필수 항목과 다음 행동을 먼저 말한다.",
},
rationale: "some proposal models emit one diff as an object",
expectedImprovement: "valid proposal manifests",
},
],
tools: [],
}),
endpoint: "mock",
message: { role: "assistant", content: "{}" },
provider: "cliproxy",
raw: {},
}),
} as unknown as LlmClient;
const proposals = await proposeVariants(llmClient, {
slice: {
tier: 1,
intent: "status-question",
phase: "deadline-near",
},
recentLabels: [],
worstCases: [archiveEntry()],
currentPromptSnapshot: "snapshot",
});
expect(proposals.prompts[0]?.diff).toHaveLength(1);
expect(proposals.prompts[0]?.diff[0]).toMatchObject({
layer: "policy",
op: "append",
});
});
it("summarizes PRM root causes for proposal context", () => { it("summarizes PRM root causes for proposal context", () => {
const validateCase = archiveEntry(); const validateCase = archiveEntry();
const toolCase = { const toolCase = {
+11 -1
View File
@@ -70,12 +70,22 @@ const promptDiffSchema = z.object({
text: z.string().trim().max(4_000).optional(), text: z.string().trim().max(4_000).optional(),
}); });
const promptDiffListSchema = z.preprocess(
(value) => {
if (Array.isArray(value) || value === undefined) {
return value;
}
return [value];
},
z.array(promptDiffSchema).min(1).max(10),
);
const proposalSchema = z.object({ const proposalSchema = z.object({
prompts: z prompts: z
.array( .array(
z.object({ z.object({
description: z.string().trim().min(1).max(300), description: z.string().trim().min(1).max(300),
diff: z.array(promptDiffSchema).min(1).max(10), diff: promptDiffListSchema,
expectedImprovement: z.string().trim().min(1).max(500), expectedImprovement: z.string().trim().min(1).max(500),
rationale: z.string().trim().min(1).max(500), rationale: z.string().trim().min(1).max(500),
}), }),
+15
View File
@@ -0,0 +1,15 @@
{
"description": "status-question에서 의도 정렬 개선: 진행상태 확인 질문과 남은 항목 열거 요청을 분리",
"diff": [
{
"layer": "policy",
"op": "append",
"reason": "현재는 status-question으로 분류되면 항상 절차 목록 템플릿을 출력해, \"내전/5대5\" 같은 비온보딩 표현이나 진행 여부 확인 질문에서도 잘못된 단계 나열이 발생함. 진행확인형과 남은 절차 요청형을 분리해 잘못된 응답을 방지함.",
"text": "[답변 분기 보강]\n- status-question으로 분류되더라도, 먼저 발화의 실제 의도를 판단한다.\n- 온보딩 상태/진행 확인형인지 판단 기준: \"완료\", \"됐다/됐나\", \"안됐나\", \"입장했/들어왔\", \"가능\", \"놓친\", \"마무리\" 등 진행/결과 확인 표현이 있는가?\n- 진행상태 확인형이면 먼저 한 줄로 상태 판정만 답한다. 예: \"아직 등록이 완료되지 않았어요.\" 또는 \"방금 들어왔을 때는 아직 미완료입니다.\"\n- 남은 절차를 열거하는 것은 사용자 요청이 명시적일 때만. (예: \"뭐 남았지?\", \"아직 뭐 해야 하지?\", \"어떤 단계가 남았어?\")\n- 온보딩 키워드(닉네임/방 하트/본인인증/구인방/디스코드/등록/완료/입장/남았)가 없고 게임/일반 잡담성 표현(내전, 5대5, 관리자 멘트 등)만 있을 때는 \"[NO_RESPONSE]\"를 그대로 출력한다."
}
],
"expectedImprovement": "의도 정합성(intentAlignment) 및 accuracy/scope/concision 실패가 반복되는 유형에서 즉시 개선되고, 오지 않은 정보 제공을 줄여 점수 하락을 완화한다.",
"rationale": "실패의 공통원인은 '무조건 남은 항목 나열' 구조이다. 새 규칙으로 status-question 응답을 상태 판정형/요청형으로 조건 분기해, 의도 불일치 답변을 줄인다.",
"variantId": "d1ed50ee",
"trustTier": "T2"
}