Improve eval proposal parsing and add status variant
This commit is contained in:
1 parent
bcf095224a
commit
b1cc27f6ad
3 files changed
+71
-1
No files matched your search
@@ -146,6 +146,51 @@ describe("proposeVariants", () => {
|
||||
});
|
||||
});
|
||||
|
||||
it("normalizes a single diff object from LLM JSON", async () => {
|
||||
const llmClient = {
|
||||
hasEndpoints: () => true,
|
||||
chatCompletion: () =>
|
||||
Promise.resolve({
|
||||
content: JSON.stringify({
|
||||
prompts: [
|
||||
{
|
||||
description: "Clarify deadline status",
|
||||
diff: {
|
||||
layer: "policy",
|
||||
op: "append",
|
||||
text: "마감 임박 상태 질문에는 남은 필수 항목과 다음 행동을 먼저 말한다.",
|
||||
},
|
||||
rationale: "some proposal models emit one diff as an object",
|
||||
expectedImprovement: "valid proposal manifests",
|
||||
},
|
||||
],
|
||||
tools: [],
|
||||
}),
|
||||
endpoint: "mock",
|
||||
message: { role: "assistant", content: "{}" },
|
||||
provider: "cliproxy",
|
||||
raw: {},
|
||||
}),
|
||||
} as unknown as LlmClient;
|
||||
|
||||
const proposals = await proposeVariants(llmClient, {
|
||||
slice: {
|
||||
tier: 1,
|
||||
intent: "status-question",
|
||||
phase: "deadline-near",
|
||||
},
|
||||
recentLabels: [],
|
||||
worstCases: [archiveEntry()],
|
||||
currentPromptSnapshot: "snapshot",
|
||||
});
|
||||
|
||||
expect(proposals.prompts[0]?.diff).toHaveLength(1);
|
||||
expect(proposals.prompts[0]?.diff[0]).toMatchObject({
|
||||
layer: "policy",
|
||||
op: "append",
|
||||
});
|
||||
});
|
||||
|
||||
it("summarizes PRM root causes for proposal context", () => {
|
||||
const validateCase = archiveEntry();
|
||||
const toolCase = {
|
||||
|
||||
@@ -70,12 +70,22 @@ const promptDiffSchema = z.object({
|
||||
text: z.string().trim().max(4_000).optional(),
|
||||
});
|
||||
|
||||
const promptDiffListSchema = z.preprocess(
|
||||
(value) => {
|
||||
if (Array.isArray(value) || value === undefined) {
|
||||
return value;
|
||||
}
|
||||
return [value];
|
||||
},
|
||||
z.array(promptDiffSchema).min(1).max(10),
|
||||
);
|
||||
|
||||
const proposalSchema = z.object({
|
||||
prompts: z
|
||||
.array(
|
||||
z.object({
|
||||
description: z.string().trim().min(1).max(300),
|
||||
diff: z.array(promptDiffSchema).min(1).max(10),
|
||||
diff: promptDiffListSchema,
|
||||
expectedImprovement: z.string().trim().min(1).max(500),
|
||||
rationale: z.string().trim().min(1).max(500),
|
||||
}),
|
||||
|
||||
@@ -0,0 +1,15 @@
|
||||
{
|
||||
"description": "status-question에서 의도 정렬 개선: 진행상태 확인 질문과 남은 항목 열거 요청을 분리",
|
||||
"diff": [
|
||||
{
|
||||
"layer": "policy",
|
||||
"op": "append",
|
||||
"reason": "현재는 status-question으로 분류되면 항상 절차 목록 템플릿을 출력해, \"내전/5대5\" 같은 비온보딩 표현이나 진행 여부 확인 질문에서도 잘못된 단계 나열이 발생함. 진행확인형과 남은 절차 요청형을 분리해 잘못된 응답을 방지함.",
|
||||
"text": "[답변 분기 보강]\n- status-question으로 분류되더라도, 먼저 발화의 실제 의도를 판단한다.\n- 온보딩 상태/진행 확인형인지 판단 기준: \"완료\", \"됐다/됐나\", \"안됐나\", \"입장했/들어왔\", \"가능\", \"놓친\", \"마무리\" 등 진행/결과 확인 표현이 있는가?\n- 진행상태 확인형이면 먼저 한 줄로 상태 판정만 답한다. 예: \"아직 등록이 완료되지 않았어요.\" 또는 \"방금 들어왔을 때는 아직 미완료입니다.\"\n- 남은 절차를 열거하는 것은 사용자 요청이 명시적일 때만. (예: \"뭐 남았지?\", \"아직 뭐 해야 하지?\", \"어떤 단계가 남았어?\")\n- 온보딩 키워드(닉네임/방 하트/본인인증/구인방/디스코드/등록/완료/입장/남았)가 없고 게임/일반 잡담성 표현(내전, 5대5, 관리자 멘트 등)만 있을 때는 \"[NO_RESPONSE]\"를 그대로 출력한다."
|
||||
}
|
||||
],
|
||||
"expectedImprovement": "의도 정합성(intentAlignment) 및 accuracy/scope/concision 실패가 반복되는 유형에서 즉시 개선되고, 오지 않은 정보 제공을 줄여 점수 하락을 완화한다.",
|
||||
"rationale": "실패의 공통원인은 '무조건 남은 항목 나열' 구조이다. 새 규칙으로 status-question 응답을 상태 판정형/요청형으로 조건 분기해, 의도 불일치 답변을 줄인다.",
|
||||
"variantId": "d1ed50ee",
|
||||
"trustTier": "T2"
|
||||
}
|
||||
Reference in new issue
Block a user