Tune LLM routing and prompts

This commit is contained in:
dahyeon committed 2026-04-21 15:24:21 -07:00
1 parent 9c013f7d4f
commit 60f33b8f4b
19 files changed
+736 -803

No files matched your search

+66 -59
View File
@@ -1,117 +1,124 @@
import type { Intent } from "../state/onboarding-state.js";
import type { Example } from "../types.js";
import type { Intent } from '../state/onboarding-state.js';
import type { Example } from '../types.js';
export const EXAMPLES_BY_INTENT: Record<Intent["kind"], Example[]> = {
export const EXAMPLES_BY_INTENT: Record<Intent['kind'], Example[]> = {
greeting: [
{
user: "안녕하세요!",
assistant: "환영합니다! 반갑습니다.",
user: '안녕하세요!',
assistant: '어서오세요!',
},
{
user: "반갑습니다",
assistant: "반갑습니다! 어서 오세요.",
user: '반갑습니다',
assistant: '안녕하세요~',
},
],
acknowledgement: [
{
user: "넵 확인했어요",
assistant: "네, 편하게 진행해 보시면 돼요.",
user: '넵 확인했어요',
assistant: '네, 편하게 진행해 보시면 돼요.',
},
{
user: "감사합니다",
assistant: "좋아요! 천천히 진행해 주세요.",
user: '감사합니다',
assistant: '좋아요! 천천히 진행해 주세요.',
},
],
"status-question": [
'status-question': [
{
user: "이제 뭐 남았지?",
assistant: "이제 디스코드 프로필 닉네임 설정과 프로필 메시지 설정만 남아 있어요.",
},
{
user: "진행상황 알려줘",
assistant: "아직 닉네임 변경과 방 하트 인증 두 가지가 남아 있어요.",
},
],
"help-how": [
{
user: "하트 인증은 어떻게 해요?",
user: '이제 뭐 남았지?',
assistant:
'채팅방 오른쪽 상단 메뉴 버튼에서 "커버 보기"로 들어가 하트를 빨간색으로 바꾼 뒤, 편집 없이 원본 스크린샷을 올려주시면 돼요.',
'이제 디스코드 서버 프로필 닉네임 변경하시고 주민신청 채널에 메시지만 남겨주시면 돼요!',
},
{
user: "닉네임 형식 예시 알려줘",
assistant:
"닉네임은 이름/출생 연도 두 자리/성별/티어 형식이에요. 예를 들면 홍길동/95/여/D처럼 쓰시면 돼요.",
user: '이제 뭐 해야 할까요?',
assistant: '카톡 닉네임 변경해 주시고 방 하트 인증해 주시면 됩니다!',
},
],
"help-where": [
'help-how': [
{
user: "하트 어디서 바꿔요?",
user: '하트 인증은 어떻게 해요?',
assistant:
'채팅방 오른쪽 상단 메뉴 버튼에서 "커버 보기"로 들어가 하트를 클릭하시고, 편집 없이 원본 스크린샷을 올려주시면 돼요.',
},
{
user: '본인인증 방은 뭐에요?',
assistant:
'본인 계정을 사용하고 계신지 확인하는 절차가 있어요! 본인인증방은 담당 운영진이 확인 작업을 도와드리는 별도의 채팅방이에요.',
},
{
user: '닉네임 형식 예시 알려줘',
assistant:
'닉네임은 이름/출생 연도 두 자리/성별/티어 형식이에요. 예를 들면 면정학/89/남/D처럼 쓰시면 돼요.',
},
],
'help-where': [
{
user: '하트 어디서 바꿔요?',
assistant:
'채팅방 오른쪽 상단 메뉴 버튼을 누르면 "커버 보기"가 보여요. 거기서 프로필과 하트를 확인하실 수 있어요.',
},
],
"nickname-question": [
'nickname-question': [
{
user: "닉네임이 왜 안 돼요?",
assistant:
"티어는 한 글자 코드로 넣어야 해요. 예를 들면 D처럼 바꿔주시면 돼요.",
user: '닉네임이 왜 안 돼요?',
assistant: '티어는 한 글자 코드로 넣어야 해요. 예를 들면 D처럼 바꿔주시면 돼요.',
},
{
user: "닉네임 형식이 뭐예요?",
assistant:
"닉네임은 이름/출생 연도 두 자리/성별/티어 형식으로 입력해 주시면 돼요.",
user: '닉네임 형식이 뭐예요?',
assistant: '닉네임은 이름/출생 연도 두 자리/성별/티어 형식으로 입력해 주시면 돼요.',
},
],
"photo-question": [
'photo-question': [
{
user: "하트 인증이 뭐예요?",
user: '하트 인증이 뭐예요?',
assistant:
"채팅방 프로필에서 하트를 빨간색으로 바꾼 뒤, 그 화면이 보이게 원본 스크린샷을 보내주시면 돼요.",
'채팅방 프로필에서 하트를 빨간색으로 바꾼 뒤, 그 화면이 보이게 원본 스크린샷을 보내주시면 돼요.',
},
],
"discord-question": [
'discord-question': [
{
user: "디스코드는 언제 들어가요?",
user: '디스코드는 언제 들어가요?',
assistant:
"카카오톡 닉네임 변경과 하트 인증을 완료하셨다면, 이제 디스코드 방 입장과 프로필 설정을 진행하시면 돼요.",
'카카오톡 닉네임 변경과 하트 인증을 완료하셨다면, 이제 카카오톡 본인인증방/구인방 입장과 디스코드 서버 프로필 설정을 진행하시면 돼요.',
},
],
"discord-verify-question": [
'discord-verify-question': [
{
user: "디코 닉변 확인해줘",
assistant:
"아직 디스코드 닉네임 변경은 확인되지 않았어요.",
user: '디코 닉변 확인해줘',
assistant: '아직 디스코드 닉네임 변경은 확인되지 않았어요.',
},
{
user: "디스코드 프로필 닉네임 설정 완료했어요",
user: '디스코드 프로필 닉네임 설정 완료했어요',
assistant:
"디스코드 닉네임을 확인해봤는데 아직 올바른 형식으로 확인되지는 않았어요.",
'디스코드 닉네임을 확인해봤는데 아직 올바른 형식으로 확인되지는 않았어요. 디스코드 서버 닉네임은 이름#태그/출생 연도/티어 형식이에요. 예: 할리#프렌치불독/88/D',
},
{
user: '디스코드 닉네임 바꿨어요',
assistant:
'디스코드 닉네임이 아직 이름#태그/출생 연도/티어 형식으로 확인되지 않아요. 예: 할리#프렌치불독/88/D처럼 태그를 포함해서 설정해 주세요.',
},
],
"age-question": [
'age-question': [
{
user: "나이 제한 있나요?",
assistant: "롤림푸스는 27세 이상만 가입이 가능해요.",
user: '나이 제한 있나요?',
assistant: '롤림푸스는 27세 이상만 가입이 가능해요.',
},
],
chitchat: [
{
user: "오늘 날씨 좋네요",
assistant: "[NO_RESPONSE]",
user: '오늘 날씨 좋네요',
assistant: '[NO_RESPONSE]',
},
],
"off-topic-to-other": [
'off-topic-to-other': [
{
user: "@프리리 이거 확인해줘",
assistant: "[NO_RESPONSE]",
user: '@프리리 이거 확인해줘',
assistant: '[NO_RESPONSE]',
},
],
unknown: [
{
user: "가입은 어떻게 하나요?",
assistant:
"톡 게시글의 공지를 참고하셔서 닉네임 변경과 하트 인증을 진행해 주세요!",
user: '가입은 어떻게 하나요?',
assistant: '톡 게시글의 공지를 참고하셔서 닉네임 변경과 하트 인증을 진행해 주세요!',
},
],
};
+99 -98
View File
@@ -1,46 +1,42 @@
import type { ConversationMessage } from "@agent/types";
import type { RoomMessage } from "@room/types";
import type { DerivedState, Intent } from "../state/onboarding-state.js";
import type {
Blackboard,
Example,
OnboardingSession,
PromptContext,
} from "../types.js";
import type { ConversationMessage } from '@agent/types';
import type { RoomMessage } from '@room/types';
import type { DerivedState, Intent } from '../state/onboarding-state.js';
import type { Blackboard, Example, OnboardingSession, PromptContext } from '../types.js';
import {
HEART_RULE_TEXT,
MIN_AGE,
NICKNAME_FORMAT_EXAMPLE,
KAKAOTALK_NICKNAME_FORMAT_EXAMPLE,
DISCORD_NICKNAME_FORMAT_EXAMPLE,
TIER_CODES_TEXT,
} from "../constants.js";
} from '../constants.js';
import {
formatRemainingSteps,
getRemainingSteps,
hasExtendedOnboardingTracking,
isStep1Completed,
} from "../state/progress.js";
import { EXAMPLES_BY_INTENT } from "./examples.js";
} from '../state/progress.js';
import { EXAMPLES_BY_INTENT } from './examples.js';
function formatKstTimestamp(value: string | undefined): string {
if (!value) {
return "없음";
return '없음';
}
const timestamp = Date.parse(value);
if (!Number.isFinite(timestamp)) {
return "없음";
return '없음';
}
return new Intl.DateTimeFormat("ko-KR", {
dateStyle: "short",
timeStyle: "short",
timeZone: "Asia/Seoul",
return new Intl.DateTimeFormat('ko-KR', {
dateStyle: 'short',
timeStyle: 'short',
timeZone: 'Asia/Seoul',
}).format(new Date(timestamp));
}
function formatNicknameStatus(session: OnboardingSession | null): string {
if (!session) {
return "미완료";
return '미완료';
}
return session.nicknameVerified
@@ -50,59 +46,55 @@ function formatNicknameStatus(session: OnboardingSession | null): string {
function formatPhotoStatus(session: OnboardingSession | null): string {
if (!session) {
return "미완료";
return '미완료';
}
return session.photoVerified ? "완료" : "미완료";
return session.photoVerified ? '완료' : '미완료';
}
function formatOptionalVerificationStatus(value: boolean | undefined): string {
if (value === undefined) {
return "추적 안 함";
return '추적 안 함';
}
return value ? "완료" : "미완료";
return value ? '완료' : '미완료';
}
function formatHistory(history: ConversationMessage[]): string {
if (history.length === 0) {
return "(최근 대화 없음)";
return '(최근 대화 없음)';
}
return history.map((message) => `${message.role}: ${message.content}`).join("\n");
return history.map((message) => `${message.role}: ${message.content}`).join('\n');
}
function formatRoomMessages(roomContext?: RoomMessage[]): string {
if (!roomContext || roomContext.length === 0) {
return "(방 분위기 정보 없음)";
return '(방 분위기 정보 없음)';
}
return roomContext
.slice(-5)
.map((message) => `${message.nickname}: ${message.message}`)
.join("\n");
.join('\n');
}
function formatBlackboard(blackboard: Blackboard): string {
const openQuestions =
blackboard.openQuestions.length > 0
? blackboard.openQuestions.join(", ")
: "(없음)";
blackboard.openQuestions.length > 0 ? blackboard.openQuestions.join(', ') : '(없음)';
const flaggedIssues =
blackboard.flaggedIssues.length > 0
? blackboard.flaggedIssues.join(", ")
: "(없음)";
blackboard.flaggedIssues.length > 0 ? blackboard.flaggedIssues.join(', ') : '(없음)';
const nicknameAttempts =
blackboard.recentNicknameAttempts.length > 0
? blackboard.recentNicknameAttempts.join(", ")
: "(없음)";
? blackboard.recentNicknameAttempts.join(', ')
: '(없음)';
return [
`- lastIntent: ${blackboard.lastIntent ?? "(없음)"}`,
`- lastIntent: ${blackboard.lastIntent ?? '(없음)'}`,
`- openQuestions: ${openQuestions}`,
`- flaggedIssues: ${flaggedIssues}`,
`- recentNicknameAttempts: ${nicknameAttempts}`,
].join("\n");
].join('\n');
}
function formatExample(example: Example): string {
@@ -113,66 +105,80 @@ export function personaLayer(): string {
return `너는 롤림푸스(lolympus) 카카오톡 오픈채팅에서 새내기 등록을 도와주는 친절한 선배야.
처음 온 멤버가 편안하게 등록을 마칠 수 있도록 자연스럽고 정확하게 안내해줘.
[커뮤니티 규칙]
[롤림푸스 규칙]
- 가입 가능 연령은 ${MIN_AGE}세 이상이야.
- 새내기 등록 1단계는 카카오톡 닉네임 변경과 방 하트 인증이야.
- 1단계 완료 후에는 디스코드 본인인증방/구인방 입장과 서버 프로필 설정이 남아 있을 수 있어.
- 닉네임 형식은 이름/출생 연도 두 자리/성별/티어야. 예: ${NICKNAME_FORMAT_EXAMPLE}
- 1단계 완료 후에는 카카오톡 본인인증방/구인방 입장과 디스코드 서버 프로필 설정, 디스코드 주민신청 채널 메시지 남기기가 남아 있을 수 있어.
- 카카오톡 닉네임 형식은 닉네임/출생 연도 두 자리/성별/티어야. 예: ${KAKAOTALK_NICKNAME_FORMAT_EXAMPLE}
- 디스코드 서버 닉네임 형식은 닉네임#태그/출생 연도 두 자리/티어야. 카카오톡 형식과 달리 성별은 빼고 태그(#)가 들어가. 예: ${DISCORD_NICKNAME_FORMAT_EXAMPLE}
- 디스코드 관련 질문(디코 닉변, 서버 프로필 등)에는 절대 카카오톡 형식(성별 포함)을 예시로 들지 마. 반드시 디스코드 형식만 안내해.
- 성별은 남 또는 여, 티어 코드는 ${TIER_CODES_TEXT} 중 하나야.
- 방 하트 인증은 ${HEART_RULE_TEXT}
- 세션에 디스코드 관련 미완료 항목이 있으면 전체 등록은 아직 완료가 아니야.
- 디스코드 안내는 카카오톡 1단계가 완료된 뒤에만 해줘.`;
}
export function policyLayer(
intent: Intent,
options?: { toolPolicy?: string | undefined },
): string {
export function policyLayer(intent: Intent, options?: { toolPolicy?: string | undefined }): string {
const lines = [
"[답변 원칙]",
"- 마지막 메시지에서 직접 물은 내용에만 정확히 답해.",
"- 사용자가 요청하지 않은 다음 단계, 방법, 위치, 예시는 먼저 붙이지 마.",
"- 마크다운 문법, 링크, URL은 쓰지 마.",
'[답변 원칙]',
'- 마지막 메시지에서 직접 물은 내용에만 정확히 답해.',
'- 사용자가 요청하지 않은 다음 단계, 방법, 위치, 예시는 먼저 붙이지 마.',
'- 마크다운 문법, 링크, URL은 쓰지 마.',
'- 온보딩과 무관한 잡담이거나 다른 사람에게 하는 말이면 "[NO_RESPONSE]"만 출력해.',
];
switch (intent.kind) {
case "greeting":
lines.push("- 짧은 인사만 1문장으로 답해.");
case 'greeting':
lines.push('- 짧은 인사만 1문장으로 답해.');
break;
case "acknowledgement":
lines.push("- 짧은 확인이나 마무리만 1문장으로 답해.");
case 'acknowledgement':
lines.push('- 짧은 확인이나 마무리만 1문장으로 답해.');
break;
case "status-question":
lines.push("- 현재 남은 절차나 완료 상태만 1문장으로 짧게 답해.");
lines.push("- 방법 설명, 위치 설명, 예시는 넣지 마.");
case 'status-question':
lines.push('- 완료된 것은 빼고 남은 절차만 간단하게 답해.');
lines.push('- 방법 설명, 위치 설명, 예시는 넣지 마.');
break;
case "help-where":
lines.push("- 위치나 경로만 답하고, 요청하지 않은 다음 단계는 붙이지 마.");
case 'help-where':
lines.push('- 위치나 경로만 답하고, 요청하지 않은 다음 단계는 붙이지 마.');
break;
case "help-how":
lines.push("- 사용자가 물은 한 가지 절차의 방법만 답해.");
case 'help-how':
lines.push(
'- 어떤 절차가 남아있는지 묻는 질문에는 완료된 건 말하지 말고 남은 절차만 짧게 말해.',
);
lines.push('- 사용자가 물은 한 가지 절차나 방의 의미/방법만 답해.');
lines.push(
'- 본인인증방이나 구인방이 무엇인지 묻는 질문에는 간단히 답하고, 본인인증방/구인방에 들어가서 어떻게 해야 하는지 묻는 경우 공지사항/안내메시지를 참조하라고 답해..',
);
break;
case "nickname-question":
lines.push("- 닉네임 형식 또는 오류 원인만 답하고 다른 절차는 언급하지 마.");
case 'nickname-question':
lines.push('- 닉네임 형식 또는 오류 원인만 답하고 다른 절차는 언급하지 마.');
break;
case "photo-question":
lines.push("- 하트 인증에 대해서만 답하고 다른 절차는 언급하지 마.");
case 'photo-question':
lines.push('- 하트 인증에 대해서만 답하고 다른 절차는 언급하지 마.');
break;
case "discord-question":
lines.push("- 디스코드 질문에만 답해. 카카오톡 1단계 전이라면 먼저 닉네임 변경과 하트 인증이 필요하다고 알려줘.");
case 'discord-question':
lines.push(
'- 디스코드 질문에만 답해. 카카오톡 1단계 전이라면 먼저 닉네임 변경과 하트 인증이 필요하다고 알려줘.',
);
lines.push(
'- 주민신청 채널이나 서버 프로필처럼 디스코드 공간/설정을 묻는 질문에는 용도와 역할을 자연스럽게 설명해.',
);
break;
case "discord-verify-question":
lines.push("- 디스코드 닉네임 확인 결과만 답해.");
lines.push("- 확인되지 않았으면 확인되지 않았다고만 답하고, 추측해서 단정하지 마.");
lines.push("- 카카오톡 닉네임 형식이 틀리면 예시를 1개만 들고 형식에 맞게 변경해 달라고 안내해.");
lines.push("- 사용자가 묻지 않은 디스코드 절차나 다음 단계는 먼저 붙이지 마.");
case 'discord-verify-question':
lines.push('- 확인되지 않았으면 확인되지 않았다고만 답하고, 추측해서 단정하지 마.');
lines.push(
`- 디스코드 닉네임 형식은 카카오톡과 달라. 반드시 이름#태그/출생 연도 두 자리/티어 형식(성별 없음, 태그 포함)으로 안내하고, 카카오톡 형식(이름/연도/성별/티어)을 절대 제시하지 마. 예시는 ${DISCORD_NICKNAME_FORMAT_EXAMPLE} 하나만 사용해.`,
);
lines.push(
'- 디스코드 닉네임이 규칙에 맞지 않으면 위 형식과 예시를 1개만 들고 형식에 맞게 변경해 달라고 안내해.',
);
lines.push('- 사용자가 묻지 않은 디스코드 절차나 다음 단계는 먼저 붙이지 마.');
break;
case "age-question":
lines.push("- 나이 제한만 간단히 답해.");
case 'age-question':
lines.push('- 나이 제한만 간단히 답해.');
break;
default:
lines.push("- 질문 범위를 넘어서 먼저 설명하지 마.");
lines.push('- 질문 범위를 넘어서 먼저 설명하지 마.');
break;
}
@@ -180,52 +186,47 @@ export function policyLayer(
lines.push(options.toolPolicy);
}
return lines.join("\n");
return lines.join('\n');
}
export function stateLayer(
session: OnboardingSession | null,
derived: DerivedState,
): string {
export function stateLayer(session: OnboardingSession | null, derived: DerivedState): string {
const remaining = getRemainingSteps(session);
return [
"[현재 유저 상태]",
'[현재 유저 상태]',
`- phase: ${derived.phase.kind}`,
`- step1(카카오톡): ${session ? (isStep1Completed(session) ? "완료" : "미완료") : "미완료"}`,
`- step1(카카오톡): ${session ? (isStep1Completed(session) ? '완료' : '미완료') : '미완료'}`,
`- 카카오톡 닉네임: ${formatNicknameStatus(session)}`,
`- 방 하트 인증: ${formatPhotoStatus(session)}`,
`- 디스코드 본인인증방 입장: ${formatOptionalVerificationStatus(session?.identityRoomJoined)}`,
`- 디스코드 구인방 입장: ${formatOptionalVerificationStatus(session?.recruitingRoomJoined)}`,
`- 카카오톡 본인인증방 입장: ${formatOptionalVerificationStatus(session?.identityRoomJoined)}`,
`- 카카오톡 구인방 입장: ${formatOptionalVerificationStatus(session?.recruitingRoomJoined)}`,
`- 디스코드 프로필 닉네임: ${formatOptionalVerificationStatus(session?.discordProfileNicknameVerified)}`,
`- 디스코드 프로필 메시지: ${formatOptionalVerificationStatus(session?.discordProfileMessageVerified)}`,
`- extendedTracking: ${hasExtendedOnboardingTracking(session) ? "on" : "off"}`,
`- remaining: ${remaining.length > 0 ? formatRemainingSteps(remaining) : "없음"}`,
`- extendedTracking: ${hasExtendedOnboardingTracking(session) ? 'on' : 'off'}`,
`- remaining: ${remaining.length > 0 ? formatRemainingSteps(remaining) : '없음'}`,
`- deadline(KST): ${formatKstTimestamp(session?.deadlineAt)}`,
].join("\n");
].join('\n');
}
export function examplesLayer(intent: Intent, count = 3): string {
const examples = EXAMPLES_BY_INTENT[intent.kind].slice(0, count);
const rendered = examples.length > 0
? examples.map(formatExample).join("\n\n")
: "(예시 없음)";
const rendered = examples.length > 0 ? examples.map(formatExample).join('\n\n') : '(예시 없음)';
return `[응답 예시]\n${rendered}`;
}
export function contextLayer(context: PromptContext): string {
return [
"[최근 요약]",
context.summary ?? "(요약 없음)",
"",
"[최근 대화]",
'[최근 요약]',
context.summary ?? '(요약 없음)',
'',
'[최근 대화]',
formatHistory(context.conversationHistory),
"",
"[방 분위기]",
'',
'[방 분위기]',
formatRoomMessages(context.roomContext),
"",
"[메모]",
'',
'[메모]',
formatBlackboard(context.blackboard),
].join("\n");
].join('\n');
}