Tune LLM routing and prompts

This commit is contained in:
dahyeon committed 2026-04-21 15:24:21 -07:00
1 parent 9c013f7d4f
commit 60f33b8f4b
19 files changed
+736 -803

No files matched your search

+12 -27
View File
@@ -1,28 +1,18 @@
export const VALID_TIERS = [
"GM",
"I",
"B",
"S",
"G",
"P",
"E",
"D",
"M",
"C",
"U",
] as const;
export const VALID_TIERS = ['GM', 'I', 'B', 'S', 'G', 'P', 'E', 'D', 'M', 'C', 'U'] as const;
export const VALID_TIER_SET = new Set<string>(VALID_TIERS);
export const VALID_GENDERS = ["남", "여"] as const;
export const VALID_GENDERS = ['남', '여'] as const;
export const VALID_GENDER_SET = new Set<string>(VALID_GENDERS);
export const MIN_AGE = 27;
export const MAX_AGE: number | null = null;
export const NICKNAME_FORMAT_EXAMPLE = "홍길동/95/남/G" as const;
export const TIER_CODES_TEXT = VALID_TIERS.join(", ");
export const KAKAOTALK_NICKNAME_FORMAT_EXAMPLE = '면정학/89/남/D' as const;
export const DISCORD_NICKNAME_FORMAT_EXAMPLE = '할리#프렌치불독/88/D' as const;
export const TIER_CODES_TEXT = VALID_TIERS.join(', ');
export const NICKNAME_FORMAT_TEXT =
`닉네임은 이름/출생 연도 두 자리/성별/티어 형식이에요. 예를 들면 ${NICKNAME_FORMAT_EXAMPLE}처럼 쓰시면 돼요.`;
export const NICKNAME_FORMAT_TEXT = `카카오톡 닉네임은 이름/출생 연도 두 자리/성별/티어 형식이에요. 예를 들면 ${KAKAOTALK_NICKNAME_FORMAT_EXAMPLE}처럼 쓰시면 돼요.`;
export const DISCORD_NICKNAME_FORMAT_TEXT = `디스코드 서버 닉네임은 이름#태그/출생 연도 두 자리/티어 형식이에요. 카카오톡 형식과 달리 성별은 빼고 태그(#)가 들어가요. 예를 들면 ${DISCORD_NICKNAME_FORMAT_EXAMPLE}처럼 쓰시면 돼요.`;
export const HEART_RULE_TEXT =
'채팅방 오른쪽 상단 메뉴 버튼에서 "커버 보기"로 들어가 하트를 빨간색으로 바꾼 뒤, 편집 없이 원본 스크린샷을 올려주시면 돼요.';
@@ -31,15 +21,10 @@ export const HEART_LOCATION_TEXT =
'채팅방 오른쪽 상단 메뉴 버튼을 누르면 "커버 보기"가 보여요. 거기서 프로필과 하트를 확인하실 수 있어요.';
export const DISCORD_GUIDE_TEXT =
"카카오톡 닉네임 변경과 방 하트 인증을 마치신 뒤, 디스코드 본인인증방과 구인방에 입장하고 서버 프로필 닉네임과 프로필 메시지를 설정하시면 권한이 자동으로 부여돼요.";
'카카오톡 닉네임 변경과 방 하트 인증을 마치신 뒤, 카카오톡 본인인증방과 구인방에 입장하고 디스코드 서버 프로필 닉네임과 프로필 메시지를 설정하시면 권한이 자동으로 부여돼요.';
export const DISCORD_INVITE_URL =
process.env["DISCORD_INVITE_URL"]?.trim() || "";
export const DISCORD_INVITE_URL = process.env['DISCORD_INVITE_URL']?.trim() || '';
export const DEADLINE_NEAR_THRESHOLD_MIN = Number(
process.env["DEADLINE_NEAR_THRESHOLD_MIN"] ?? 30,
);
export const DEADLINE_NEAR_THRESHOLD_MIN = Number(process.env['DEADLINE_NEAR_THRESHOLD_MIN'] ?? 30);
export const ESCALATION_BUDGET_PER_TURN = Number(
process.env["ESCALATION_BUDGET_PER_TURN"] ?? 2,
);
export const ESCALATION_BUDGET_PER_TURN = Number(process.env['ESCALATION_BUDGET_PER_TURN'] ?? 2);
+46 -59
View File
@@ -1,4 +1,4 @@
import type { NicknameIssue, OnboardingSession } from "./types.js";
import type { NicknameIssue, OnboardingSession } from './types.js';
import {
formatRemainingSteps,
getRemainingSteps,
@@ -6,33 +6,33 @@ import {
isDiscordGuidanceUnlocked,
isOnboardingCompleted,
isStep1Completed,
} from "./state/progress.js";
} from './state/progress.js';
import {
HEART_LOCATION_TEXT,
HEART_RULE_TEXT,
MIN_AGE,
NICKNAME_FORMAT_EXAMPLE,
KAKAOTALK_NICKNAME_FORMAT_EXAMPLE,
NICKNAME_FORMAT_TEXT,
TIER_CODES_TEXT,
VALID_GENDER_SET,
VALID_TIER_SET,
} from "./constants.js";
} from './constants.js';
function pickRandom(items: [string, ...string[]]): string {
return items[Math.floor(Math.random() * items.length)] ?? items[0];
}
export function analyzeNicknameIssues(nickname: string): NicknameIssue[] {
const parts = nickname.trim().split("/");
const parts = nickname.trim().split('/');
const issues: NicknameIssue[] = [];
if (parts.length === 3) {
const [, age, third] = parts;
if (age && !/^\d{2}$/u.test(age)) {
issues.push({
kind: "invalid-age",
message: "나이를 두 자리 숫자로 입력해주세요 (예: 25)",
suggestion: "95",
kind: 'invalid-age',
message: '나이를 두 자리 숫자로 입력해주세요 (예: 25)',
suggestion: '95',
});
}
if (third) {
@@ -40,32 +40,32 @@ export function analyzeNicknameIssues(nickname: string): NicknameIssue[] {
const rest = third.slice(1);
if (hasGender && rest.length > 0 && !VALID_TIER_SET.has(rest)) {
issues.push({
kind: "unknown-tier",
kind: 'unknown-tier',
message: `성별 뒤의 '${rest}'를 제거하고, 티어 코드를 '/'로 구분해서 추가해주세요 (예: ${third.charAt(0)}/D)`,
suggestion: `${third.charAt(0)}/D`,
});
} else if (hasGender && rest.length > 0) {
issues.push({
kind: "wrong-separator",
kind: 'wrong-separator',
message: `성별과 티어 코드는 '/'로 구분해서 입력해주세요 (예: ${third.charAt(0)}/${rest})`,
suggestion: `${third.charAt(0)}/${rest}`,
});
} else if (!hasGender) {
issues.push({
kind: "missing-gender",
kind: 'missing-gender',
message: "성별(남/여)과 티어 코드를 '/'로 구분해서 입력해주세요",
});
} else {
issues.push({
kind: "missing-tier",
kind: 'missing-tier',
message: `티어 코드를 '/'로 구분해서 추가해주세요 (예: ${third}/D)`,
suggestion: `${third}/D`,
});
}
} else {
issues.push({
kind: "other",
message: "성별과 티어 코드가 누락되었어요",
kind: 'other',
message: '성별과 티어 코드가 누락되었어요',
});
}
return issues;
@@ -73,7 +73,7 @@ export function analyzeNicknameIssues(nickname: string): NicknameIssue[] {
if (parts.length !== 4) {
issues.push({
kind: "wrong-separator",
kind: 'wrong-separator',
message: `'/'로 구분된 4개 항목(이름/나이/성별/티어)이 필요해요. 현재 ${parts.length}개입니다.`,
});
return issues;
@@ -83,22 +83,22 @@ export function analyzeNicknameIssues(nickname: string): NicknameIssue[] {
if (!age || !/^\d{2}$/u.test(age)) {
issues.push({
kind: "invalid-age",
message: "나이를 두 자리 숫자로 입력해주세요 (예: 25)",
suggestion: "95",
kind: 'invalid-age',
message: '나이를 두 자리 숫자로 입력해주세요 (예: 25)',
suggestion: '95',
});
}
if (!gender || !VALID_GENDER_SET.has(gender)) {
issues.push({
kind: "missing-gender",
kind: 'missing-gender',
message: "성별을 '남' 또는 '여'로 입력해주세요",
});
}
if (!tier || !VALID_TIER_SET.has(tier)) {
issues.push({
kind: "unknown-tier",
kind: 'unknown-tier',
message: `티어 코드(${TIER_CODES_TEXT} 중 하나)를 입력해주세요`,
});
}
@@ -111,33 +111,33 @@ export function getWelcomeMessage(nickname: string): string {
`${nickname}님 환영합니다! 새내기 등록 1단계는 카카오톡 닉네임 변경과 하트 인증이에요.\n\n` +
`1. 닉네임 변경: 이름/나이/성별/티어 형식 (예: 홍길동/25/남/G)\n` +
`2. 하트 인증: 채팅방 프로필 하트를 빨간색으로 만들고 원본 스크린샷 전송\n` +
`3. 1단계 완료 후 디스코드 단계가 이어질 수 있어요.\n\n` +
`3. 1단계 완료 후 카카오톡 본인인증방/구인방 입장과 디스코드 프로필 설정이 이어질 수 있어요.\n\n` +
`궁금한 점 있으시면 편하게 물어봐 주세요!`,
`${nickname}님 반갑습니다! 톡 게시글의 공지를 참고하셔서 먼저 카카오톡 닉네임 변경과 하트 인증을 진행해 주세요.\n\n` +
`닉네임: 이름/나이/성별/티어 형식으로 변경 (예: 홍길동/25/남/G)\n` +
`하트 인증: 프로필 하트 빨간색 상태 원본 스크린샷 전송\n` +
`이후에는 디스코드 단계가 이어질 수 있어요.\n\n` +
`이후에는 카카오톡 추가 방 입장과 디스코드 프로필 설정이 이어질 수 있어요.\n\n` +
`어떤 것부터 시작하시겠어요?`,
`${nickname}님 롤림푸스에 오신 걸 환영해요! 등록 절차를 안내해 드릴게요.\n\n` +
`닉네임을 이름/나이/성별/티어 형식(예: 홍길동/25/남/G)으로 바꿔주시고, ` +
`채팅방 프로필 하트를 빨간색으로 만든 원본 스크린샷을 보내주시면 됩니다. ` +
`카카오톡 1단계가 끝나면 디스코드 단계가 이어질 수 있어요.`,
`카카오톡 1단계가 끝나면 카카오톡 추가 방 입장과 디스코드 프로필 설정이 이어질 수 있어요.`,
]);
}
export function getGreetingMessage(): string {
return pickRandom([
"환영합니다! 반갑습니다.",
"반갑습니다! 어서 오세요.",
"환영해요! 반갑습니다.",
'환영합니다! 반갑습니다.',
'반갑습니다! 어서 오세요.',
'환영해요! 반갑습니다.',
]);
}
export function getAcknowledgementMessage(): string {
return pickRandom([
"네, 편하게 진행해 보시면 돼요.",
"좋아요! 천천히 진행해 주세요.",
"네, 그렇게 해주시면 돼요.",
'네, 편하게 진행해 보시면 돼요.',
'좋아요! 천천히 진행해 주세요.',
'네, 그렇게 해주시면 돼요.',
]);
}
@@ -159,20 +159,20 @@ export function getNicknameInvalidMessage(
`@${nickname}님 닉네임을 조금만 수정해 주세요!`,
]);
return `${prefix}\n${issues.map((issue) => issue.message).join("\n")}`;
return `${prefix}\n${issues.map((issue) => issue.message).join('\n')}`;
}
export function getNicknameFormatMessage(): string {
return pickRandom([
NICKNAME_FORMAT_TEXT,
`닉네임은 이름/출생 연도 두 자리/성별/티어 형식으로 입력해 주시면 돼요! 예: ${NICKNAME_FORMAT_EXAMPLE}`,
`닉네임은 이름/출생 연도 두 자리/성별/티어 형식으로 입력해 주시면 돼요! 예: ${KAKAOTALK_NICKNAME_FORMAT_EXAMPLE}`,
]);
}
export function getHeartGuideMessage(): string {
return pickRandom([
HEART_RULE_TEXT,
"채팅방 프로필에서 하트를 눌러 빨간색으로 만든 다음, 그 화면이 보이게 원본 스크린샷을 보내주시면 인증돼요.",
'채팅방 프로필에서 하트를 눌러 빨간색으로 만든 다음, 그 화면이 보이게 원본 스크린샷을 보내주시면 인증돼요.',
]);
}
@@ -199,24 +199,19 @@ export function getPhotoFailedMessage(nickname: string): string {
]);
}
export function getProgressMessage(
nickname: string,
session: OnboardingSession,
): string {
const nicknameIcon = session.nicknameVerified ? "v" : "x";
const photoIcon = session.photoVerified ? "v" : "x";
const discordNicknameIcon =
session.discordProfileNicknameVerified === true ? "v" : "x";
const discordMessageIcon =
session.discordProfileMessageVerified === true ? "v" : "x";
export function getProgressMessage(nickname: string, session: OnboardingSession): string {
const nicknameIcon = session.nicknameVerified ? 'v' : 'x';
const photoIcon = session.photoVerified ? 'v' : 'x';
const discordNicknameIcon = session.discordProfileNicknameVerified === true ? 'v' : 'x';
const discordMessageIcon = session.discordProfileMessageVerified === true ? 'v' : 'x';
const remaining = getRemainingSteps(session);
const remainingText =
remaining.length > 0
? `\n\n이제 ${formatRemainingSteps(remaining)}만 남아 있어요.`
: "\n\n이제 새내기 등록 절차는 모두 완료됐어요.";
: '\n\n이제 새내기 등록 절차는 모두 완료됐어요.';
const extendedStatus = hasExtendedOnboardingTracking(session)
? ` | 디스코드 닉네임 [${discordNicknameIcon}] | 디스코드 메시지 [${discordMessageIcon}]`
: "";
: '';
return (
`${nickname}님 현재 진행상황: 카카오톡 닉네임 [${nicknameIcon}] | 방 하트 인증 [${photoIcon}]${extendedStatus}` +
@@ -238,10 +233,7 @@ export function getCompletedMessage(nickname: string): string {
]);
}
export function getGenericHelpMessage(
nickname: string,
session: OnboardingSession | null,
): string {
export function getGenericHelpMessage(nickname: string, session: OnboardingSession | null): string {
if (!session || !isStep1Completed(session)) {
return pickRandom([
`톡 게시글의 공지를 참고하셔서 먼저 카카오톡 닉네임 변경과 하트 인증을 진행해 주세요!`,
@@ -272,26 +264,21 @@ export function getGenericHelpMessage(
)}만 진행하시면 돼요!`;
}
export function getRemainingStatusMessage(
session: OnboardingSession | null,
): string {
export function getRemainingStatusMessage(session: OnboardingSession | null): string {
const remaining = getRemainingSteps(session);
if (remaining.length === 0) {
return "이제 새내기 등록 절차는 모두 완료됐어요.";
return '이제 새내기 등록 절차는 모두 완료됐어요.';
}
return `이제 ${formatRemainingSteps(remaining)}만 남아 있어요.`;
}
export function getDiscordMessage(
nickname: string,
session: OnboardingSession | null,
): string {
export function getDiscordMessage(nickname: string, session: OnboardingSession | null): string {
if (!isDiscordGuidanceUnlocked(session)) {
return pickRandom([
`${nickname}님 카카오톡 닉네임 변경과 하트 인증을 먼저 완료해 주셔야 디스코드 안내를 드릴 수 있어요!`,
`${nickname}님 디스코드 단계는 카카오톡 닉네임 변경과 하트 인증을 모두 완료하신 뒤에 안내드릴게요!`,
`${nickname}님 디스코드 관련 안내는 카카오톡 닉네임 변경과 하트 인증을 모두 완료하신 뒤에 도와드릴게요!`,
]);
}
@@ -300,14 +287,14 @@ export function getDiscordMessage(
`${nickname}님 카카오톡 절차는 완료됐어요! 이제 ${formatRemainingSteps(
getRemainingSteps(session),
)}만 진행하시면 돼요.`,
`${nickname}님 이제 디스코드 단계만 남았어요. ${formatRemainingSteps(
`${nickname}님 이제 추가 절차만 남았어요. ${formatRemainingSteps(
getRemainingSteps(session),
)}을 확인해 주세요.`,
]);
}
return pickRandom([
`${nickname}님 디스코드 단계까지 모두 완료되셨어요! 권한이 자동으로 부여될 거예요.`,
`${nickname}님 카카오톡 방 입장과 디스코드 설정까지 모두 완료되셨어요! 권한이 자동으로 부여될 거예요.`,
`${nickname}님 모든 새내기 등록 절차가 끝났어요! 디스코드 권한 반영만 잠시 기다려 주세요.`,
]);
}
+66 -59
View File
@@ -1,117 +1,124 @@
import type { Intent } from "../state/onboarding-state.js";
import type { Example } from "../types.js";
import type { Intent } from '../state/onboarding-state.js';
import type { Example } from '../types.js';
export const EXAMPLES_BY_INTENT: Record<Intent["kind"], Example[]> = {
export const EXAMPLES_BY_INTENT: Record<Intent['kind'], Example[]> = {
greeting: [
{
user: "안녕하세요!",
assistant: "환영합니다! 반갑습니다.",
user: '안녕하세요!',
assistant: '어서오세요!',
},
{
user: "반갑습니다",
assistant: "반갑습니다! 어서 오세요.",
user: '반갑습니다',
assistant: '안녕하세요~',
},
],
acknowledgement: [
{
user: "넵 확인했어요",
assistant: "네, 편하게 진행해 보시면 돼요.",
user: '넵 확인했어요',
assistant: '네, 편하게 진행해 보시면 돼요.',
},
{
user: "감사합니다",
assistant: "좋아요! 천천히 진행해 주세요.",
user: '감사합니다',
assistant: '좋아요! 천천히 진행해 주세요.',
},
],
"status-question": [
'status-question': [
{
user: "이제 뭐 남았지?",
assistant: "이제 디스코드 프로필 닉네임 설정과 프로필 메시지 설정만 남아 있어요.",
},
{
user: "진행상황 알려줘",
assistant: "아직 닉네임 변경과 방 하트 인증 두 가지가 남아 있어요.",
},
],
"help-how": [
{
user: "하트 인증은 어떻게 해요?",
user: '이제 뭐 남았지?',
assistant:
'채팅방 오른쪽 상단 메뉴 버튼에서 "커버 보기"로 들어가 하트를 빨간색으로 바꾼 뒤, 편집 없이 원본 스크린샷을 올려주시면 돼요.',
'이제 디스코드 서버 프로필 닉네임 변경하시고 주민신청 채널에 메시지만 남겨주시면 돼요!',
},
{
user: "닉네임 형식 예시 알려줘",
assistant:
"닉네임은 이름/출생 연도 두 자리/성별/티어 형식이에요. 예를 들면 홍길동/95/여/D처럼 쓰시면 돼요.",
user: '이제 뭐 해야 할까요?',
assistant: '카톡 닉네임 변경해 주시고 방 하트 인증해 주시면 됩니다!',
},
],
"help-where": [
'help-how': [
{
user: "하트 어디서 바꿔요?",
user: '하트 인증은 어떻게 해요?',
assistant:
'채팅방 오른쪽 상단 메뉴 버튼에서 "커버 보기"로 들어가 하트를 클릭하시고, 편집 없이 원본 스크린샷을 올려주시면 돼요.',
},
{
user: '본인인증 방은 뭐에요?',
assistant:
'본인 계정을 사용하고 계신지 확인하는 절차가 있어요! 본인인증방은 담당 운영진이 확인 작업을 도와드리는 별도의 채팅방이에요.',
},
{
user: '닉네임 형식 예시 알려줘',
assistant:
'닉네임은 이름/출생 연도 두 자리/성별/티어 형식이에요. 예를 들면 면정학/89/남/D처럼 쓰시면 돼요.',
},
],
'help-where': [
{
user: '하트 어디서 바꿔요?',
assistant:
'채팅방 오른쪽 상단 메뉴 버튼을 누르면 "커버 보기"가 보여요. 거기서 프로필과 하트를 확인하실 수 있어요.',
},
],
"nickname-question": [
'nickname-question': [
{
user: "닉네임이 왜 안 돼요?",
assistant:
"티어는 한 글자 코드로 넣어야 해요. 예를 들면 D처럼 바꿔주시면 돼요.",
user: '닉네임이 왜 안 돼요?',
assistant: '티어는 한 글자 코드로 넣어야 해요. 예를 들면 D처럼 바꿔주시면 돼요.',
},
{
user: "닉네임 형식이 뭐예요?",
assistant:
"닉네임은 이름/출생 연도 두 자리/성별/티어 형식으로 입력해 주시면 돼요.",
user: '닉네임 형식이 뭐예요?',
assistant: '닉네임은 이름/출생 연도 두 자리/성별/티어 형식으로 입력해 주시면 돼요.',
},
],
"photo-question": [
'photo-question': [
{
user: "하트 인증이 뭐예요?",
user: '하트 인증이 뭐예요?',
assistant:
"채팅방 프로필에서 하트를 빨간색으로 바꾼 뒤, 그 화면이 보이게 원본 스크린샷을 보내주시면 돼요.",
'채팅방 프로필에서 하트를 빨간색으로 바꾼 뒤, 그 화면이 보이게 원본 스크린샷을 보내주시면 돼요.',
},
],
"discord-question": [
'discord-question': [
{
user: "디스코드는 언제 들어가요?",
user: '디스코드는 언제 들어가요?',
assistant:
"카카오톡 닉네임 변경과 하트 인증을 완료하셨다면, 이제 디스코드 방 입장과 프로필 설정을 진행하시면 돼요.",
'카카오톡 닉네임 변경과 하트 인증을 완료하셨다면, 이제 카카오톡 본인인증방/구인방 입장과 디스코드 서버 프로필 설정을 진행하시면 돼요.',
},
],
"discord-verify-question": [
'discord-verify-question': [
{
user: "디코 닉변 확인해줘",
assistant:
"아직 디스코드 닉네임 변경은 확인되지 않았어요.",
user: '디코 닉변 확인해줘',
assistant: '아직 디스코드 닉네임 변경은 확인되지 않았어요.',
},
{
user: "디스코드 프로필 닉네임 설정 완료했어요",
user: '디스코드 프로필 닉네임 설정 완료했어요',
assistant:
"디스코드 닉네임을 확인해봤는데 아직 올바른 형식으로 확인되지는 않았어요.",
'디스코드 닉네임을 확인해봤는데 아직 올바른 형식으로 확인되지는 않았어요. 디스코드 서버 닉네임은 이름#태그/출생 연도/티어 형식이에요. 예: 할리#프렌치불독/88/D',
},
{
user: '디스코드 닉네임 바꿨어요',
assistant:
'디스코드 닉네임이 아직 이름#태그/출생 연도/티어 형식으로 확인되지 않아요. 예: 할리#프렌치불독/88/D처럼 태그를 포함해서 설정해 주세요.',
},
],
"age-question": [
'age-question': [
{
user: "나이 제한 있나요?",
assistant: "롤림푸스는 27세 이상만 가입이 가능해요.",
user: '나이 제한 있나요?',
assistant: '롤림푸스는 27세 이상만 가입이 가능해요.',
},
],
chitchat: [
{
user: "오늘 날씨 좋네요",
assistant: "[NO_RESPONSE]",
user: '오늘 날씨 좋네요',
assistant: '[NO_RESPONSE]',
},
],
"off-topic-to-other": [
'off-topic-to-other': [
{
user: "@프리리 이거 확인해줘",
assistant: "[NO_RESPONSE]",
user: '@프리리 이거 확인해줘',
assistant: '[NO_RESPONSE]',
},
],
unknown: [
{
user: "가입은 어떻게 하나요?",
assistant:
"톡 게시글의 공지를 참고하셔서 닉네임 변경과 하트 인증을 진행해 주세요!",
user: '가입은 어떻게 하나요?',
assistant: '톡 게시글의 공지를 참고하셔서 닉네임 변경과 하트 인증을 진행해 주세요!',
},
],
};
+99 -98
View File
@@ -1,46 +1,42 @@
import type { ConversationMessage } from "@agent/types";
import type { RoomMessage } from "@room/types";
import type { DerivedState, Intent } from "../state/onboarding-state.js";
import type {
Blackboard,
Example,
OnboardingSession,
PromptContext,
} from "../types.js";
import type { ConversationMessage } from '@agent/types';
import type { RoomMessage } from '@room/types';
import type { DerivedState, Intent } from '../state/onboarding-state.js';
import type { Blackboard, Example, OnboardingSession, PromptContext } from '../types.js';
import {
HEART_RULE_TEXT,
MIN_AGE,
NICKNAME_FORMAT_EXAMPLE,
KAKAOTALK_NICKNAME_FORMAT_EXAMPLE,
DISCORD_NICKNAME_FORMAT_EXAMPLE,
TIER_CODES_TEXT,
} from "../constants.js";
} from '../constants.js';
import {
formatRemainingSteps,
getRemainingSteps,
hasExtendedOnboardingTracking,
isStep1Completed,
} from "../state/progress.js";
import { EXAMPLES_BY_INTENT } from "./examples.js";
} from '../state/progress.js';
import { EXAMPLES_BY_INTENT } from './examples.js';
function formatKstTimestamp(value: string | undefined): string {
if (!value) {
return "없음";
return '없음';
}
const timestamp = Date.parse(value);
if (!Number.isFinite(timestamp)) {
return "없음";
return '없음';
}
return new Intl.DateTimeFormat("ko-KR", {
dateStyle: "short",
timeStyle: "short",
timeZone: "Asia/Seoul",
return new Intl.DateTimeFormat('ko-KR', {
dateStyle: 'short',
timeStyle: 'short',
timeZone: 'Asia/Seoul',
}).format(new Date(timestamp));
}
function formatNicknameStatus(session: OnboardingSession | null): string {
if (!session) {
return "미완료";
return '미완료';
}
return session.nicknameVerified
@@ -50,59 +46,55 @@ function formatNicknameStatus(session: OnboardingSession | null): string {
function formatPhotoStatus(session: OnboardingSession | null): string {
if (!session) {
return "미완료";
return '미완료';
}
return session.photoVerified ? "완료" : "미완료";
return session.photoVerified ? '완료' : '미완료';
}
function formatOptionalVerificationStatus(value: boolean | undefined): string {
if (value === undefined) {
return "추적 안 함";
return '추적 안 함';
}
return value ? "완료" : "미완료";
return value ? '완료' : '미완료';
}
function formatHistory(history: ConversationMessage[]): string {
if (history.length === 0) {
return "(최근 대화 없음)";
return '(최근 대화 없음)';
}
return history.map((message) => `${message.role}: ${message.content}`).join("\n");
return history.map((message) => `${message.role}: ${message.content}`).join('\n');
}
function formatRoomMessages(roomContext?: RoomMessage[]): string {
if (!roomContext || roomContext.length === 0) {
return "(방 분위기 정보 없음)";
return '(방 분위기 정보 없음)';
}
return roomContext
.slice(-5)
.map((message) => `${message.nickname}: ${message.message}`)
.join("\n");
.join('\n');
}
function formatBlackboard(blackboard: Blackboard): string {
const openQuestions =
blackboard.openQuestions.length > 0
? blackboard.openQuestions.join(", ")
: "(없음)";
blackboard.openQuestions.length > 0 ? blackboard.openQuestions.join(', ') : '(없음)';
const flaggedIssues =
blackboard.flaggedIssues.length > 0
? blackboard.flaggedIssues.join(", ")
: "(없음)";
blackboard.flaggedIssues.length > 0 ? blackboard.flaggedIssues.join(', ') : '(없음)';
const nicknameAttempts =
blackboard.recentNicknameAttempts.length > 0
? blackboard.recentNicknameAttempts.join(", ")
: "(없음)";
? blackboard.recentNicknameAttempts.join(', ')
: '(없음)';
return [
`- lastIntent: ${blackboard.lastIntent ?? "(없음)"}`,
`- lastIntent: ${blackboard.lastIntent ?? '(없음)'}`,
`- openQuestions: ${openQuestions}`,
`- flaggedIssues: ${flaggedIssues}`,
`- recentNicknameAttempts: ${nicknameAttempts}`,
].join("\n");
].join('\n');
}
function formatExample(example: Example): string {
@@ -113,66 +105,80 @@ export function personaLayer(): string {
return `너는 롤림푸스(lolympus) 카카오톡 오픈채팅에서 새내기 등록을 도와주는 친절한 선배야.
처음 온 멤버가 편안하게 등록을 마칠 수 있도록 자연스럽고 정확하게 안내해줘.
[커뮤니티 규칙]
[롤림푸스 규칙]
- 가입 가능 연령은 ${MIN_AGE}세 이상이야.
- 새내기 등록 1단계는 카카오톡 닉네임 변경과 방 하트 인증이야.
- 1단계 완료 후에는 디스코드 본인인증방/구인방 입장과 서버 프로필 설정이 남아 있을 수 있어.
- 닉네임 형식은 이름/출생 연도 두 자리/성별/티어야. 예: ${NICKNAME_FORMAT_EXAMPLE}
- 1단계 완료 후에는 카카오톡 본인인증방/구인방 입장과 디스코드 서버 프로필 설정, 디스코드 주민신청 채널 메시지 남기기가 남아 있을 수 있어.
- 카카오톡 닉네임 형식은 닉네임/출생 연도 두 자리/성별/티어야. 예: ${KAKAOTALK_NICKNAME_FORMAT_EXAMPLE}
- 디스코드 서버 닉네임 형식은 닉네임#태그/출생 연도 두 자리/티어야. 카카오톡 형식과 달리 성별은 빼고 태그(#)가 들어가. 예: ${DISCORD_NICKNAME_FORMAT_EXAMPLE}
- 디스코드 관련 질문(디코 닉변, 서버 프로필 등)에는 절대 카카오톡 형식(성별 포함)을 예시로 들지 마. 반드시 디스코드 형식만 안내해.
- 성별은 남 또는 여, 티어 코드는 ${TIER_CODES_TEXT} 중 하나야.
- 방 하트 인증은 ${HEART_RULE_TEXT}
- 세션에 디스코드 관련 미완료 항목이 있으면 전체 등록은 아직 완료가 아니야.
- 디스코드 안내는 카카오톡 1단계가 완료된 뒤에만 해줘.`;
}
export function policyLayer(
intent: Intent,
options?: { toolPolicy?: string | undefined },
): string {
export function policyLayer(intent: Intent, options?: { toolPolicy?: string | undefined }): string {
const lines = [
"[답변 원칙]",
"- 마지막 메시지에서 직접 물은 내용에만 정확히 답해.",
"- 사용자가 요청하지 않은 다음 단계, 방법, 위치, 예시는 먼저 붙이지 마.",
"- 마크다운 문법, 링크, URL은 쓰지 마.",
'[답변 원칙]',
'- 마지막 메시지에서 직접 물은 내용에만 정확히 답해.',
'- 사용자가 요청하지 않은 다음 단계, 방법, 위치, 예시는 먼저 붙이지 마.',
'- 마크다운 문법, 링크, URL은 쓰지 마.',
'- 온보딩과 무관한 잡담이거나 다른 사람에게 하는 말이면 "[NO_RESPONSE]"만 출력해.',
];
switch (intent.kind) {
case "greeting":
lines.push("- 짧은 인사만 1문장으로 답해.");
case 'greeting':
lines.push('- 짧은 인사만 1문장으로 답해.');
break;
case "acknowledgement":
lines.push("- 짧은 확인이나 마무리만 1문장으로 답해.");
case 'acknowledgement':
lines.push('- 짧은 확인이나 마무리만 1문장으로 답해.');
break;
case "status-question":
lines.push("- 현재 남은 절차나 완료 상태만 1문장으로 짧게 답해.");
lines.push("- 방법 설명, 위치 설명, 예시는 넣지 마.");
case 'status-question':
lines.push('- 완료된 것은 빼고 남은 절차만 간단하게 답해.');
lines.push('- 방법 설명, 위치 설명, 예시는 넣지 마.');
break;
case "help-where":
lines.push("- 위치나 경로만 답하고, 요청하지 않은 다음 단계는 붙이지 마.");
case 'help-where':
lines.push('- 위치나 경로만 답하고, 요청하지 않은 다음 단계는 붙이지 마.');
break;
case "help-how":
lines.push("- 사용자가 물은 한 가지 절차의 방법만 답해.");
case 'help-how':
lines.push(
'- 어떤 절차가 남아있는지 묻는 질문에는 완료된 건 말하지 말고 남은 절차만 짧게 말해.',
);
lines.push('- 사용자가 물은 한 가지 절차나 방의 의미/방법만 답해.');
lines.push(
'- 본인인증방이나 구인방이 무엇인지 묻는 질문에는 간단히 답하고, 본인인증방/구인방에 들어가서 어떻게 해야 하는지 묻는 경우 공지사항/안내메시지를 참조하라고 답해..',
);
break;
case "nickname-question":
lines.push("- 닉네임 형식 또는 오류 원인만 답하고 다른 절차는 언급하지 마.");
case 'nickname-question':
lines.push('- 닉네임 형식 또는 오류 원인만 답하고 다른 절차는 언급하지 마.');
break;
case "photo-question":
lines.push("- 하트 인증에 대해서만 답하고 다른 절차는 언급하지 마.");
case 'photo-question':
lines.push('- 하트 인증에 대해서만 답하고 다른 절차는 언급하지 마.');
break;
case "discord-question":
lines.push("- 디스코드 질문에만 답해. 카카오톡 1단계 전이라면 먼저 닉네임 변경과 하트 인증이 필요하다고 알려줘.");
case 'discord-question':
lines.push(
'- 디스코드 질문에만 답해. 카카오톡 1단계 전이라면 먼저 닉네임 변경과 하트 인증이 필요하다고 알려줘.',
);
lines.push(
'- 주민신청 채널이나 서버 프로필처럼 디스코드 공간/설정을 묻는 질문에는 용도와 역할을 자연스럽게 설명해.',
);
break;
case "discord-verify-question":
lines.push("- 디스코드 닉네임 확인 결과만 답해.");
lines.push("- 확인되지 않았으면 확인되지 않았다고만 답하고, 추측해서 단정하지 마.");
lines.push("- 카카오톡 닉네임 형식이 틀리면 예시를 1개만 들고 형식에 맞게 변경해 달라고 안내해.");
lines.push("- 사용자가 묻지 않은 디스코드 절차나 다음 단계는 먼저 붙이지 마.");
case 'discord-verify-question':
lines.push('- 확인되지 않았으면 확인되지 않았다고만 답하고, 추측해서 단정하지 마.');
lines.push(
`- 디스코드 닉네임 형식은 카카오톡과 달라. 반드시 이름#태그/출생 연도 두 자리/티어 형식(성별 없음, 태그 포함)으로 안내하고, 카카오톡 형식(이름/연도/성별/티어)을 절대 제시하지 마. 예시는 ${DISCORD_NICKNAME_FORMAT_EXAMPLE} 하나만 사용해.`,
);
lines.push(
'- 디스코드 닉네임이 규칙에 맞지 않으면 위 형식과 예시를 1개만 들고 형식에 맞게 변경해 달라고 안내해.',
);
lines.push('- 사용자가 묻지 않은 디스코드 절차나 다음 단계는 먼저 붙이지 마.');
break;
case "age-question":
lines.push("- 나이 제한만 간단히 답해.");
case 'age-question':
lines.push('- 나이 제한만 간단히 답해.');
break;
default:
lines.push("- 질문 범위를 넘어서 먼저 설명하지 마.");
lines.push('- 질문 범위를 넘어서 먼저 설명하지 마.');
break;
}
@@ -180,52 +186,47 @@ export function policyLayer(
lines.push(options.toolPolicy);
}
return lines.join("\n");
return lines.join('\n');
}
export function stateLayer(
session: OnboardingSession | null,
derived: DerivedState,
): string {
export function stateLayer(session: OnboardingSession | null, derived: DerivedState): string {
const remaining = getRemainingSteps(session);
return [
"[현재 유저 상태]",
'[현재 유저 상태]',
`- phase: ${derived.phase.kind}`,
`- step1(카카오톡): ${session ? (isStep1Completed(session) ? "완료" : "미완료") : "미완료"}`,
`- step1(카카오톡): ${session ? (isStep1Completed(session) ? '완료' : '미완료') : '미완료'}`,
`- 카카오톡 닉네임: ${formatNicknameStatus(session)}`,
`- 방 하트 인증: ${formatPhotoStatus(session)}`,
`- 디스코드 본인인증방 입장: ${formatOptionalVerificationStatus(session?.identityRoomJoined)}`,
`- 디스코드 구인방 입장: ${formatOptionalVerificationStatus(session?.recruitingRoomJoined)}`,
`- 카카오톡 본인인증방 입장: ${formatOptionalVerificationStatus(session?.identityRoomJoined)}`,
`- 카카오톡 구인방 입장: ${formatOptionalVerificationStatus(session?.recruitingRoomJoined)}`,
`- 디스코드 프로필 닉네임: ${formatOptionalVerificationStatus(session?.discordProfileNicknameVerified)}`,
`- 디스코드 프로필 메시지: ${formatOptionalVerificationStatus(session?.discordProfileMessageVerified)}`,
`- extendedTracking: ${hasExtendedOnboardingTracking(session) ? "on" : "off"}`,
`- remaining: ${remaining.length > 0 ? formatRemainingSteps(remaining) : "없음"}`,
`- extendedTracking: ${hasExtendedOnboardingTracking(session) ? 'on' : 'off'}`,
`- remaining: ${remaining.length > 0 ? formatRemainingSteps(remaining) : '없음'}`,
`- deadline(KST): ${formatKstTimestamp(session?.deadlineAt)}`,
].join("\n");
].join('\n');
}
export function examplesLayer(intent: Intent, count = 3): string {
const examples = EXAMPLES_BY_INTENT[intent.kind].slice(0, count);
const rendered = examples.length > 0
? examples.map(formatExample).join("\n\n")
: "(예시 없음)";
const rendered = examples.length > 0 ? examples.map(formatExample).join('\n\n') : '(예시 없음)';
return `[응답 예시]\n${rendered}`;
}
export function contextLayer(context: PromptContext): string {
return [
"[최근 요약]",
context.summary ?? "(요약 없음)",
"",
"[최근 대화]",
'[최근 요약]',
context.summary ?? '(요약 없음)',
'',
'[최근 대화]',
formatHistory(context.conversationHistory),
"",
"[방 분위기]",
'',
'[방 분위기]',
formatRoomMessages(context.roomContext),
"",
"[메모]",
'',
'[메모]',
formatBlackboard(context.blackboard),
].join("\n");
].join('\n');
}
+171 -264
View File
@@ -1,19 +1,16 @@
import type { AgentRequest, AgentResponse, ConversationMessage } from "@agent/types";
import { getConversationSummaryKey } from "@conv/conversation-store";
import type { GarnetClient } from "@common/garnet";
import type { NatsClient } from "@common/nats";
import { getContext, getRequestLogger } from "@obs/context";
import type { LlmClient } from "@llm/llm-client";
import type { ChatMessage } from "@llm/types";
import type { RoomContextService } from "@room/room-context-service";
import type { Skill } from "@skills/skill";
import {
type ShadowEvalPublisher,
ShadowEvalBus,
} from "@eval/shadow-bus";
import { createBuiltInToolRegistry } from "@tools/builtins/index";
import type { Tool, ToolContext } from "@tools/tool";
import { PromptBuilder } from "./prompts/builder.js";
import type { AgentRequest, AgentResponse, ConversationMessage } from '@agent/types';
import { getConversationSummaryKey } from '@conv/conversation-store';
import type { GarnetClient } from '@common/garnet';
import type { NatsClient } from '@common/nats';
import { getContext, getRequestLogger } from '@obs/context';
import type { LlmClient } from '@llm/llm-client';
import type { ChatMessage } from '@llm/types';
import type { RoomContextService } from '@room/room-context-service';
import type { Skill } from '@skills/skill';
import { type ShadowEvalPublisher, ShadowEvalBus } from '@eval/shadow-bus';
import { createBuiltInToolRegistry } from '@tools/builtins/index';
import type { Tool, ToolContext } from '@tools/tool';
import { PromptBuilder } from './prompts/builder.js';
import {
getAcknowledgementMessage,
getAgeRequirementMessage,
@@ -29,28 +26,24 @@ import {
getProgressMessage,
getRemainingStatusMessage,
getTimeoutWarningMessage,
} from "./onboarding-templates.js";
import { getOnboardingSessionKeyPrefix, getLlmTemperature } from "../../config.js";
import { OnboardingBlackboardStore } from "./state/blackboard.js";
import { deriveState } from "./state/derive.js";
import { OnboardingIntentClassifier } from "./state/classifier.js";
import type { DerivedState, Intent } from "./state/onboarding-state.js";
import { OnboardingOrchestrator } from "./runtime/orchestrator.js";
import { validateOnboardingResponse } from "./runtime/validator.js";
import { normalizeOnboardingSession } from "./session.js";
import type {
OnboardingSession,
PromptContext,
StoredOnboardingSession,
} from "./types.js";
} from './onboarding-templates.js';
import { getOnboardingSessionKeyPrefix, getLlmTemperature } from '../../config.js';
import { OnboardingBlackboardStore } from './state/blackboard.js';
import { deriveState } from './state/derive.js';
import { OnboardingIntentClassifier } from './state/classifier.js';
import type { DerivedState, Intent } from './state/onboarding-state.js';
import { OnboardingOrchestrator } from './runtime/orchestrator.js';
import { validateOnboardingResponse } from './runtime/validator.js';
import { normalizeOnboardingSession } from './session.js';
import type { OnboardingSession, PromptContext, StoredOnboardingSession } from './types.js';
type LlmTextResult =
| { status: "success"; text: string }
| { status: "no_response" }
| { status: "failed" };
| { status: 'success'; text: string }
| { status: 'no_response' }
| { status: 'failed' };
export class OnboardingSkill implements Skill {
readonly name = "onboarding";
readonly name = 'onboarding';
private readonly classifier: OnboardingIntentClassifier;
private readonly blackboardStore: OnboardingBlackboardStore;
private readonly orchestrator: OnboardingOrchestrator;
@@ -62,18 +55,17 @@ export class OnboardingSkill implements Skill {
private readonly llmClient: LlmClient,
private readonly roomContextService?: RoomContextService,
shadowEvalPublisher?: ShadowEvalPublisher,
private readonly natsClient?: Pick<NatsClient, "request">,
private readonly natsClient?: Pick<NatsClient, 'request'>,
) {
this.classifier = new OnboardingIntentClassifier(llmClient);
this.blackboardStore = new OnboardingBlackboardStore(garnetClient);
this.orchestrator = new OnboardingOrchestrator(llmClient);
this.shadowEvalPublisher =
shadowEvalPublisher ?? new ShadowEvalBus(garnetClient);
this.shadowEvalPublisher = shadowEvalPublisher ?? new ShadowEvalBus(garnetClient);
this.tools = createBuiltInToolRegistry().list();
}
canHandle(request: AgentRequest): boolean {
return request.skill === "onboarding";
return request.skill === 'onboarding';
}
async handle(
@@ -81,19 +73,13 @@ export class OnboardingSkill implements Skill {
conversationHistory: ConversationMessage[],
): Promise<AgentResponse> {
const logger = getRequestLogger();
const session = await this.loadSession(
request.chatroomId,
request.userId,
);
const session = await this.loadSession(request.chatroomId, request.userId);
if (request.trigger === "user-message" && !request.userMessage?.trim()) {
if (request.trigger === 'user-message' && !request.userMessage?.trim()) {
return this.makeEmptyResponse(request.requestId);
}
const classified = await this.classifier.classify(
request.userMessage,
request.trigger,
);
const classified = await this.classifier.classify(request.userMessage, request.trigger);
const derived = deriveState(session, request.trigger, classified.intent);
if (!derived.shouldRespond) {
@@ -102,48 +88,33 @@ export class OnboardingSkill implements Skill {
let response: AgentResponse;
if (derived.responseMode === "template") {
response = this.makeTemplateFallbackResponse(
request,
session,
derived.intent,
derived,
);
if (derived.responseMode === 'template') {
response = this.makeTemplateFallbackResponse(request, session, derived.intent, derived);
} else {
const llmResult = await this.handleLlm(
request,
session,
conversationHistory,
derived,
);
const llmResult = await this.handleLlm(request, session, conversationHistory, derived);
if (llmResult.status === "success") {
if (llmResult.status === 'success') {
response = this.makeLlmResponse(request.requestId, llmResult.text);
} else if (llmResult.status === "no_response") {
} else if (llmResult.status === 'no_response') {
response = this.makeEmptyResponse(request.requestId);
} else {
response = this.makeTemplateFallbackResponse(
request,
session,
derived.intent,
derived,
);
response = this.makeTemplateFallbackResponse(request, session, derived.intent, derived);
}
}
if (derived.intent.kind === "discord-verify-question") {
if (derived.intent.kind === 'discord-verify-question') {
logger.debug(
{
responseSource: response.source,
responseText: response.text,
},
"[OnboardingSkill] Final discord verification response",
'[OnboardingSkill] Final discord verification response',
);
}
if (response.text.trim()) {
await this.rememberTurn(request, derived).catch((error) => {
logger.warn({ err: error }, "[OnboardingSkill] Failed to update blackboard");
logger.warn({ err: error }, '[OnboardingSkill] Failed to update blackboard');
});
this.shadowEvalPublisher.publish({
@@ -159,10 +130,7 @@ export class OnboardingSkill implements Skill {
return response;
}
private async loadSession(
chatroomId: string,
userId: string,
): Promise<OnboardingSession | null> {
private async loadSession(chatroomId: string, userId: string): Promise<OnboardingSession | null> {
const prefix = getOnboardingSessionKeyPrefix();
const key = `${prefix}:onboarding:${chatroomId}:${userId}`;
const rawSession = await this.garnetClient.getJson<StoredOnboardingSession>(key);
@@ -175,20 +143,15 @@ export class OnboardingSkill implements Skill {
conversationHistory: ConversationMessage[],
derived: DerivedState,
): Promise<LlmTextResult> {
const messages = await this.buildLlmMessages(
request,
session,
conversationHistory,
derived,
);
const messages = await this.buildLlmMessages(request, session, conversationHistory, derived);
return this.generateLlmText(messages, derived, {
allowShortResponse: derived.allowShortResponse,
maxTokens: derived.suggestedMaxTokens,
retryOnLowQuality:
request.trigger === "user-message" &&
request.trigger === 'user-message' &&
!derived.allowShortResponse &&
derived.responseMode !== "llm-with-tools",
derived.responseMode !== 'llm-with-tools',
toolContext: this.buildToolContext(request, session),
tools: this.selectToolsForDerived(derived),
});
@@ -202,13 +165,11 @@ export class OnboardingSkill implements Skill {
): Promise<ChatMessage[]> {
const logger = getRequestLogger();
const roomContextPromise =
request.trigger === "user-message" && this.roomContextService
? this.roomContextService
.getRecentMessages(request.chatroomId)
.catch((error) => {
logger.warn({ err: error }, "[OnboardingSkill] Failed to fetch room context");
return undefined;
})
request.trigger === 'user-message' && this.roomContextService
? this.roomContextService.getRecentMessages(request.chatroomId).catch((error) => {
logger.warn({ err: error }, '[OnboardingSkill] Failed to fetch room context');
return undefined;
})
: Promise.resolve(undefined);
const [blackboard, summary, roomContext] = await Promise.all([
this.blackboardStore.load(request.chatroomId, request.userId),
@@ -227,28 +188,25 @@ export class OnboardingSkill implements Skill {
return PromptBuilder.forDerived(derived, session, context).build();
}
private buildPromptUserMessage(
request: AgentRequest,
derived: DerivedState,
): string {
private buildPromptUserMessage(request: AgentRequest, derived: DerivedState): string {
switch (request.trigger) {
case "nickname-invalid":
case 'nickname-invalid':
return `현재 닉네임은 "${request.nickname}"예요. 왜 안 되는지와 어디를 고치면 되는지만 알려줘.`;
case "photo-failed":
return "하트 인증 사진이 실패했어요. 다시 시도할 수 있게 필요한 내용만 안내해줘.";
case "progress-update":
return "현재 새내기 등록 진행상황만 짧게 알려줘.";
case "timeout-warning":
return "등록 마감이 가까워졌어요. 남은 절차만 짧고 따뜻하게 안내해줘.";
case "completed":
return "새내기 등록을 모두 마친 유저에게 짧고 따뜻하게 축하 인사를 해줘.";
case "user-message":
if (derived.intent.kind === "status-question") {
return "현재 남은 절차나 완료 상태만 1문장으로 아주 짧게 알려줘.";
case 'photo-failed':
return '하트 인증 사진이 실패했어요. 다시 시도할 수 있게 필요한 내용만 안내해줘.';
case 'progress-update':
return '현재 새내기 등록 진행상황만 짧게 알려줘.';
case 'timeout-warning':
return '등록 마감이 가까워졌어요. 남은 절차만 짧고 따뜻하게 안내해줘.';
case 'completed':
return '새내기 등록을 모두 마친 유저에게 짧고 따뜻하게 축하 인사를 해줘.';
case 'user-message':
if (derived.intent.kind === 'status-question') {
return '완료된 것은 빼고 남은 절차만 짧게 말해줘.';
}
return request.userMessage?.trim() || "지금 필요한 온보딩 안내만 도와줘.";
return request.userMessage?.trim() || '지금 필요한 온보딩 안내만 도와줘.';
default:
return "지금 필요한 온보딩 안내만 짧게 도와줘.";
return '지금 필요한 온보딩 안내만 짧게 도와줘.';
}
}
@@ -260,68 +218,46 @@ export class OnboardingSkill implements Skill {
return (await this.garnetClient.getString(key)) ?? undefined;
}
private async rememberTurn(
request: AgentRequest,
derived: DerivedState,
): Promise<void> {
private async rememberTurn(request: AgentRequest, derived: DerivedState): Promise<void> {
const now = new Date().toISOString();
const userMessage = request.userMessage?.trim();
await this.blackboardStore.update(
request.chatroomId,
request.userId,
(current) => {
const openQuestions =
userMessage &&
(
derived.intent.kind === "help-how" ||
derived.intent.kind === "help-where" ||
derived.intent.kind === "nickname-question" ||
derived.intent.kind === "photo-question" ||
derived.intent.kind === "discord-question" ||
derived.intent.kind === "discord-verify-question"
)
? [...current.openQuestions, userMessage].slice(-3)
: current.openQuestions;
await this.blackboardStore.update(request.chatroomId, request.userId, (current) => {
const openQuestions =
userMessage &&
(derived.intent.kind === 'help-how' ||
derived.intent.kind === 'help-where' ||
derived.intent.kind === 'nickname-question' ||
derived.intent.kind === 'photo-question' ||
derived.intent.kind === 'discord-question' ||
derived.intent.kind === 'discord-verify-question')
? [...current.openQuestions, userMessage].slice(-3)
: current.openQuestions;
const recentNicknameAttempts =
request.trigger === "nickname-invalid" ||
derived.intent.kind === "nickname-question"
? Array.from(
new Set([
...current.recentNicknameAttempts,
request.nickname,
]),
).slice(-5)
: current.recentNicknameAttempts;
const recentNicknameAttempts =
request.trigger === 'nickname-invalid' || derived.intent.kind === 'nickname-question'
? Array.from(new Set([...current.recentNicknameAttempts, request.nickname])).slice(-5)
: current.recentNicknameAttempts;
return {
...current,
flaggedIssues:
derived.phase.kind === "nickname-rejected"
? derived.phase.issues.map((issue) => issue.message)
: derived.phase.kind === "completed"
? []
: current.flaggedIssues,
lastIntent: derived.intent.kind,
lastIntentAt: now,
openQuestions:
derived.phase.kind === "completed" ? [] : openQuestions,
recentNicknameAttempts,
toneMemory: {
...current.toneMemory,
greetedAt:
derived.intent.kind === "greeting"
? now
: current.toneMemory.greetedAt,
thankedAt:
derived.intent.kind === "acknowledgement"
? now
: current.toneMemory.thankedAt,
},
};
},
);
return {
...current,
flaggedIssues:
derived.phase.kind === 'nickname-rejected'
? derived.phase.issues.map((issue) => issue.message)
: derived.phase.kind === 'completed'
? []
: current.flaggedIssues,
lastIntent: derived.intent.kind,
lastIntentAt: now,
openQuestions: derived.phase.kind === 'completed' ? [] : openQuestions,
recentNicknameAttempts,
toneMemory: {
...current.toneMemory,
greetedAt: derived.intent.kind === 'greeting' ? now : current.toneMemory.greetedAt,
thankedAt: derived.intent.kind === 'acknowledgement' ? now : current.toneMemory.thankedAt,
},
};
});
}
private makeTemplateFallbackResponse(
@@ -331,35 +267,32 @@ export class OnboardingSkill implements Skill {
derived: DerivedState,
): AgentResponse {
switch (request.trigger) {
case "new-member":
case 'new-member':
return this.makeEmptyResponse(request.requestId);
case "nickname-invalid":
case 'nickname-invalid':
return this.makeTemplateResponse(
request.requestId,
getNicknameInvalidMessage(request.nickname, session),
);
case "photo-failed":
case 'photo-failed':
return this.makeTemplateResponse(
request.requestId,
getPhotoFailedMessage(request.nickname),
);
case "progress-update":
case 'progress-update':
return this.makeTemplateResponse(
request.requestId,
session
? getProgressMessage(request.nickname, session)
: getGenericHelpMessage(request.nickname, session),
);
case "timeout-warning":
case 'timeout-warning':
return this.makeTemplateResponse(
request.requestId,
getTimeoutWarningMessage(request.nickname),
);
case "completed":
return this.makeTemplateResponse(
request.requestId,
getCompletedMessage(request.nickname),
);
case 'completed':
return this.makeTemplateResponse(request.requestId, getCompletedMessage(request.nickname));
default:
return this.makeTemplateResponse(
request.requestId,
@@ -375,58 +308,55 @@ export class OnboardingSkill implements Skill {
derived: DerivedState,
): string {
switch (intent.kind) {
case "greeting":
case 'greeting':
return getGreetingMessage();
case "acknowledgement":
case 'acknowledgement':
return getAcknowledgementMessage();
case "status-question":
case 'status-question':
return getRemainingStatusMessage(session);
case "nickname-question":
return derived.phase.kind === "nickname-rejected"
case 'nickname-question':
return derived.phase.kind === 'nickname-rejected'
? getNicknameInvalidMessage(nickname, session)
: getNicknameFormatMessage();
case "photo-question":
return derived.phase.kind === "photo-rejected"
case 'photo-question':
return derived.phase.kind === 'photo-rejected'
? getPhotoFailedMessage(nickname)
: getHeartGuideMessage();
case "help-where":
case 'help-where':
if (
derived.phase.kind === "photo-pending" ||
derived.phase.kind === "photo-rejected" ||
(derived.phase.kind === "deadline-near" &&
derived.phase.remaining.includes("photo"))
derived.phase.kind === 'photo-pending' ||
derived.phase.kind === 'photo-rejected' ||
(derived.phase.kind === 'deadline-near' && derived.phase.remaining.includes('photo'))
) {
return getHeartLocationMessage();
}
return getGenericHelpMessage(nickname, session);
case "help-how":
case 'help-how':
if (
derived.phase.kind === "nickname-pending" ||
derived.phase.kind === "nickname-rejected" ||
(derived.phase.kind === "deadline-near" &&
derived.phase.remaining.includes("nickname"))
derived.phase.kind === 'nickname-pending' ||
derived.phase.kind === 'nickname-rejected' ||
(derived.phase.kind === 'deadline-near' && derived.phase.remaining.includes('nickname'))
) {
return getNicknameFormatMessage();
}
if (
derived.phase.kind === "photo-pending" ||
derived.phase.kind === "photo-rejected" ||
(derived.phase.kind === "deadline-near" &&
derived.phase.remaining.includes("photo"))
derived.phase.kind === 'photo-pending' ||
derived.phase.kind === 'photo-rejected' ||
(derived.phase.kind === 'deadline-near' && derived.phase.remaining.includes('photo'))
) {
return getHeartGuideMessage();
}
return getGenericHelpMessage(nickname, session);
case "discord-question":
case 'discord-question':
return getDiscordMessage(nickname, session);
case "discord-verify-question":
case 'discord-verify-question':
return getDiscordMessage(nickname, session);
case "age-question":
case 'age-question':
return getAgeRequirementMessage();
case "chitchat":
case "off-topic-to-other":
return "";
case "unknown":
case 'chitchat':
case 'off-topic-to-other':
return '';
case 'unknown':
return getGenericHelpMessage(nickname, session);
}
}
@@ -444,7 +374,7 @@ export class OnboardingSkill implements Skill {
},
): Promise<LlmTextResult> {
if (!this.llmClient.hasEndpoints()) {
return { status: "failed" };
return { status: 'failed' };
}
const attempts: Array<{
@@ -490,49 +420,38 @@ export class OnboardingSkill implements Skill {
}
const toolContext = options?.toolContext ?? {};
const llmText = await this.orchestrator.run(
derived,
messages,
{
maxTokens: requestOptions.maxTokens,
temperature: requestOptions.temperature,
toolContext,
tools: options?.tools,
},
);
const llmText = await this.orchestrator.run(derived, messages, {
maxTokens: requestOptions.maxTokens,
temperature: requestOptions.temperature,
toolContext,
tools: options?.tools,
});
if (!llmText) {
continue;
}
const validation = validateOnboardingResponse(
llmText,
derived,
{
allowShortResponse: options?.allowShortResponse,
},
);
const validation = validateOnboardingResponse(llmText, derived, {
allowShortResponse: options?.allowShortResponse,
});
if (validation.text.includes("[NO_RESPONSE]")) {
return { status: "no_response" };
if (validation.text.includes('[NO_RESPONSE]')) {
return { status: 'no_response' };
}
if (validation.status === "reject") {
if (validation.status === 'reject') {
continue;
}
return {
status: "success",
status: 'success',
text: validation.text,
};
}
return { status: "failed" };
return { status: 'failed' };
}
private buildToolContext(
request: AgentRequest,
session: OnboardingSession | null,
): ToolContext {
private buildToolContext(request: AgentRequest, session: OnboardingSession | null): ToolContext {
return {
chatroomId: request.chatroomId,
natsClient: this.natsClient,
@@ -543,69 +462,57 @@ export class OnboardingSkill implements Skill {
};
}
private selectToolsForDerived(
derived: DerivedState,
): readonly Tool<unknown, unknown>[] {
if (derived.intent.kind === "discord-verify-question") {
return this.tools.filter((tool) =>
tool.name === "verify-discord-nickname",
private selectToolsForDerived(derived: DerivedState): readonly Tool<unknown, unknown>[] {
if (derived.intent.kind === 'discord-verify-question') {
return this.tools.filter((tool) => tool.name === 'verify-discord-nickname');
}
if (derived.phase.kind === 'nickname-rejected') {
return this.tools.filter(
(tool) =>
tool.name === 'validate-nickname' ||
tool.name === 'lookup-community-rule' ||
tool.name === 'check-onboarding-progress',
);
}
if (derived.phase.kind === "nickname-rejected") {
return this.tools.filter((tool) =>
tool.name === "validate-nickname" ||
tool.name === "lookup-community-rule" ||
tool.name === "check-onboarding-progress",
);
if (derived.intent.kind === 'status-question') {
return this.tools.filter((tool) => tool.name === 'check-onboarding-progress');
}
if (derived.intent.kind === "status-question") {
return this.tools.filter((tool) =>
tool.name === "check-onboarding-progress",
);
}
if (derived.intent.kind === "discord-question") {
return this.tools.filter((tool) =>
tool.name === "lookup-community-rule" ||
tool.name === "verify-discord-nickname",
if (derived.intent.kind === 'discord-question') {
return this.tools.filter(
(tool) => tool.name === 'lookup-community-rule' || tool.name === 'verify-discord-nickname',
);
}
return this.tools;
}
private makeTemplateResponse(
requestId: string,
text: string,
): AgentResponse {
private makeTemplateResponse(requestId: string, text: string): AgentResponse {
return {
requestId,
text,
confidence: 0.8,
source: "template",
source: 'template',
};
}
private makeLlmResponse(
requestId: string,
text: string,
): AgentResponse {
private makeLlmResponse(requestId: string, text: string): AgentResponse {
return {
requestId,
text,
confidence: 0.9,
source: "llm",
source: 'llm',
};
}
private makeEmptyResponse(requestId: string): AgentResponse {
return {
requestId,
text: "",
text: '',
confidence: 0,
source: "template",
source: 'template',
};
}
@@ -51,4 +51,13 @@ describe("OnboardingIntentClassifier", () => {
expect(result.intent.kind).toBe("discord-verify-question");
expect(result.source).toBe("regex");
});
it("classifies identity room questions as help-how", async () => {
const result = await classifier.classify(
"본인인증 방은 뭐에요?",
"user-message",
);
expect(result.intent.kind).toBe("help-how");
expect(result.source).toBe("regex");
});
});
+22
View File
@@ -76,6 +76,28 @@ function classifyByRegex(userMessage: string): ClassifiedIntent {
return { intent: intent("help-how"), confidence: 0.9, source: "regex" };
}
if (
/(본인인증\s*방|본인인증방|구인\s*방|구인방)/u.test(trimmed)
) {
return {
intent: intent("help-how"),
confidence: 0.94,
source: "regex",
};
}
if (
/(주민신청\s*채널|주민신청채널|서버\s*프로필)/u.test(
trimmed,
)
) {
return {
intent: intent("discord-question"),
confidence: 0.94,
source: "regex",
};
}
const mentionsDiscord = /(디스코드|디코|discord)/u.test(lower);
const asksDiscordVerification =
/(확인|조회|찾아|검색|검사|바뀌|변경|닉변|맞(?:아|나요)?|됐(?:나|나요)?|완료됐(?:나|나요)?)/u.test(
@@ -94,4 +94,30 @@ describe("deriveState", () => {
]);
}
});
it("includes discord room and profile steps together when all remain", () => {
const derived = deriveState(
makeSession({
discordProfileMessageVerified: false,
discordProfileNicknameVerified: false,
identityRoomJoined: false,
nicknameVerified: true,
photoVerified: true,
recruitingRoomJoined: false,
step1CompletedAt: new Date().toISOString(),
}),
"user-message",
intent("status-question"),
);
expect(derived.phase.kind).toBe("step1-completed");
if (derived.phase.kind === "step1-completed") {
expect(derived.phase.remaining).toEqual([
"identity-room",
"recruiting-room",
"discord-profile-nickname",
"discord-profile-message",
]);
}
});
});
@@ -4,11 +4,11 @@ export const EXPECTED_KEYWORDS: Record<Intent["kind"], string[]> = {
acknowledgement: ["네", "좋아요", "천천히"],
"age-question": ["27", "가입", "가능"],
chitchat: [],
"discord-question": ["디스코드", "프로필", "권한", "설정"],
"discord-question": ["디스코드", "주민신청", "프로필", "권한", "설정"],
"discord-verify-question": ["디스코드", "확인", "닉네임"],
greeting: ["반갑", "환영", "어서 오세요"],
"help-how": ["하트", "닉네임", "스크린샷", "형식", "커버 보기"],
"help-where": ["오른쪽 상단", "커버 보기", "프로필"],
"help-how": ["하트", "닉네임", "스크린샷", "형식", "본인인증방", "구인방", "운영진"],
"help-where": ["오른쪽 상단", "커버 보기", "프로필", "본인인증방", "구인방", "채팅방"],
"nickname-question": ["닉네임", "형식", "티어", "/"],
"off-topic-to-other": [],
"photo-question": ["하트", "스크린샷", "프로필", "커버 보기"],
+2 -18
View File
@@ -4,8 +4,8 @@ import type { RemainingStep } from './onboarding-state.js';
const REMAINING_STEP_LABELS: Record<RemainingStep, string> = {
nickname: '카카오톡 닉네임 변경',
photo: '방 하트 인증',
'identity-room': '디스코드 본인인증방 입장',
'recruiting-room': '디스코드 구인방 입장',
'identity-room': '카카오톡 본인인증방 입장',
'recruiting-room': '카카오톡 구인방 입장',
'discord-profile-nickname': '디스코드 프로필 닉네임 설정',
'discord-profile-message': '디스코드 주민신청 채널에 메시지 남기기',
};
@@ -58,18 +58,6 @@ function shouldTrackDiscordProfile(session: OnboardingSession | null): boolean {
);
}
function hasJoinedAllTrackedDiscordRooms(session: OnboardingSession | null): boolean {
if (!session) {
return false;
}
if (!shouldTrackDiscordRooms(session)) {
return true;
}
return session.identityRoomJoined !== false && session.recruitingRoomJoined !== false;
}
export function getRemainingSteps(session: OnboardingSession | null): RemainingStep[] {
if (!session) {
return ['nickname', 'photo'];
@@ -102,10 +90,6 @@ export function getRemainingSteps(session: OnboardingSession | null): RemainingS
}
}
if (!hasJoinedAllTrackedDiscordRooms(session)) {
return remaining;
}
if (shouldTrackDiscordProfile(session)) {
if (session.discordProfileNicknameVerified === false) {
remaining.push('discord-profile-nickname');