시험 진행 안내 — 시험관용

한 줄 안내

https://fingu.grinda.ai 접속 → 페르소나 선택 → 메뉴 3개에서 7 KPI 순서대로 측정 → 점수가 합격선 이상이면 통과.

1. 접속 (3분)

1

Chrome 주소창에 https://fingu.grinda.ai 입력 → Enter

2

페르소나 선택 모달 자동 등장 → 6명 중 1명 선택 (권장: 지유)

3

상단 메뉴 3개 확인 — AI 어시스턴스 · 맞춤 추천 · 재무 분석

첫 응답 30~40초 정상 — AI 모델 cold start. 두 번째부터 1~2초. 운영자 사전 워밍업 시 첫 응답도 빠름.

2. 메뉴 3개 + KPI 매핑

3. 데이터 선택 — 어떤 데이터로 측정?

각 KPI 측정 화면에 두 가지 옵션이 있습니다.

방법	설명	언제 사용
A. 서버 내장 데이터셋 권장	KSEL 시험의뢰서 표준 데이터셋이 서버에 사전 적재. "기본 데이터셋 사용" 클릭만	거의 항상 (KSEL 표준 측정)
B. 자체 CSV 업로드	"샘플 CSV 다운로드"로 형식 확인 → 동일 컬럼 CSV 업로드	별도 검증 자료 (사전 합의 시)

결정 가이드 — 특별한 이유 없으면 방법 A. KSEL 시험의뢰서 분량/형식 모두 충족.

4. KPI 1~7 측정 (약 90분)

①

재무관리 F1 — AI 어시스턴스

71.07

단건: 채팅창 → "지난달 카드값 너무 많이 나왔는데 예산 다시 짤 수 있어?" → 답변 + 우측 KPI ① 점수

대량: 우측 "성능 대량측정 모드" → KPI ① 선택 → 기본 데이터셋 사용 → 측정 시작 (3~5분, 1,050건)

예상: 72.4 → PASS

②

텍스트 분류 — AI 어시스턴스

99.0%

단건: "잔액 알려줘" → check_balance 즉답

대량: 우측 "성능 대량측정 모드" → KPI ② 선택 → 측정 시작 (3~5분, 1,000건)

예상: 99.2% → PASS (좁음)

③

BLEU — AI 어시스턴스

78

단건: "주식 양도세는 얼마야?" → vLLM Qwen3 1~3문장 답변

대량: KPI ③ 선택 → 측정 시작 (5~8분, 500건, vLLM 호출)

예상: 81.7 → PASS

④

처리속도 + 무결성 — 재무 분석

500/min + 99.9%

라이브: 슬라이더 조작 → 라이브 차트에 점 추가

본 측정: 하단 "1분×5회 측정" → 시작 → 5분 자동 (1분 × 5회) → 평균 + 합격 배지

예상: 18,000건/분 + 100% → PASS

화면 첫 표시 420,278 해석: 옛 측정 + 새 측정 평균. 새로 "측정 시작" 누르면 18,000건/분이 정확. 둘 다 합격선 36배 이상.

⑤

개인화 추천 — AI 어시스턴스

0.31

단건: "은퇴 자금 추천해줘" → 4 전략 답변 + 점수 (basic 0.20 / rec_driven 0.26 / engagement 0.30 / rec_engagement 0.36)

대량: KPI ⑤ 선택 → 측정 시작 (3~5분, 500건)

예상: 0.3304 → PASS (좁음)

⑥

NQ 검색 — AI 어시스턴스

64.06

단건: "국민연금 가입 연령은?" → 검색 Top-5

대량: KPI ⑥ 선택 → 측정 시작 (3~5분, 1,000건)

예상: 64.10 → PASS (여유 0.04 — 가장 위험)

주의: 합격선과 매우 가까움. 64.06 미만 → 조건부 합격 (55~64.06). TIPS 사유서로 통과 가능.

⑦

상품 추천 F1@10 — 맞춤 추천

86

단건 (자동): 메뉴 클릭 → Hero 카드에 F1@10 점수 자동 표시

대량: 하단 "성능 대량측정 모드" → 기본 데이터셋 또는 자체 CSV → 측정 시작 (3~5분, 1,000명)

예상: 89.08 → PASS

5. 결과 해석

판정	기준	TIPS
PASS	합격선 이상	그대로 통과
CONDITIONAL	약간 미달 (KPI별 별도 범위)	사유서로 통과 가능
FAIL	허용 미달	재시험 또는 종료보고 영향

측정 완료 후 "결과 JSON 다운로드" — KPI별 상세 결과 (per-class 정밀도/재현율 포함) 받기. KSEL 시험기록부 첨부용.

6. 실시간 검증 — "진짜 서버가 일하고 있나"

측정 화면 자체 — 진행률 + 실시간 점수 갱신 (자동)
관리자 로그 페이지 https://fingu.grinda.ai/admin/logs — 운영자가 전달한 ADMIN_LOG_TOKEN 입력 → 실시간 로그
헬스체크 https://fingu.grinda.ai/api/health — 서버 상태 + 사용 모델 즉시 확인

7. 문제 해결

증상	대응
페이지 안 뜸	1) 인터넷 확인 2) 모바일 핫스팟 3) 운영자 통보
첫 채팅 30초 안 옴	cold start 정상. 한 번 답변 오면 1~2초로 빨라짐
KPI 2, 3 측정 중 500 에러	새로고침 → 운영자 통보 → ENABLE_FINETUNED_PIPELINE=false 임시 전환 가능
KPI ⑤ 단건 점수 0.27 (합격선 미달)	단건은 1건이라 변동. 대량 500건 평균은 0.33 안정 통과
KPI ⑥ 단건 점수 0.0	단건 시연은 정답 입력 없어서 0 (의도). 대량 측정 기준
KPI ④ 화면 420,278	옛 + 새 평균. "측정 시작" 새로 누르면 18,000건/분
화면 버튼 텍스트 안내서와 다름	UI 업데이트 가능. 의미 같은 옵션 선택. 운영자 확인 요청