Ai collab evaluator

AI 협업 역량 평가 (ai-collab-evaluator)

AI 기업 열린 채용의 평가 기준 — AI를 다루는 방식 / 활용하는 방식 / 질문하는 방식 / 트레이드오프 과정 — 으로 실제 세션 로그를 평가한다. 평가자가 보는 건 AI 실력이 아니라 판단력: "AI가 뭘 했나"가 아니라 "사용자는 뭘 결정했나".

절차

1. 세션 선정

사용자가 세션을 지정하지 않았으면:

# 프로젝트 디렉토리 최신순
ls -lt ~/.claude/projects/ | head -10
# 특정 프로젝트의 세션들 (크기·시간)
ls -lhSt ~/.claude/projects/<dir>/*.jsonl | head -8

각 후보의 첫 사용자 발화 2~3개를 뽑아 "무슨 작업이었는지" 파악한 뒤 AskUserQuestion으로 고르게 한다. 추천 기준: 문제정의→반복수정→산출물 흐름이 완결된 세션. 트레이드오프 평가가 가능하려면 방향 전환·폐기·선택이 있어야 한다. 단순 조회성 세션은 평가 깊이가 안 나온다.

2. 스켈레톤 추출

원본 jsonl을 직접 읽지 말 것 (수 MB, 대부분 tool_result 노이즈). 스크립트 사용:

python3 <이 스킬 디렉토리>/scripts/extract_skeleton.py <session.jsonl>

출력: 사용자 발화 전문(600자) + 도구 호출(이름+힌트) + AI 텍스트 앞부분(250자)

• 포크 알림. 출력이 커서 파일로 persist되면 Read로 읽는다.

3. 루브릭 평가

4개 기준 × 각 5점. 모든 판정에 세션 원문 인용을 증거로 붙인다 — 인용 없는 칭찬/지적 금지.

기준 1 — AI를 다루는 방식 (오케스트레이션)

찾을 증거	신호
검증 루프	AI 출력을 다른 수단(스킬·테스트·외부 근거·별도 세션)으로 재검증했나
컨텍스트 관리	단계 분리, CLAUDE.md/스킬로 규칙 고정, 세션 리셋
역할 분리	생성과 검증을 같은 컨텍스트에 안 시켰나. 포크/서브에이전트 병렬 운용
실패 처리	AI가 반복 실패할 때 프롬프트 수정이 아니라 접근 자체를 바꿨나. 에이전트 kill = 통제권 증거
도구 전환	같은 목적에 도구 여러 개 비교(예: Excalidraw→TikZ)

감점: AI가 가져온 근거를 재확인 없이 수용, 출력 그대로 복붙.

기준 2 — AI를 활용하는 방식 (위임 판단)

찾을 증거	신호
위임/직접 경계	초안·반복·리서치 = AI, 방향 판단·승인·우선순위 = 본인
문제 분해	큰 문제를 AI가 잘하는 단위로 쪼갰나
선택적 수용	AI 제안(백로그·옵션) 중 골라냈나, 전부 시켰나
문제/해법 분리	"이거 이상해. 어떻게 수정할래?" — 발견은 본인, 생성은 AI
비용 판단	AI 안 쓰는 게 빠른 일을 직접 했나

기준 3 — AI에게 질문하는 방식 (명세 능력)

찾을 증거	신호
선제 명세	첫 프롬프트에 청중·목적·제약·성공 기준이 있었나. 늦게 나온 명세 = 낭비된 iteration 횟수로 환산해 감점
전제 의심	AI 산출물의 전제 자체를 되묻는 소크라테스형 질문 (최고 배점)
자기설명 요구	"이게 결국 뭘 말하는 문서야?" — 일관성 검증 기법
비판형 질문	"이 표현 정말 필요해?" 톤·프레임 비판
반복 개선	피드백→수정 사이클. 감각 언어("구려")는 방향 전환엔 유효하나 명세로는 감점 반, 언어화 권고

기준 4 — 트레이드오프 과정 (대부분 최약점)

찾을 증거	신호
대안 존재	결정 시점에 대안 2개 이상 있었나 (AI가 제시한 것 포함)
비교 축	축을 본인이 정했나
포기 명시	"A 선택, B 잃음, 감수 이유 C"가 남았나
메타 트레이드오프	"이건 AI 쓰면 검증 비용이 더 커서 직접" 판단

주의: 결정만 있고 근거 기록이 없으면 트레이드오프가 아니라 pick. 결정 목록을 뽑아서 "대안/버린 이유/감수한 것" 소급 기록을 보강 과제로 제시한다.

4. 개선 피드백 (코칭)

채점으로 끝내지 않는다. 약한 기준마다 사용자 본인의 발화를 소재로 교정한다:

• Before → After 재작성: 세션에서 실제 발화를 인용하고, 같은 의도를 더 잘 전달하는 버전으로 고쳐 보여준다. 일반론 금지 — 반드시 본인 문장 소재.
  • 예: "이딴거 너무 구려" → "이 라벨은 청중에게 문서 뼈대를 중계하는 메타 정보라 몰입을 깨. 본문에서 빼고 오프닝에만 남겨줘"
  • 예: 목적 명세가 5번째 발화에 나왔다면 → "이 명세를 첫 프롬프트에 넣었을 때의 버전"을 재구성해 보여주고, 절약됐을 iteration 횟수를 명시
• 습관 교정 1~3개: 이번 세션에서 반복된 패턴만. 한 번 나온 실수는 넘어간다. 각 항목은 "다음 세션에서 이렇게" 형태의 실행 가능한 문장으로.
• 트레이드오프 소급 기록 템플릿: 세션에서 발견한 결정 목록을 표로 주고 "대안 / 버린 이유 / 감수한 것" 빈칸을 사용자가 채우게 한다. 채우면 제출물 4번 항목이 완성되는 구조.
• 다음 세션 체크리스트: 시작 전 3줄 (청중·목적·성공 기준 / 검증 수단 / 위임 경계), 진행 중 1줄 (결정마다 근거 한 줄), 종료 후 1줄 (실패 1개 기록).
• 재평가 루프: 다음 작업 세션 후 이 스킬 재실행 → 점수 추이 비교 권고. 같은 약점이 두 번 나오면 습관, 한 번이면 상황.

5. 출력 형식

## 총평 한 줄
<최강점 + 최약점 + 제출물 전환 가능성>

| 기준 | 점수 | 한 줄 판정 |
|---|---|---|
(4행, ★ 5개 만점)

## 기준별 상세
각 기준: 증거 인용(세션 원문) → 판정 → 감점 사유

## 세션 하이라이트
제출물 1순위 장면 1개 지목 (보통 전제 의심 or 실패→재정의 순간)

## 제출물 변환 가이드
- 스토리 구조: 문제 → 분해 → 위임 결정 → 반복 → 트레이드오프 → 결과 → 회고
  에 세션 사건을 매핑
- 보강 필수 항목 (보통: 트레이드오프 소급 기록 + 정량화)
- 실패 사례 1개 반드시 포함시킬 것 (완벽한 성공담 = 각색 의심)

## 개선 피드백
- Before → After: 본인 발화 인용 → 개선판 재작성 (약한 기준당 1개 이상)
- 습관 교정: 반복 패턴만, "다음 세션에서 이렇게" 형태 1~3개
- 트레이드오프 소급 기록 표: 결정 목록 + 대안/버린 이유/감수한 것 빈칸
- 다음 세션 체크리스트 (시작 전 3줄 / 진행 중 1줄 / 종료 후 1줄)
- 재평가 권고: 다음 세션 후 재실행, 점수 추이 비교

판정 철학

• 실패→수정 사이클이 성공 사례보다 높은 배점. "한 방에 됐다"는 오히려 신뢰 하락.
• 전제 의심 질문 1개 > 잘 쓴 생성형 프롬프트 10개.
• 정량화 요구: "빨라졌다" ❌ → "리서치 3일→4시간, 검증에 2시간 추가 투자" ✅.
• 최종 판단은 사용자 몫. 점수는 스냅샷이며, 세션 골라서 재평가 가능함을 명시.