Fact verify

fact-verify — 출처 검증 게이트

리서치 결과를 믿기 전에 돌리는 검증 단계다. AI(또는 사람)가 수집한 주장·수치·인용을 출처 단위로 분해하고, 세 단계 프로토콜로 통과/보류/거부를 판정한다.

설계 전제(회의론자 자세): 기본 상태는 의심이다. 증거가 있어야 통과한다. "AI가 작성했을 가능성"을 상수로 가정하고, 그럴듯한 주장일수록 더 엄격히 본다. 불확실하면 포함하지 않는 쪽을 택한다 — 브리핑의 신뢰는 한 번 깨지면 회복이 어렵다.

---

입력

두 형태를 받는다:

1. 구조화 입력: 주장 — 출처(URL/서지) 쌍의 목록 (다른 에이전트·스킬의 조사 산출물)
2. 자유 텍스트: 브리핑·보고서 초안·기사 초고 — 이 경우 먼저 텍스트에서 "사실 주장 + 붙어 있는 출처"를 추출해 검증 대상 목록을 만들고, 출처가 아예 없는 사실 주장은 그 자체로 NO_SOURCE 플래그를 단다.

검증 깊이 (기본: standard)

깊이	수행 범위	용도
quick	Step 1(Tier 분류) + 식별자 형식 검사만. 네트워크 불필요	초안 단계 빠른 점검
standard	+ Step 3 실존 확인(URL fetch, DOI/arXiv resolve, 한국 검증원 공개 검색)	브리핑 발행 전 (권장 기본)
deep	+ Step 2 교차 독립성(핵심 주장 2개 독립 출처), 수치·날짜 원문 대조	대외 보고서·기사·투고

---

3단 검증 프로토콜

Step 1. 출처 Tier 분류

references/tier-rules.md의 기준으로 모든 출처를 분류한다.

• Tier 1 정부·기관 공식 (.go.kr, .gov, europa.eu 등) — 단독 근거 가능
• Tier 2 학술·국책연구 (peer-reviewed 학술지, KCI 등재지, KISTEP·STEPI 등 국책연, 주요 싱크탱크) — 단독 근거 가능
• Tier 3 주요 언론 — 가능하면 2개 이상 독립 언론 확인
• Tier 4 블로그·SNS·커뮤니티·익명 — 단독 근거 절대 불가. 원출처를 찾아 확인되면 그 원출처의 Tier로 승격

도메인이 목록에 없으면 성격을 판단해 보수적으로(낮은 쪽으로) 분류하고 "판정 근거"를 기록한다.

Step 2. 교차 일관성 검증 (deep, 또는 핵심 주장)

2-A. 출처 독립성 — 재인용 체인 감지 (이 스킬의 핵심 기능)

❌ 가짜 교차 검증:
  주장 X가 매경·한경·서울경제 3곳에서 보도됨
  → 세 기사 모두 "과기부 보도자료"를 받아쓴 것이면 실은 출처 1개다.

✅ 진짜 교차 검증:
  주장 X가 ① 정부 공식 발표 ② 독립 취재 기사 ③ 학술지 논평에서
  일관되게 나타남 → 독립 출처 3개.

확인 방법:

• 각 기사 원문에서 "○○가 밝혔다/발표했다/보도자료에 따르면" 같은 공통 원천 표지를 찾는다
• 동일 보도자료·공고·논문으로 이어지는 인용 체인을 추적한다
• 독립 출처 수를 세어 기록한다 (재인용은 1개로 합산)

2-B. 수치·날짜·인명 일관성

• 여러 출처가 같은 수치를 보고하는가? 불일치(예: "투자 100조" vs "50조") 발견 시 원출처를 확인해 어느 쪽이 정확한지 판정하거나 NEEDS_REVIEW로 보류한다.

Step 3. 실존 확인 (할루시네이션 체크)

• URL: 실제로 fetch한다. HTTP 404 → REJECT(할루시네이션 의심). 200이지만 주장 내용이 그 페이지에 없음 → REJECT(출처-주장 불일치). 페이월·로그인 필요로 확인 불가 → NEEDS_REVIEW(오류로 단정하지 않음).
• 식별자 형식·실존:
  • DOI: 10.XXXX/... 형식 → https://doi.org/<DOI> 리다이렉트 확인, 메타데이터(제목·저자)와 대조
  • arXiv: YYMM.NNNNN 형식 → arxiv.org/abs/에서 실존·제목 확인
  • NTIS 과제번호: 10자리(예: 1711XXXXXX) 형식 검사
  • ISBN: 체크디지트 검사 + 국립중앙도서관 조회
• 날짜·수치 정합성: 발표일이 원문 날짜와 일치하는가, 인용 수치가 원문 수치와 정확히 일치하는가(단위·기준연도 포함), 미래 시점 서술이 현재와 모순되지 않는가.

Step 3-D. 한국 학술·정책 출처 검증 (v1.1)

CrossRef·arXiv·Semantic Scholar 같은 국제 DB는 국문 학술지·국책연 보고서·정부 간행물을 거의 못 잡는다. 한국 정책·학술 문헌은 DOI가 없는 경우가 많아, 국제 도구로 "확인 불가"가 뜬다고 실재하지 않는 것이 아니다. 아래 한국 검증원으로 별도 확인한다.

출처 유형	검증원	접근
국내 학술지 논문(KCI 등재)	KCI(한국연구재단) 학술지·논문·인용 정보	공공데이터포털 15085388(학술지)·15084727(인용) API, 또는 kci.go.kr 공개 검색
대학 학위논문·학술자원	RISS(KERIS)	공공데이터포털 3046254, 또는 riss.kr 공개 검색
폭넓은 서지(단행본·논문·의안)	국회도서관 국가학술정보	공공데이터포털 15040835(검색)·15000282
국책연 보고서	NKIS(국가정책연구포털, nkis.re.kr), 기관 사이트	WebFetch 공개 검색
정부 정책연구	PRISM(정책연구관리시스템, prism.go.kr)	WebFetch 공개 검색
단행본·보고서 ISBN	국립중앙도서관 서지정보	공공데이터포털 ISBN API

검증 절차:

1. 저자·제목·연도·게재지로 위 검증원을 조회한다(정확 일치가 없으면 제목 부분일치로 후보 제시).
2. 조회 결과의 서지정보(게재지명·권호·연도)를 인용과 대조한다 — 특히 연도·권(호) 오기와 학회지명 오기를 잡는다.
3. 어디에서도 확인되지 않고 국제 DB에도 없으면 → 🔴 REJECT("환각 출처 의심: 국내외 검증원 모두 미확인").
4. 공개 검색으로는 접근되나 API 키가 없어 구조화 확인이 안 되는 경우 → 확인된 사실은 VERIFIED로, 불확실한 건 NEEDS_REVIEW로 정직하게 구분한다.

접근 등급(graceful degradation). 이 스킬은 키 없이도 동작한다 — 기본은 각 포털의 공개 검색 페이지를 WebFetch하고 CrossRef(무키)를 병행한다. 사용자가 공공데이터포털 인증키(무료, 자체발급)를 환경에 설정해 두면 KCI·RISS·국회도서관 API로 정밀·대량 검증으로 자동 승급한다. 키는 요구사항이 아니라 성능 옵션이며, 없을 때 있는 척하지 않는다.

---

판정 규칙

판정	조건	처리
VERIFIED	3단계 통과	Tier 표시와 함께 통과 목록에
NEEDS_REVIEW	확인 불가(페이월 등), 수치 불일치, 단일 출처의 핵심 주장	사유와 "무엇을 추가 확인해야 하는지" 명시
REJECT	URL 404, 식별자 불일치, 출처-주장 불일치, Tier 4 단독 근거	사유 명시. 본문에서 제외 권고
NO_SOURCE	출처 없는 사실 주장	출처 요구 또는 삭제 권고

출력 형식

기본: 마크다운 검증 보고서

## 출처 검증 보고서

- 검증 대상: N건 | ✅ VERIFIED n | ⚠️ NEEDS_REVIEW n | ❌ REJECT n | 🚫 NO_SOURCE n
- Tier 분포: T1 n / T2 n / T3 n / T4 n(전원 제외 또는 승격)
- 검증 깊이: standard | 검증 일시: YYYY-MM-DD

| # | 주장(요약) | 출처 | Tier | 판정 | 사유·조치 |
|---|-----------|------|------|------|-----------|
| 1 | ... | msit.go.kr/... | 1 | ✅ | 공식 보도자료 원문 확인 |
| 2 | ... | arXiv 2404.99999 | 2 | ❌ | 해당 ID 실존하지 않음(404) — 삭제 또는 재조사 |
| 3 | ... | 매경·한경 2건 | 3 | ⚠️ | 두 기사 모두 동일 보도자료 재인용 — 독립 출처 1개뿐 |
| 4 | ... | 한국정책학회보 32(1) | 2 | ✅ | KCI 조회 확인 (단, 인용 연도 오기 2022→2021) |

옵션: YAML (에이전트 파이프라인 연동용)

다른 에이전트가 소비할 때는 verification_report: YAML(총계, by_tier, rejected_items[사유·조치], review_needed, verified_items)로 반환한다.

---

재검증·에스컬레이션

• 조사 주체(사람/에이전트)에게 재조사를 요청할 때는 어떤 항목이 왜 문제인지 + 무엇을 확인하면 되는지를 구체적으로 적는다.
• 같은 항목이 재조사 후에도 확인되지 않으면 REJECT로 확정하고 기록을 남긴다.

에이전트 파이프라인의 게이트로 쓰기

조사 → fact-verify → 집필 순서로 배치하면 검증 게이트가 된다. 서브에이전트 정의 예시:

---
name: fact-verifier
description: 조사 결과를 독립 검증하는 전문 에이전트. 조사 완료 후, 집필 시작 전에 호출.
tools: [WebFetch, WebSearch, Read, Write]
---
fact-verify 스킬의 3단 프로토콜을 따라 조사 산출물을 검증하고
verification_report를 반환한다. REJECT 항목은 집필에 사용 금지.

한계 (정직하게 알릴 것)

• URL 실존·DOI·한국 검증원 확인에는 웹 접근(WebFetch/WebSearch) 이 필요하다. 오프라인 환경에서는 quick 깊이만 가능함을 알린다.
• 한국 학술·정책 검증은 공개 검색(무키)으로도 되지만, KCI·RISS·국회도서관 API의 정밀·대량 조회는 공공데이터포털 인증키(무료)가 있을 때만 가능하다. 키가 없으면 공개 검색 범위 안에서만 확인하고, 못 미친 부분은 NEEDS_REVIEW로 정직하게 남긴다.
• 페이월·로그인 뒤 문서, 인쇄물 전용 문헌(DBpia 유료 원문 등)은 실존 확인이 제한된다 → NEEDS_REVIEW.
• 이 스킬은 출처 규율 도구다. 출처가 실존하고 주장과 일치하는지를 보며, 주장 자체의 학술적 타당성·진위를 최종 보증하지 않는다. 판정은 사람의 판단을 돕는 보조 신호다.
• 검증 과정에서 외부로 전송되는 것은 확인 대상 URL·식별자·검색어(제목·저자)뿐이다. 문서 전체를 외부 서비스에 보내지 않는다.

커스터마이즈

references/tier-rules.md에 자기 분야의 기관·학술지·매체를 추가하라. 기본 목록은 과학기술정책(STI) 분야 기준으로 작성되어 있다 — 보건·환경·경제 등 다른 분야는 해당 분야의 정부기관·국책연·전문지를 Tier 1~3에 보강하면 된다.

공공데이터포털 인증키 설정은 references/korea-sources.md를 참조한다.