Write report

평가보고서 작성 (근거 없으면 서술 없음)

보고서 작성은 평가보다 환각 위험이 훨씬 크다 — 매끄럽지만 근거 없는 문장을 지어내기 쉽다. 그래서 작성 → 수치검사(코드) → 서술검증(LLM) → 사람의 순서로 조인다.

호스트 호환

• deveval-root가 있으면 그 출력으로 플러그인 루트를 구한다. 없으면 호스트가 노출한 이 SKILL.md의 절대경로에 정확히 realpath(dirname(<SKILL.md 절대경로>)/../..)(또는 동등한 경로 정규화)을 적용한다. 호스트가 스킬 절대경로를 노출하지 않으면 현재 작업 폴더나 파일 검색 결과로 추측하지 말고, 루트를 확인할 수 없다고 알린 뒤 사용자에게 플러그인 루트를 요청한다. templates/, scripts/, agents/가 실제로 존재하는지 확인한다.
• Claude Code에서는 등록된 report-composer와 narrative-verifier를 사용한다. Codex 등 이름 기반 평가관을 자동 등록하지 않는 호스트에서는 위임 전에 각각 <root>/agents/<역할>.md를 끝까지 읽고 그 지침으로 서브에이전트를 위임한다. 서브에이전트가 없으면 같은 역할을 순차 적용한다.
• report-composer만 사용자 작업 폴더의 .omo/ 산출물을 쓸 수 있다. narrative-verifier는 읽기 전용으로 두고, 일반 서브에이전트로 대체할 때도 이 권한 경계를 과업에 명시한다.

절차

1. 전제 확인 — 평가 결과에는 기준별 점수·지지근거뿐 아니라 반대·제약근거, 상충·불일치 등록부, 평가 불가 항목, 검증 정정과 검증 후 점수가 있어야 한다. 없으면 없는 필드를 "상충 없음/정정 없음"으로 추정하지 말고 deveval:evaluate로 감사 가능한 브리프를 먼저 완성한다.

2. 경로 확보 — 위 호스트 호환 절차로 <root>를 구한다. 규범층은 기존에 검증된 평가 결과와 현행 KOICA 기준이며, 보고서 구조 템플릿은 <root>/templates/evaluation-report-template.md, 평가매트릭스 양식은 <root>/templates/evaluation-design-matrix-template.md, 보고·윤리 방법론은 <root>/reference/개발평가-관리보고윤리-다이제스트.md다. 변화이론·평가매트릭스를 재구성할 때만 <root>/reference/개발평가-설계방법론-다이제스트.md, 조사방법·표본·분석·한계를 기술할 때만 <root>/reference/개발평가-자료분석방법론-다이제스트.md를 추가한다. 방법론 파일은 구조·추적·표현을 돕는 보조자료이며 현행 KOICA 기준·점수를 바꾸지 않는다.

3. report-composer(쓰기 권한)에게 위임 — 위임 프롬프트에 평가 결과 전문(또는 각 절대경로) + 사업 원자료 절대경로 + 보고서 템플릿 절대경로 + 평가설계 매트릭스(작성본이 있으면 작성본, 없으면 양식) 절대경로 + 관리·보고·윤리 방법론 절대경로 + 필요시 설계/자료분석 방법론 절대경로 + 초안 출력 절대경로를 명시하고, 템플릿 구조로 장별 초안을 작성시킨다. 모든 사실·평정 서술에 출처, 미확인은 [확인 필요], 국문/영문/표의 같은 수치는 반드시 일치. 발견사항-결론-제언을 구분하고 핵심 결론은 평가질문과 원출처로 역추적 가능하게 한다.

   • 평가 결과의 상충·불일치 등록부와 ID, 해결 상태, 점수 영향, 검증 전후 점수, 평가 불가 항목을 국문·영문 요약과 해당 기준 본문·첨부에 보존한다. 보고서 문체로 매끄럽게 만들면서 상충을 해소된 사실처럼 합치거나 누락하지 않는다.
   • 초안은 사용자 작업 폴더의 .omo/draft-report*.md에 저장한다(평가자의 로컬 산출물 — 플러그인 디렉토리에 쓰지 마라).

4. 수치 일관성 점검 (코드) — 초안에 대해 실행:

   deveval-consistency-check <초안 경로>
   

   명령이 PATH에 없으면 python3 <root>/scripts/consistency_check.py <초안 경로>를 실행한다. 종합점수·총점이 국문·영문·표에서 어긋나거나(예: 실제 종료평가 2건에서 확인된 11.7 vs 12.7 — 국문 "24점 만점 중 11.7" ↔ 영문 "12.7 points out of 24"도 잡는다), 등급↔점수가 안 맞거나, a+b+c+d ≠ 종합점수면 위반 목록(exit 2)이 나온다 → report-composer에게 그 항목만 고쳐 다시 쓰게 한 뒤 넘어간다. 기계적 수치 대조는 LLM 눈대중보다 코드가 정확·재현적이다. 서술 형식은 건드리지 않고 수치 자기모순만 본다. ⚠️ "확인 불가"(exit 3)가 나오면 통과가 아니다 — 검사기가 수치를 못 읽었다는 뜻이니 표기 형식을 확인한다. (종료 코드: 0 통과 / 2 위반 / 3 확인 불가)

5. 규정 인용 검증 (선택 — 게이트웨이) — oda-intelligence 커넥터가 세션에 보이면, 초안의 {규정명} 제N조 인용을 verify_citation으로 대조한다(not_found = 존재하지 않는 조문, unknown_source = 인덱스에 없는 규정명). 걸린 항목은 report-composer에게 그 인용만 정정·삭제시킨다. 조문을 원문 그대로 실어야 하면 get_article로 전문을 받아 쓴다. 이 검사는 KOICA 내부규정 인덱스만 대조하므로 외부 법령 인용은 이걸로 확정하지 마라. 커넥터가 없으면 건너뛰고 "규정 인용 미검증"을 한계에 남긴다(연동 안내: 저장소 docs/oda-intelligence-integration.md).

6. narrative-verifier(읽기)에게 위임 — 위임 프롬프트에 초안 절대경로 + 초안이 인용·사용한 평가 결과와 사업 원자료의 전문 또는 절대경로 + 3에서 사용한 방법론 파일의 절대경로를 모두 넣는다. 특히 일반 Codex 서브에이전트가 report-composer의 대화 맥락을 상속한다고 가정하지 않는다. 서술-근거 의미 정합성(근거가 그 주장을 실제로 뒷받침하는가), 발견사항-결론-제언 추적, 인과·일반화 경계를 점검하고, 수치·등급의 기계적 일치는 4에서 코드가 봤으니 여기서는 환각·해석 오류에 집중한다. 평가 브리프의 모든 중대 상충 ID·평가 불가·검증 정정이 요약과 본문에서 살아 있는지도 대조한다.

7. (선택) 품질 자가심사 — deveval:quality-review로 24문항 심사를 돌려 미흡한 부분을 보완한다.

8. 사람(평가담당관) 검토·확정 — 특히 최종 등급·정무적 제언.

표준 보고서 구조 (KOICA 종료평가)

• 국문 요약 / Executive Summary
• Ⅰ. 사업개요 (추진배경 / 사업개요 / 사업설계매트릭스 PDM)
• Ⅱ. 평가개요 (목적·범위 / 평가매트릭스 / 평가방법 및 한계 / 상충·불일치 등록부 / 검증 정정·점수 재산정 / 평가팀)
• Ⅲ. 성과 달성도 및 사업변화이론 (성과달성 요약표)
• Ⅳ. 기준별 평가결과 (적절성·일관성·효과성·효율성·지속가능성)
• Ⅴ. 결론 (결론 / 교훈 / 제언)
• 첨부

AI 작성 vs 사람 영역

• AI가 조립: 사업개요(사실 정리), 성과달성 요약표, 기준별 평가결과(평가 결과를 보고서 문체로), 상충·불일치와 검증 정정의 감사추적 보존, 요약 생성, 구조·형식.
• 사람이 확정: 최종 등급, 정무적·전략적 제언, 수원국 맥락 판단 → [사람 판단 필요]로 표시하거나 초안만 제시.

원칙: 근거 없으면 서술 없음. AI는 사실·구조·평가결과 정리를 돕고, 정무적 제언·최종 등급·맥락 판단은 사람이 확정한다.