Quality review
완성된 평가보고서의 품질을 KOICA 평가품질검토 가이드라인 v2(24문항→10세부항목→100점, A~D, Pass/Non-Pass)로 심사한다. "이 평가보고서 품질을 검토해줘", "품질심사 해줘", "보고서가 잘 쓰였는지 봐줘", "Pass 되는지 봐줘"라고 요청할 때 사용한다. 사업 성패가 아니라 보고서 품질을 보는 메타 평가이며 사업 자체 평가에는 사용하지 않는다.From its SKILL.md
npx -y skills add amnotyoung/dev-eval-agents --skill quality-reviewAssembled from the repository path, not quoted from the project. Check it against their README if it does not work.
One thing to look at
- 3 stars3 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.
SKILL.md
6.1 KB, as published. Nobody here has run it
평가보고서 품질심사 (메타 평가)
이건 사업 평가가 아니다.
- 사업 평가(
deveval:evaluate): 사업이 잘됐나? → A~F 등급 - 품질 심사(이 스킬): 평가보고서가 잘 쓰였나? → A~D 등급
사업의 성패를 다시 판단하지 않는다. 보고서가 평가를 제대로 수행·기술했는지를 본다.
호스트 호환
deveval-root가 있으면 그 출력으로 플러그인 루트를 구한다. 없으면 호스트가 노출한 이SKILL.md의 절대경로에 정확히realpath(dirname(<SKILL.md 절대경로>)/../..)(또는 동등한 경로 정규화)을 적용한다. 호스트가 스킬 절대경로를 노출하지 않으면 현재 작업 폴더나 파일 검색 결과로 추측하지 말고, 루트를 확인할 수 없다고 알린 뒤 사용자에게 플러그인 루트를 요청한다.reference/,scripts/,agents/가 실제로 존재하는지 확인한다.- Claude Code에서는 등록된
report-quality-inspector를 사용한다. Codex 등 이름 기반 평가관을 자동 등록하지 않는 호스트에서는<root>/agents/report-quality-inspector.md를 끝까지 읽고 그 지침으로 서브에이전트를 위임한다. 서브에이전트가 없으면 같은 역할 지침을 직접 적용한다. - 이 심사 역할은 읽기 전용이다. 일반 서브에이전트로 대체할 때도 파일을 생성·수정하지 말라고 명시한다.
절차
- 기준·방법론 경로 확보 — 위 호스트 호환 절차로
<root>를 구한다.- 규범층·채점 지배:
<root>/reference/KOICA-품질검토-체크리스트.md(가이드라인 v2, 2025.6). - 보조 방법론:
<root>/reference/개발평가-설계방법론-다이제스트.md,<root>/reference/개발평가-자료분석방법론-다이제스트.md,<root>/reference/개발평가-관리보고윤리-다이제스트.md. - 보조 방법론은 질문-설계-자료-분석 사슬, 자료품질·삼각측량, 발견-결론-제언 추적과 윤리를 진단할 때만 쓴다. 24문항 점수와 A~D 경계는 룰브릭만이 정한다.
- 규범층·채점 지배:
report-quality-inspector에게 위임 — 심사 대상 보고서 경로 + 위 4개 파일의 절대경로를 전달하고, 룰브릭으로만 채점하되 관련 문항의 근거를 해석할 때 필요한 방법론 절만 읽도록 한다.- 결과 정리 후 사람 인계 — 최종 품질등급은 **독립평가패널(사람)**이 확정함을 명시한다.
채점 구조
10개 세부항목, 각 우수10 / 양호8 / 다소미흡6 / 미흡4 → 100점. 부문 배점: Ⅰ 20 · Ⅱ 20 · Ⅲ 30 · Ⅳ 20 · Ⅴ 10.
| # | 부문 | 세부항목 (v2 공식 명칭) | 문항 |
|---|---|---|---|
| ① | Ⅰ | 평가 배경 및 맥락 분석의 적절성 | 1-2 |
| ② | Ⅰ | 평가 설계 및 방법론의 엄밀성 | 3-6 |
| ③ | Ⅱ | 데이터 수집 과정의 타당성 및 데이터 질 | 7-8 |
| ④ | Ⅱ | 데이터 품질 및 검증의 적절성 | 9-10 |
| ⑤ | Ⅲ | 분석방법의 적절성·평가결과 신뢰성 | 11 |
| ⑥ | Ⅲ | 결과 도출의 논리성 | 12-13 |
| ⑦ | Ⅲ | 근거 기반 해석의 타당성 | 14-15 |
| ⑧ | Ⅳ | 평가 결론의 타당성 (등급-본문 일치 포함) | 16-18 |
| ⑨ | Ⅳ | 제언의 실현 가능성 및 구체성 (SMART) | 19-20 |
| ⑩ | Ⅴ | 보고서 요약 및 구조의 명확성 | 21-24 |
등급: A(90↑) / B(80~) / C(60~) = Pass / D(60 미만) = Non-Pass (v2 공식 경계 = 60점). 총평: 최소 200자(공백 제외) + 필수 4항목(주요 강점 / 감점 요인·개선 필요사항 / 향후 참고사항 / 활용성 제고 제안).
수치 정합 확인 (선택)
심사 대상 보고서에 종합점수·등급이 여러 곳(국문 요약·영문 요약·표)에 나오면, 기계적 대조를 붙일 수 있다:
deveval-consistency-check <보고서.md>
명령이 PATH에 없으면 python3 <root>/scripts/consistency_check.py <보고서.md>를 실행한다.
국문↔영문↔표 수치 불일치(예: 11.7 vs 12.7 — 국문 "24점 만점 중 N"·영문 "N points out of M" 표기 포함), 등급↔점수 괴리, a+b+c+d ≠ 종합점수 산술 오류를 결정적으로 잡아 문항 18(등급-본문 일치) 근거로 쓸 수 있다. 종료 코드: 0 통과 / 2 위반 / 3 확인 불가(통과 아님). (마크다운 텍스트가 있을 때만. PDF면 생략. 다건 묶음 평가용역이면 사업별로 잘라서 검사 — 사업별 상이 점수는 정상이다.)
규정 인용 검증 (선택)
심사 대상 보고서가 KOICA 규정·지침 조문을 인용하고 있고 oda-intelligence 커넥터가 세션에 보이면, verify_citation으로 인용 조문의 실재를 대조할 수 있다(not_found = 존재하지 않는 조문). 결과는 문항 1415(근거 기반 해석) 또는 1618(결론 타당성) 판단의 근거로 쓴다. KOICA 내부규정 인덱스만 대조하므로 외부 법령 인용은 이걸로 판정하지 않는다. 커넥터가 없으면 생략한다(연동 안내: 저장소 docs/oda-intelligence-integration.md).
특칙
- 입찰 **평가용역(다건 묶음)**이면 24문항이 아니라 평가용역 종합등급 산정표(별도 트랙)를 적용한다 — 용역 내 개별 사업이 1개라도 D(Non-Pass)면 Ⅰ부문 "미흡".
- 보고서를 직접 못 읽고 요약만 받았으면 확인 못 한 항목은 "정보 부족"으로 명시하고 점수를 단정하지 않는다.
- 블라인드 원칙: 평가자가 누구인지 따지지 말고 산출물만 본다.
최종 품질등급은 독립평가패널(사람)이 확정한다. AI는 근거 기반 심사 초안만 제시한다.