Impact review
영향평가(Impact Evaluation) 보고서의 인과추론 방법론을 6개 추진원칙과 DevEval 10개 운용질문으로 심사하고, 기획단계 입력은 3요소·7항목 평가성으로 검토한다. "방법론 검토해줘", "인과 설계가 타당한지 봐줘", "영향평가 검증해줘", "RIE로 적합한지"라고 요청할 때 사용한다. PSM·DiD·RCT 등 실제 식별가정·반사실·타당도를 보며 A~F 등급은 매기지 않는다. 적합/조건부 보완/부적합은 공식 KOICA 등급이 아닌 프로젝트 운용 표지다.From its SKILL.md
npx -y skills add amnotyoung/dev-eval-agents --skill impact-reviewAssembled from the repository path, not quoted from the project. Check it against their README if it does not work.
One thing to look at
- 3 stars3 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.
SKILL.md
5.5 KB, as published. Nobody here has run it
영향평가 보고서 검토 (방법론 심사)
종료평가(6기준 A~F)와 다른 평가 유형이다. 영향평가는 인과효과를 측정하는 설계·분석을 심사하며 사업등급을 매기지 않는다. 종료평가 6기준 팀을 쓰지 마라.
호스트 호환
deveval-root가 있으면 그 출력으로 플러그인 루트를 구한다. 없으면 호스트가 노출한 이SKILL.md의 절대경로에 정확히realpath(dirname(<SKILL.md 절대경로>)/../..)또는 동등한 경로 정규화를 적용한다. 호스트가 절대경로를 노출하지 않으면 현재 작업 폴더나 파일 검색으로 추측하지 말고 루트를 요청한다.reference/와agents/의 실재를 확인한다.- Claude Code에서는 등록된
impact-evaluation-reviewer를 사용한다. 이름 기반 역할을 등록하지 않는 호스트에서는<root>/agents/impact-evaluation-reviewer.md를 끝까지 읽고 그 지침으로 서브에이전트를 위임한다. 서브에이전트가 없으면 직접 적용한다. - 이 역할은 읽기 전용이다. 대체 에이전트에도 파일을 생성·수정하지 말라고 명시한다.
지식층과 출처 지위
- 공식 규범층:
<root>/reference/KOICA-사업평가규정-다이제스트.md. 적용 가능한 공식 절차·독립성·윤리 원칙은 이 문서가 지배한다. - 전문 제안층:
<root>/reference/KOICA-영향평가-가이드라인-다이제스트.md. KIEP 2025 정책연구의 **「추진 가이드라인(안)」**이므로 공식 시행지침·구속적 판정표라고 부르지 않는다. 영향평가의 1차 전문근거로 사용한다. - 보조 방법론층:
<root>/reference/개발평가-설계방법론-다이제스트.md,<root>/reference/개발평가-자료분석방법론-다이제스트.md. 변화이론, 타당도 위협, 측정·표본·편향·삼각측량을 진단할 때만 쓴다. - 사건·증거층: 대상 보고서와 원자료. 실제 설계·분석·결과는 이 층에서만 확인한다.
충돌 시 공식 규범 > 전문 제안 > 보조 방법론 순이다. 10개 질문과 3단계 표지는 DevEval의 운용 프레임이며 KIEP 표를 공식 판정표로 오인시키지 않는다.
절차
- 위 네 참조 파일의 절대경로와 대상 보고서 경로를 확보한다.
impact-evaluation-reviewer에게 모두 전달하고 다음을 명시한다.- “KIEP 2025는 가이드라인(안) 연구다. 6개 추진원칙과 원문의 평가성·품질표를 1차 전문근거로 쓰되 공식 규정이나 공식 합격판정으로 표현하지 마라.”
- “방법 이름보다 실제 식별가정·배치·비교·진단·이탈·오염·강건성·보고를 보라.”
- 질문별 근거를 먼저 정리하고, 6개 원칙별 상태와 기술검토 필요성을 종합한다.
- DevEval 운용 표지인 적합/조건부 보완/부적합을 제시하되 공식 등급이 아님을 붙인다. 최종 판단은 사람에게 넘긴다.
최종보고서 심사틀
6개 추진원칙(안): 과학성 · 실용성 · 투명성 · 지속가능성 · 윤리성 · 포용성
DevEval 10개 운용질문:
- 평가질문·ToC·인과가설
- 반사실·배치·처치/비교집단·균형 진단
- 설계·분석법 적합성과 식별가정
- 선택편의·교란·이탈·오염·비준수·결측
- 표본·검정력·클러스터·가중치
- 측정과 내적·외적 타당도
- 강건성·민감도·위약검정
- 한계·외부요인·다중가설·이질적 효과의 투명한 해석
- 윤리검토·동의·개인정보·형평성·비간섭성
- 조사도구·코드북·코드·표·승인문서의 재현·추적성
각 질문은 충족/부분충족/미충족/정보부족 + 보고서 근거로 답한다. 방법론·통계
타당성이 의심되면 🚩 기술검토 권고를 단다.
기획단계 대상 평가성
분야나 사업단계만으로 자동 배제하지 않는다. 먼저 원문 예시의 3요소·7항목을 본다.
- 유용성: 정책·전략 중요성, 주요 이해관계자 관심
- 실시가능성: 평가 시기·자원, 윤리·비간섭성
- 타당성: 표본·데이터 접근성, 데이터 품질, 설계 가능성
인프라·거버넌스는 적용이 어려울 수 있지만 자동 부적합이 아니다. 진행·종료사업도 기초선 또는 신뢰할 만한 개입 전 자료와 비교구조가 남았는지 확인한다. 사후 대조군은 타당도 위험으로 기록한다. 원문의 평균 2점 기준도 “예시”로만 다룬다.
사업 영향력 평정과 구분
- 이 스킬: 영향평가 보고서의 인과 방법론 → 질문별 심사 + 프로젝트 운용 표지
dac-impact-evaluator: 사업의 DAC 영향력 기준을 1~4점으로 평정하는 별도 역할
같은 사업이라도 서로 대체하지 않는다.
인과관계는 근거 범위 안에서만 기술한다. 최종 판단은 사람의 몫이다.