Ab test analysis
Skill weakened-fixedinvestmenttrust229/pm-skills-ko/pm-data-analytics/skills/ab-test-analysis
Provide structured AI-powered PM skills in Korean to improve product decisions from discovery to growth with Claude Code and Cowork integration.
npx -y skills add weakened-fixedinvestmenttrust229/pm-skills-ko --skill ab-test-analysisAssembled from the repository path, not quoted from the project. Check it against their README if it does not work.
One thing to look at
- 0 stars0 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.
What its author says it does
Copied from the file, not written here
통계적 유의성, 샘플 크기 검증, 신뢰 구간, 출시/연장/중단 권고를 포함한 A/B 테스트 결과 분석. 실험 결과를 평가하거나, 테스트가 유의성에 도달했는지 확인하거나, 분할 테스트 데이터를 해석하거나, 변형 출시 여부를 결정할 때 활용하세요.
SKILL.md
3.8 KB, as published. Nobody here has run it
A/B 테스트 분석
통계적 엄밀성으로 A/B 테스트 결과를 평가하고 명확한 제품 결정으로 전환합니다.
맥락
$ARGUMENTS에 대한 A/B 테스트 결과를 분석합니다.
사용자가 데이터 파일(CSV, Excel, 또는 분석 내보내기)을 제공하는 경우 직접 읽고 분석합니다. 필요한 경우 통계 계산을 위한 Python 스크립트를 생성합니다.
지시문
-
실험 이해:
- 가설이 무엇이었나요?
- 무엇이 변경되었나요 (변형)?
- 주요 지표는 무엇인가요? 가드레일 지표는 있나요?
- 테스트가 얼마나 오래 실행되었나요?
- 트래픽 분할은 어떻게 되었나요?
-
테스트 설계 검증:
- 샘플 크기: 예상 효과 크기에 충분한 샘플인가요?
- 공식 사용: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
- 검정력이 80% 미만인 경우 표시
- 기간: 최소 1~2 전체 비즈니스 사이클 동안 실행되었나요?
- 무작위화: 샘플 비율 불일치(SRM) 증거가 있나요?
- 신기/선행 효과: 초기 행동 변화가 사라질 충분한 시간이 있었나요?
- 샘플 크기: 예상 효과 크기에 충분한 샘플인가요?
-
통계적 유의성 계산:
- control 및 variant의 전환율
- 상대적 향상: (variant - control) / control × 100
- p값: 양측 z검정 또는 카이제곱 검정 사용
- 신뢰 구간: 차이에 대한 95% CI
- 통계적 유의성: p < 0.05인가요?
- 실용적 유의성: 향상이 비즈니스에 의미 있는가요?
사용자가 원시 데이터를 제공하는 경우, 이를 계산하기 위한 Python 스크립트를 생성하고 실행합니다.
-
가드레일 지표 확인:
- 가드레일 지표 (매출, 참여, 페이지 로드 시간)가 악화되었나요?
- 가드레일이 악화된 상태에서 주요 지표가 이기는 것은 진정한 승리가 아닐 수 있음
-
결과 해석:
결과 권고 유의한 긍정적 향상, 가드레일 문제 없음 출시 — 100%로 배포 유의한 긍정적 향상, 가드레일 우려 조사 — 출시 전 트레이드오프 이해 유의하지 않음, 긍정적 트렌드 테스트 연장 — 더 많은 데이터 또는 더 큰 효과 필요 유의하지 않음, 평탄 테스트 중단 — 의미 있는 차이 감지되지 않음 유의한 부정적 향상 출시하지 않음 — control로 되돌리고 이유 분석 -
분석 요약 제공:
## A/B 테스트 결과: [테스트 이름] **가설**: [예상한 것] **기간**: [X일] | **샘플**: [N control / M variant] | 지표 | Control | Variant | 향상 | p값 | 유의성? | |---|---|---|---|---|---| | [주요] | X% | Y% | +Z% | 0.0X | 예/아니오 | | [가드레일] | ... | ... | ... | ... | ... | **권고**: [출시 / 연장 / 중단 / 조사] **근거**: [이유] **다음 단계**: [해야 할 일]
단계별로 사고합니다. 마크다운으로 저장합니다. 원시 데이터가 제공된 경우 계산을 위한 Python 스크립트를 생성합니다.