Stats
Actions
Tags
Help us improve
Share bugs, ideas, or general feedback.
From pm-data-analytics
Analyzes A/B test results for statistical significance, sample size validation, confidence intervals, guardrail metrics, and recommendations on launch, extension, or termination. Useful for evaluating experiments, interpreting split test data, or deciding variant rollouts.
npx claudepluginhub lucas-flatwhite/pm-skills-ko --plugin pm-data-analyticsHow this skill is triggered — by the user, by Claude, or both
Slash command
/pm-data-analytics:ab-test-analysisThe summary Claude sees in its skill listing — used to decide when to auto-load this skill
통계적 엄밀성으로 A/B 테스트 결과를 평가하고 명확한 제품 결정으로 전환합니다.
Analyzes A/B test results for statistical significance, sample size validation, confidence intervals, lift, guardrails, and ship/extend/stop recommendations. Handles CSV/Excel data via Python scripts.
Designs statistically rigorous A/B tests and interprets experiment results with ship/iterate/kill recommendations. Handles sample size calculation, success criteria, and risk flags.
Share bugs, ideas, or general feedback.
통계적 엄밀성으로 A/B 테스트 결과를 평가하고 명확한 제품 결정으로 전환합니다.
$ARGUMENTS에 대한 A/B 테스트 결과를 분석합니다.
사용자가 데이터 파일(CSV, Excel, 또는 분석 내보내기)을 제공하는 경우 직접 읽고 분석합니다. 필요한 경우 통계 계산을 위한 Python 스크립트를 생성합니다.
실험 이해:
테스트 설계 검증:
통계적 유의성 계산:
사용자가 원시 데이터를 제공하는 경우, 이를 계산하기 위한 Python 스크립트를 생성하고 실행합니다.
가드레일 지표 확인:
결과 해석:
| 결과 | 권고 |
|---|---|
| 유의한 긍정적 향상, 가드레일 문제 없음 | 출시 — 100%로 배포 |
| 유의한 긍정적 향상, 가드레일 우려 | 조사 — 출시 전 트레이드오프 이해 |
| 유의하지 않음, 긍정적 트렌드 | 테스트 연장 — 더 많은 데이터 또는 더 큰 효과 필요 |
| 유의하지 않음, 평탄 | 테스트 중단 — 의미 있는 차이 감지되지 않음 |
| 유의한 부정적 향상 | 출시하지 않음 — control로 되돌리고 이유 분석 |
분석 요약 제공:
## A/B 테스트 결과: [테스트 이름]
**가설**: [예상한 것]
**기간**: [X일] | **샘플**: [N control / M variant]
| 지표 | Control | Variant | 향상 | p값 | 유의성? |
|---|---|---|---|---|---|
| [주요] | X% | Y% | +Z% | 0.0X | 예/아니오 |
| [가드레일] | ... | ... | ... | ... | ... |
**권고**: [출시 / 연장 / 중단 / 조사]
**근거**: [이유]
**다음 단계**: [해야 할 일]
단계별로 사고합니다. 마크다운으로 저장합니다. 원시 데이터가 제공된 경우 계산을 위한 Python 스크립트를 생성합니다.