skill-comply

skill-comply: 자동 준수도 측정

코딩 에이전트가 스킬, 규칙, 에이전트 정의를 실제로 따르는지 다음 방식으로 측정합니다.

1. 임의의 .md 파일에서 기대 행동 시퀀스(spec)를 자동 생성
2. 프롬프트 강도를 낮춰가며 시나리오 자동 생성
   • supportive → neutral → competing
3. claude -p를 실행하고 stream-json으로 도구 호출 추적 수집
4. 정규식이 아니라 LLM으로 도구 호출을 spec 단계에 분류
5. 시간 순서를 결정론적으로 검사
6. spec, 프롬프트, 타임라인이 포함된 self-contained 리포트 생성

지원 대상

• Skills (skills/*/SKILL.md): search-first, TDD 가이드 같은 워크플로 스킬
• Rules (rules/common/*.md): testing.md, security.md, git-workflow.md 같은 필수 규칙
• Agent definitions (agents/*.md): 기대 시 에이전트가 실제 호출되는지 확인
  • 내부 워크플로 검증은 아직 미지원

활성화 시점

• 사용자가 /skill-comply <path>를 실행할 때
• 사용자가 "이 규칙이 실제로 지켜지고 있나?"라고 물을 때
• 새 규칙/스킬 추가 후 준수 여부를 검증할 때
• 품질 유지 차원에서 주기적으로 점검할 때

사용법

# 전체 실행
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# 드라이런 (비용 없음, spec + 시나리오만 생성)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# 커스텀 모델
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

핵심 개념: 프롬프트 독립성

프롬프트가 그 스킬/규칙을 직접 지지하지 않아도 실제로 따라지는지를 측정합니다.

리포트 내용

리포트는 self-contained 형태이며 다음을 포함합니다.

1. 기대 행동 시퀀스(자동 생성 spec)
2. 시나리오 프롬프트(각 강도 수준에서 무엇을 요청했는지)
3. 시나리오별 준수 점수
4. LLM 분류 라벨이 붙은 도구 호출 타임라인

고급 기능 (선택 사항)

훅에 익숙한 사용자를 위해, 낮은 준수율 단계를 훅으로 승격할지에 대한 권고도 함께 포함합니다. 이건 부가 정보이고, 핵심 가치는 준수도 가시화 자체입니다.