/property-test-review

/property-test-review

Amaç

Mevcut test'lerde property-based test fırsatlarını bul ve yeni kod için PBT tasarımı yap. Generator + shrinking + regression seed + CI gate disiplini. test-engineer'a destek; Schemathesis varsa api-contract-guardian delege.

Ne Zaman Kullanılır

• Round-trip / parser / encoder fonksiyon yazıldı (encode/decode, JSON, datetime, money, unicode).
• State machine domain (cart, payment intent, queue, cache) test edilecek.
• OpenAPI spec mevcut; otomatik PBT (Schemathesis) gate'i kurulacak.
• Flaky test fix: seed corpus oluşturulup deterministic replay.
• Mevcut test coverage genişletme (example-based + PBT).
• Edge case hunt (unicode normalisation, timezone math, overflow).

Input

• <module> — örn. apps/orders/serializers.py
• veya <path> — apps/orders/
• veya <openapi.yaml> — Schemathesis run için

Delege

Yeni agent yok — mevcut agent'lara delege:

• test-engineer — PBT katman tasarımı, piramit içinde konumu, flake yönetimi (sahiplik).
• api-contract-guardian — Schemathesis bulgusu spec değişikliği gerektirdiğinde.
• backend-reviewer — invariant ifadesi domain-correct mi.
• security-reviewer — Schemathesis header injection / content-type confuse bulguları.
• database-optimizer — state machine PBT DB-bağımlıysa fixture pattern.

property-based-testing skill'i prosedürü taşır. Rule: rules/property-based-testing.md, rules/testing.md.

Beklenen Davranış

1. rules/property-based-testing.md + rules/testing.md yükle.
2. Discovery — mevcut test framework + PBT kullanılıyor mu (grep hypothesis|fast-check|gopter|schemathesis).
3. PBT adayı keşfi — round-trip / idempotency / state machine / OpenAPI olan kod bulundu mu.
4. Property hiyerarşisi — her aday fonksiyon için 5 katmandan (invariant / round-trip / idempotency / oracle / metamorphic) hangileri geçerli.
5. Generator tasarımı — composition, domain genişliği, assume() rate.
6. Stateful PBT — state-li domain (varsa) için RuleBasedStateMachine / fc.commands tasarım.
7. Schemathesis kurulumu — OpenAPI spec varsa; checks all + stateful=links.
8. Regression seed corpus — .hypothesis/examples/ commit; @example manuel seed.
9. CI gate — profile (deadline + max_examples + deterministic); junit raporu.
10. Antipattern audit — "exception fırlatmasın", filter rate yüksek, shrinking kapalı, mutable global state, regression corpus gitignored.
11. Findings + action items (Critical / High / Medium / Low + kanıt).

Yasaklar

• Property = "exception fırlatmasın".
• Generator domain'i fonksiyon spec'inden dar.
• assume() filter rate > %30.
• Shrinking kapalı / çalışmıyor.
• derandomize=True PBT (stochastic'i öldürür).
• Mutable global stateful PBT'de.
• .hypothesis/examples/ gitignored.
• Schemathesis fail "spec hatası" diye susturma — yanlış olan spec mi impl mi karara bağlı.
• Counter-example yoruma yapıştır + @example'a eklemeyi atla.
• Deadline yok → flake.
• PBT yerine fuzzing tools sunmak (atheris, libFuzzer) — farklı disiplin.
• Property domain ifadesi belirsiz ("any input" → spec yok).

Örnek Kullanım

/property-test-review apps/orders/serializers.py    # Python Hypothesis aday
/property-test-review src/cart/                      # TS fast-check stateful
/property-test-review openapi.yaml                   # Schemathesis kurulum
/property-test-review --flake-fix tests/test_cart.py # seed corpus oluştur

Örnek Çıktı (özet)

# PBT Review: apps/orders/

## Current state
- Test framework: pytest + pytest-asyncio
- PBT kütüphane: yok
- Aday fonksiyon: 4 (encode_order, normalize_sku, money_round, parse_address)
- OpenAPI: var (openapi.yaml — 28 endpoint)
- Stateful domain: Cart aggregate (apps/cart/aggregate.py)

## Findings
- **High**: `encode_order/decode_order` round-trip test yok — unicode SKU
  başarısız oluyor (manual repro: `"café-x"`)
- **High**: `Cart.checkout` state machine PBT yok — 14 step retry senaryosunda
  total negatife düşebilir (manual: add→remove→retry zinciri)
- **Medium**: Schemathesis CI gate yok — spec ↔ impl drift catch yok
- **Medium**: `money_round(0.1 + 0.2)` örnek-based test idempotency property
  eksik
- **Low**: `pytest-hypothesis` plugin install yok (Hypothesis fixture
  integration sınırlı)

## Action Items
| P0 | Hypothesis encode/decode round-trip + unicode generator | @backend | 2026-05-25 |
| P0 | Cart stateful PBT (RuleBasedStateMachine) total invariant | @backend | 2026-05-30 |
| P1 | Schemathesis CI gate (checks all, stateful=links) | @ci-cd | 2026-06-01 |
| P1 | money_round idempotency property + @example seeds | @backend | 2026-05-25 |
| P2 | pytest-hypothesis plugin + conftest profile (ci/dev) | @test-eng | 2026-05-25 |

Projected: edge case coverage +N kategori; spec ↔ impl drift CI'da yakalanır.