Uygulama İçi A/B Testing Nedir?
Kullanıcıları rastgele gruplara ayırıp farklı deneyimler sunarak hangi versiyonun daha iyi performans gösterdiğini ölçme yöntemidir. Store A/B testing'den farklı olarak uygulama İÇİNDEKİ değişiklikler test edilir. 2026 itibarıyla data-driven ürün geliştirme yaklaşımının temel taşıdır.
Ne Test Edilebilir?
- UI değişiklikleri: Buton rengi, boyutu, konumu
- Paywall varyasyonları: Farklı fiyatlar, layoutlar, teklifler
- Onboarding akışları: Farklı adım sayısı, içerik, sıralama
- Özellik varyasyonları: Yeni özelliğin farklı implementasyonları
- CTA metinleri: "Hemen Başlat" vs "Ücretsiz Dene"
- Push notification: Farklı mesaj, zamanlama, sıklık
- Fiyatlandırma: Farklı fiyat noktaları ve paketler
Araçlar
| Araç | Özellik | Fiyat |
|---|---|---|
| Firebase Remote Config | Ücretsiz, basit A/B test | Ücretsiz |
| Statsig | Kapsamlı feature flag + A/B | Free tier var |
| LaunchDarkly | Feature flag odaklı, enterprise | Pahalı |
| Optimizely | Enterprise A/B testing | Enterprise |
| RevenueCat Experiments | Paywall A/B testing | RevenueCat planına dahil |
| Amplitude Experiment | Analytics + experiment birleşik | Amplitude planına dahil |
Firebase Remote Config ile A/B Test
- Firebase Console'da Remote Config parametreleri tanımla
- A/B Testing deneyimi oluştur
- Hedef metrik seç (retention, gelir, event)
- Trafik bölünmesi ayarla (%50-%50 veya farklı oranlar)
- Deneyimi çalıştır
- İstatistiksel anlamlılık bekle
- Kazanan varyasyonu tüm kullanıcılara yay
İstatistiksel Anlamlılık
- Minimum örneklem: Genellikle 1000+ kullanıcı/grup
- Confidence level: %95+ (p-value < 0.05)
- Test süresi: En az 7 gün (haftanın günleri etkisi)
- Tek değişken: Bir seferde tek şey test et
- MDE (Minimum Detectable Effect): Tespit edilebilir minimum etki büyüklüğü
- Sample size calculator kullanın (Evan Miller, Statsig)
Best Practices
Yapın
- Hipotez ile başlayın ("X değişikliği Y metriğini %Z artırır")
- Birincil metrik belirleyin (tek hedef)
- Yeterli süre bekleyin (erken sonlandırma yanıltır - "peeking problem")
- Segment bazlı analiz yapın (ülke, platform, yeni/eski kullanıcı)
- Sonuçları dokümante edin (öğrenme kütüphanesi)
- Guardrail metrikler belirleyin (test zarar veriyor mu?)
Yapmayın
- Birden fazla değişkeni aynı anda test etme (multivariate farklı)
- Anlamlılığa ulaşmadan karar verme
- Kazananı uygulamadan yeni test başlama
- Çok küçük değişiklikler test etme (ölçülemeyecek kadar küçük etki)
- Test grubunu test sırasında değiştirme
Feature Flags
A/B testing'in temeli feature flag'lerdir:
- Kod içinde "bu özellik açık mı?" kontrolü
- Server-side toggle ile anında açma/kapama
- Gradual rollout: %1 → %10 → %50 → %100
- Kill switch: Sorun çıkarsa anında kapat
- User targeting: Belirli kullanıcılara özel açma
Paywall A/B Testing
Özel bir A/B testing alanı - doğrudan gelire etki eder:
- RevenueCat Experiments ile paywall varyasyonları
- Farklı fiyat noktaları
- Trial süresi değişiklikleri (3 gün vs 7 gün)
- Layout değişiklikleri (özellik listesi vs social proof)
- Birincil metrik: Trial start rate veya LTV
Metrik Örnekleri
| Test | Birincil Metrik | İkincil Metrik |
|---|---|---|
| Paywall tasarımı | Trial start rate | LTV, churn |
| Onboarding akışı | D1 retention | D7 retention |
| CTA metni | Tıklanma oranı | Conversion |
| Bildirim zamanı | Açılma oranı | Unsubscribe |
| Fiyat değişikliği | Gelir / kullanıcı | Trial start |
Varsayımlara değil, verilere dayanarak karar verin. Küçük görünen değişiklikler büyük etkiler yaratabilir.