A/B testi, anlamlılık göstergesi %95'e ilk değdiğinde değil, baştan belirlenen süre ve örneklem tamamlandığında durdurulur. Dört şart birlikte aranır: planlanan örneklem doldu, test tam hafta döngülerinde koştu, sonuç anlamlılık eşiğini geçti ve etki iş açısından kayda değer. Erken durdurma, testi yazı turaya çevirir.
Bu yazı, A/B testinin en pahalı hatasına odaklanıyor: doğru kurulmuş testi yanlış zamanda durdurmak. Test kurulumunun kendisini (hipotez, varyant tasarımı, araç) ayrı bir rehberde anlattık: A/B testine başlarken ilk test nasıl seçilir? Burada ise sonuç ekranındaki o yeşil "kazandı" etiketine ne zaman güvenebileceğinizi konuşacağız.
Durdurma kararının dört şartı birlikte aranır; tek istisna varyanttaki kritik hatadır — o karar istatistik değil, hasar kontrolüdür.
İstatistiksel Anlamlılık Aslında Ne Söyler?
Sade tanım: anlamlılık, gördüğünüz farkın şans eseri ortaya çıkmış olma ihtimalinin düşük olduğunu söyler. %95 anlamlılık, "bu fark tesadüfse, bunu görme ihtimalim %5'ten azdı" demektir — "%95 ihtimalle B kazanır" demek değildir. İnce ama önemli fark: anlamlılık size kazananı garanti etmez, yanılma riskinizi tarif eder.
İki pratik sonucu var:
%95 bile yüz testte beş yanlış pozitif demektir. Test programı büyüdükçe, tek testin sonucuna değil desenlere güvenirsiniz.
Anlamlılık, etki büyüklüğü değildir. Devasa trafikle %0,1'lik önemsiz fark da "anlamlı" çıkar; anlamlı VE işe yarar farkı birlikte aramalısınız.
İlk Günlerde Önde Görünen Varyant Neden Kaybedebilir?
Testin ilk günlerindeki tablo, küçük örneklemin oynaklığıdır: 50 dönüşümle %30 önde görünen varyant, 500 dönüşümde eşitlenebilir. Üstüne iki sistematik yanıltıcı biner:
Yenilik etkisi: Mevcut kullanıcılar değişikliği fark eder ve sırf yeni olduğu için tıklar; etki birkaç haftada buharlaşır.
Hafta içi/hafta sonu döngüsü: Salı trafiği ile cumartesi trafiği farklı kitledir, farklı davranır. Salı başlayıp perşembe durdurulan test, kitlenizin yalnızca bir dilimini ölçmüştür — bu yüzden test süresi her zaman tam hafta katlarında (7, 14, 21 gün) planlanır. Gün eşleşmeden yapılan karşılaştırma, testte de raporda da aynı tuzaktır.
Peeking (Dikizleme) Problemi Nedir?
Her gün sonuç ekranına bakıp anlamlılık %95'i gördüğü anda testi durdurmak, istatistiğin en bilinen tuzağıdır. Anlamlılık test boyunca dalgalanır — gün gün izlerseniz, tesadüfen eşiğe değdiği bir an mutlaka gelir. O anda durdurursanız "kazananınız" büyük ihtimalle şansın fotoğrafıdır: sürekli dikizleyip ilk değişte durduran ekipte yanlış pozitif oranı, %5'ten %25-30'lara kadar şişebilir.
Temsili veri — mekanizma gerçek: 4. gün eşiğe değen test 6. gün %58'e düşüyor. Her gün bakıp ilk değişte durduran ekip, şansın fotoğrafını "kazanan" ilan eder.
Çözüm disiplindir, araç değil: bitiş tarihi ve örneklem hedefi teste başlamadan yazılır, sonuç ekranına bakmak serbesttir ama karar yalnızca planlanan noktada verilir. (İstisna: varyantta kritik bir hata/bozulma varsa test elbette derhal durdurulur — o karar istatistik değil, hasar kontrolüdür.)
Test Süresi ve Örneklem Baştan Nasıl Belirlenir?
Üç girdiyle hesaplanır ve hesap teste başlamadan yapılır:
Mevcut dönüşüm oranınız (kontrol varyantının tabanı),
Tespit etmek istediğiniz en küçük fark (MDE — "%10 göreli artışı görebileyim" gibi; küçük farkı görmek çok daha fazla trafik ister),
Anlamlılık eşiğiniz (yaygın standart %95).
Bu üçünü Evan Miller'ın örneklem hesaplayıcısı gibi ücretsiz bir araca girin; çıkan varyant başı örneklemi günlük trafiğinize bölün — test süreniz budur, yukarı doğru tam haftaya yuvarlanır. Süre 6-8 haftayı aşıyorsa dürüst sonuç şudur: bu sayfa bu trafikle bu inceliği test edemez — daha büyük (radikal) değişiklik test edin veya A/B yerine önce/sonra + kullanıcı araştırmasıyla ilerleyin.
Anlamlı Çıkmayan Test Başarısız mıdır?
Hayır — ve bu, test kültürünün en az anlaşılan parçası. "Fark bulunamadı" üç değerli şeyden birini söyler:
Değişiklik gerçekten fark yaratmıyor: O elementin sanıldığı kadar önemli olmadığını öğrendiniz; sonraki hipotezler daha isabetli olur.
Etki var ama tespit eşiğinizin altında: Küçük iyileştirme, bu trafikle görünmez. İş kararı: bu incelikte testlerle uğraşmaya değer mi?
Varyantınız iki zıt segmentte zıt çalışıyor olabilir: Toplamda sıfır görünür — ama bunu test bittikten sonra segment avcılığıyla "kanıtlamaya" kalkmayın; test sonrası bulunan segment farkı, yeni testin hipotezidir, mevcut testin sonucu değil.
Üçü de arşive yazılır. Kaybeden ve "sonuçsuz" testlerin arşivi, iki yıl sonra aynı tartışmayı yeniden yaşamamanın tek sigortasıdır — CRO denetim rehberimizin son maddesi boşuna test arşivi değil.
Hızlı Kontrol Listesi
Bitiş tarihi ve örneklem hedefi teste başlamadan yazıldı mı?
Süre tam hafta katında mı (7/14/21 gün)?
Örneklem hesabı yapıldı mı, yoksa "iki hafta koşturur bakarız" mı?
Tek ana metrik baştan tanımlı mı — test ortasında metrik değişmedi mi?
Anlamlılık eşiğine ilk değişte durdurma dürtüsüne direniliyor mu?
Sonuç hem anlamlı hem de iş açısından kayda değer mi?
Sonuçsuz testler de arşive öğrenimleriyle yazılıyor mu?
Test sonrası segment avcılığı yeni hipoteze mi dönüşüyor, "kazandı" iddiasına mı?
Dijital Kafa Yorumu
Erken durdurma, teknik değil organizasyonel bir problem: yönetime "test kazandı" demek, "dört hafta daha bekliyoruz" demekten her zaman daha kolay. Bu baskı altında ekipler farkında olmadan sonuç avcılığına döner.%95'e değen ilk anın ekran görüntüsü alınır, rapor yazılır, sayfa değiştirilir ve üç ay sonra kimse dönüşümün neden yerinde saydığını anlamaz. Test disiplininin ilk maddesi bu yüzden istatistik değil, beklenti yönetimidir: test süresi baştan herkese ilan edilir, ara sonuç raporlanmaz.
İkinci gözlem: Türkiye'de gördüğümüz sitelerin çoğunda asıl problem yanlış durdurulan test değil, trafiği yetmediği halde A/B testine zorlanan sayfalar. Örneklem hesabı "6 ay sürer" diyorsa cevap testi zorlamak değil, dönüşüm optimizasyonunun diğer araçlarına dönmektir, davranış verisi, kullanıcı araştırması ve önce/sonra karşılaştırması, düşük trafikte A/B'den daha dürüst sonuç verir. Kendi test programınızın istatistiksel sağlığını birlikte gözden geçirmek isterseniz ücretsiz bir görüşme planlayın.