Kanıta dayalı bir analiz aracını nasıl anlarsınız?

Bir analiz aracı seçerken en çok göz ardı edilen şey şudur: gösterdiği sinyalin arkasında kanıt var mı, yoksa yalnızca bir iddia mı? Piyasada “sinyal ver, gerekçe verme” yaklaşımı normdur. Oysa doğrulanamayan bir sinyal, sizi denetleyemeyeceğiniz bir iddiaya mahkûm eder. İyi haber: bir aracın kanıta dayalı olup olmadığını, hiçbir uzmanlığa ihtiyaç duymadan, birkaç basit soruyla kendiniz test edebilirsiniz.

1. Sinyalin bir kanıtı var mı?

Araç bir formasyon ya da durum gösterdiğinde, o durumun geçmişte kaç kez görülüp kaç kez “çalıştığını” da gösteriyor mu? Bir sinyalin yanında geçmiş sonuç bilgisi yoksa, aslında elinizde yalnızca bir tahmin var demektir. Test etmek kolay: herhangi bir sinyalin yanında “geçmiş başarı oranı” ve “kaç vakada ölçüldü” bilgisini arayın. Bulamıyorsanız, o sinyalin bir kanıtı yok.

2. Örneklem (n) açık mı?

“%80 başarı” ifadesi hem 5 vakadan hem 5.000 vakadan çıkabilir — ama ikisi tamamen farklı şeydir. Küçük örneklemden çıkan yüksek bir oran, istatistiksel gürültüden başka bir şey değildir. Örneklem sayısını (n) gizleyip yalnızca oranı gösteren bir araç, size veri değil pazarlama sunuyordur. Her oranın yanında “kaç gözlemden” bilgisini arayın; yoksa orana güvenmeyin.

3. Belirsizlik beyan ediliyor mu?

Tek bir kesin sayı (“%64”) bir kesinlik yanılsaması yaratır. Dürüst bir araç, sonucun bir aralık olduğunu kabul eder (“%61–67 arası”) ya da en azından “bu sonuç kesin değil” diyebilir. Özellikle az veri olan durumlarda “emin değiliz” diyebilmek, bir zayıflık değil, bir dürüstlük işaretidir. Oranın yanında bir güven aralığı ya da belirsizlik ölçüsü var mı — buna bakın.

4. Metodoloji kamuya açık mı?

Bir istatistik, nasıl hesaplandığı bilinmeden denetlenemez. İyi bir araç, tespit kurallarını, “başarı”yı nasıl tanımladığını, hangi dönemi test ettiğini ve — çok önemli — borsadan silinen (delisted) şirketleri hesaba katıp katmadığını yayınlar. Yalnızca hayatta kalan şirketleri inceleyen bir test, sonuçları sistematik olarak olduğundan iyi gösterir. Sitede bir “metodoloji / nasıl hesaplıyoruz” sayfası arayın.

5. Başarısızlığı da gösteriyor mu?

Yalnızca kazanan formasyonları öne çıkaran bir araç, farkında olmadan bir seçim yanlılığı üretir. Dürüst bir araç, ortalamanın çoğu zaman mütevazı olduğunu — hatta bazı popüler formasyonların yazı-turaya çok yakın sonuç verdiğini — söylemekten çekinmez. Geçmiş sinyaller değiştirilemez bir arşivde mi tutuluyor, yoksa çalışmayanlar sessizce siliniyor mu? Bir aracın size en düşük başarılı sonuçları da gösterebilmesi, güvenilirliğinin en iyi kanıtlarından biridir.

Özet: bu beş soru — kanıt, örneklem, belirsizlik, metodoloji ve başarısızlık şeffaflığı — kanıtı pazarlamadan ayırır. Bir araç bunların hepsine “evet” diyebiliyorsa, size iddia değil, ölçülebilir bilgi sunuyordur. Price Chess tam da bu ilkeyle çalışır: her oranın örneklemini, güven aralığını ve dürüst ortalamasını gösterir. Yine de karar ve sorumluluk her zaman sizindir; hiçbir araç yatırım tavsiyesi vermez.