Backtest nedir ve neden çoğu backtest yanıltır?

Backtest, bir alım-satım kuralını ya da formasyonu geçmiş verilerle sınamaktır: “Bu kural son on yılda uygulansaydı ne olurdu?” Kulağa nesnel gelir — ama backtest, kendinizi kandırmanın da en kolay yollarından biridir. İyi haber şu: tuzakları tanırsanız, dürüst bir backtest ile abartılı bir masalı ayırt edebilirsiniz.

Backtest nedir?

Bir strateji tanımlarsınız (örneğin “RSI 30’un altındayken al, 70’in üstünde sat”), sonra bu kuralı geçmiş fiyat verisi üzerinde adım adım çalıştırıp sonuçları ölçersiniz. Çıktı; kazanç oranı, ortalama getiri, en büyük düşüş (drawdown) gibi metriklerdir. Sorun, ölçümün kendisinde değil — ölçümün nasıl yapıldığındadır.

Tuzak 1: Aşırı-uydurma (overfitting)

Bir stratejiyi geçmiş veriye o kadar “ayarlayabilirsiniz” ki, geçmişte kusursuz görünür — ama bunun nedeni gerçek bir kalıp değil, geçmişteki rastlantısal gürültüyü ezberlemesidir. On beş parametreyi geçmişe göre ince ayar yaparsanız, mükemmel bir eğri elde edersiniz; gelecekte ise bu eğri dağılır. Kural basit: geçmişe ne kadar çok uydurursanız, gelecekte o kadar az işe yarar.

Tuzak 2: İleriye-bakma (look-ahead)

Bir sinyalin sonucunu ölçerken, o an henüz bilinemeyecek bir bilgiyi kullanmak en sinsi hatadır. Örneğin günlük kapanış fiyatıyla üretilen bir sinyali, aynı günün içinden işlem yapmış gibi test etmek. Doğrusu, getiriyi sinyalin onaylandığı günün bir sonrasının açılışından (T+1) itibaren ölçmektir — çünkü gerçekte ancak o zaman işlem yapabilirdiniz.

Tuzak 3: Survivorship-bias

Yalnızca bugün hâlâ işlem gören şirketleri test ederseniz, geçmişte batıp borsadan çıkanları görmezden gelmiş olursunuz. Bu, sonuçları sistematik olarak olduğundan iyi gösterir — çünkü kaybedenler örneklemden silinmiştir. Dürüst bir backtest, borsadan çıkmış (delisted) varlıkları da dahil eder.

Tuzak 4: Çoklu-deneme (multiple testing)

Bin farklı strateji denerseniz, sırf şans eseri birkaçı harika görünür. Bunların en iyisini seçip “buldum” demek, aslında gürültüyü keşfetmektir. Akademik literatür bu tuzağı ciddiye alır: Bailey ve López de Prado’nun “Deflated Sharpe Ratio” çalışması, kaç strateji denendiğini hesaba katarak bir sonucun gerçekten anlamlı olup olmadığını ölçer. Kaç kez denediğinizi saymadan bulduğunuz “kazanan” çoğu zaman bir seraptır.

Dürüst bir backtest nasıl olur?

Sağlam bir backtest şu ilkelere uyar: örneklem-dışı (out-of-sample) test — kuralı bir dönemde kurup başka bir dönemde sınamak; T+1 getiri — ileriye-bakmayı engellemek; survivorship arındırması — delisted dahil; ve sonucu tek bir sayı yerine güven aralığıyla sunmak. Price Chess’in ampirik istatistikleri tam da bu disiplinle üretilir; nitekim mütevazı ama dürüst sonuç, çoğu formasyonun tek başına ancak yarı yarıya bir olumlu sonuç payı gösterdiğidir.

Özet: iyi bir backtest bir kristal küre değil, bir gerçeklik kontrolüdür. Amaç geçmişi güzelleştirmek değil, bir fikrin ne kadar kırılgan olduğunu görmektir. “Geçmişte kusursuz” çalışan bir stratejiden şüphelenin; dürüst bir sonuç genellikle mütevazıdır. Karar ve sorumluluk sizindir; bu içerik yatırım tavsiyesi değildir. (Kaynaklar: López de Prado, M., 2018, "Advances in Financial Machine Learning"; Bailey, D. & López de Prado, M., 2014, "The Deflated Sharpe Ratio".)