Önyargı-varyans Dengesi
Bias–variance Tradeoff
Tanım
Bir istatistiksel veya makine öğrenmesi modelinin karmaşıklığı artırıldığında, eğitim verisine uyum sağlama yeteneğinin (düşük önyargı) artması ancak yeni verilere karşı genelleme yapma kapasitesinin (yüksek varyans) düşmesi arasındaki kaçınılmaz denge durumu.
Örnek Vaka / Uygulama
Bilişsel bir karar verme mekanizmasını modelleyen bir araştırmacı, katılımcının tüm geçmiş tepkilerini ezberleyen çok karmaşık bir yapay sinir ağı kurarsa (düşük önyargı, yüksek varyans), bu model laboratuvara gelen yeni bir katılımcının davranışını öngörmekte tamamen başarısız olur çünkü ilk grubun gürültüsüne aşırı uyum sağlamıştır.
Derin Analiz
Hesaplamalı biliş ve istatistiksel modelleme bağlamında, bu trade-off bilişsel sistemlerin ve algoritmaların evrensel bir kısıtını temsil eder. Önyargı (bias), modelin varsayımlarının çok katı olmasından kaynaklanan sistematik hata (underfitting) anlamına gelirken; varyans (variance), modelin örneklemdeki gürültüye aşırı duyarlı hale gelerek her yeni veri setinde aşırı salınım yapması (overfitting) demektir. Araştırmacılar, model karmaşıklığını optimize ederek hem gerçeği temsil etme gücünü korumak hem de verideki rastgele gürültüyü modellememek için matematiksel bir optimizasyon süreci yürütürler.
Etimoloji
İngilizce 'bias' (önyargı, sapma, Latince 'bifax' kökünden türeyen iki yönlü eğilim) ve 'variance' (varyans, Latince 'variare' [değiştirmek, çeşitlendirmek] sözcüğünden) kelimelerinin birleşimi.
Karıştırmayın
Overfitting (Aşırı Uyum) ve Underfitting (Eksik Uyum) kavramları bu dengenin sonuçlarıdır; bias-variance tradeoff ise bu iki hata türü arasında kurulan denge mekanizmasının kendisidir.