Ridge Regresyon
Ridge Regression
Tanım
Çoklu doğrusal bağlantı (multicollinearity) problemlerini çözmek ve en küçük kareler tahmin edicilerinin varyansını düşürmek amacıyla katsayılara ceza terimi ekleyen bir düzenlileştirme (regularization) yöntemidir.
Örnek Vaka / Uygulama
Bir hastanedeki hastaların tansiyonunu yaş, kilo, boy, metabolizma hızı ve vücut kitle indeksi gibi birbirleriyle yüksek derecede ilişkili beş bağımsız değişkenle tahmin etmeye çalışan bir araştırmacı, OLS yönteminde katsayıların aşırı büyük ve anlamsız işaretlere sahip olduğunu görür. Ridge regresyon uygulayarak matrisin ana köşegenine bir lambda (cezalandırma) parametresi ekler; böylece değişkenler arasındaki multicollinearity etkisi kırılır ve model katsayıları kararlı, yorumlanabilir hale gelir.
Derin Analiz
Ridge regresyon, özellikle bağımsız değişkenler arasında yüksek düzeyde korelasyon (çoklu doğrusal bağlantı) bulunduğu durumlarda standart en küçük kareler (Ordinary Least Squares - OLS) tahminlerinin aşırı duyarlı ve kararsız hale gelmesini engeller. Maliyet fonksiyonuna L2 normu (katsayıların karelerinin toplamı) eklenerek, katsayı büyüklükleri sınırlandırılır. Bu işlem, sapmada (bias) hafif bir artışa neden olurken, varyansta dramatik bir azalma sağlayarak modelin genelleştirme yeteneğini (test verisi üzerindeki başarımını) optimize eder.
Etimoloji
İngilizce 'ridge' (sırt, tepe) kelimesi ile istatistik terminolojisindeki 'regression' (gerileme, bağıntı kurma) kavramının birleşiminden türetilmiştir; matris köşegenine eklenen değerlerin oluşturduğu tepe/sırt yapısına atıfta bulunur.
Karıştırmayın
Lasso regresyon ile sıkça karıştırılır. Lasso (L1 normu) bazı katsayıları sıfıra indirerek değişken seçimi yaparken, Ridge regresyon (L2 normu) katsayıları sıfıra yaklaştırır ancak hiçbirini tamamen modelden çıkarmaz.
Keşfetmeye Devam Edin
Çoklu Doğrusal Bağlantı
Çoklu Doğrusal Bağlantı
Multicollinearity
Çoklu regresyon analizinde, bağımsız değişkenlerin kendi aralarında yüksek derecede doğrusal ilişki sergilemesi durumu.
İncele