Sönümlenmiş Regresyon
Damped Regression
Tanım
Regresyon katsayılarının varyansını düşürmek ve aşırı uyumu (overfitting) engellemek amacıyla küçültüldüğü bir düzenlileştirme yaklaşımıdır.
Örnek Vaka / Uygulama
Yüzlerce genetik belirteçten hastaların tedavi yanıtını tahmin etmeye çalışan yüksek boyutlu bir biyoinstatislik çalışmasında, standart regresyon modelleri gürültüyü ezberleyerek patolojik katsayılar üretir. Sönümlenmiş regresyon uygulandığında, gürültülü değişkenlerin katsayıları sıfıra doğru çekilerek sönümlenir ve modelin klinik verideki gerçek sinyali yakalaması sağlanır.
Derin Analiz
Sönümlenmiş regresyon, ridge regresyon ve L2 cezalandırma yöntemleriyle doğrudan ilişkilidir. Çoklu doğrusallık (multicollinearity) probleminin varlığında, en küçük kareler (OLS) tahmincileri sapmasız kalır ancak varyansları aşırı derecede büyür. Bu durum, modelin örneklem dışı verilerde genelleme yapma yeteneğini felç eder. Sönümleme parametresi (lambda veya ceza terimi), maliyet fonksiyonuna eklenerek katsayı vektörünün normunu sınırlandırır. Bu mekanizma, hafif bir sapma (bias) pahasına tahmini varyansta dramatik bir düşüş sağlar ve ortalama kare hatayı (MSE) minimize eder.
Etimoloji
İngilizce 'damp' (salınımı veya şiddeti azaltmak, sönümlemek) kökünden türetilmiş olup istatistikte katsayıların aşırı büyümesini engelleme işlemini ifade eder.
Karıştırmayın
Lasso Regresyon ile karıştırılır; Lasso katsayıları tamamen sıfıra indirerek değişken seçimi yaparken, sönümlenmiş regresyon (Ridge) katsayıları sıfıra yaklaştırır ancak tamamen silmez.