Tüm Olası Alt Kümeler Regresyonu
All-possible-subsets Regression
Tanım
Sonuç değişkenini yordamak amacıyla, sonlu bir yordayıcı havuzundan oluşturulabilecek tüm olası alt küme denklemlerinin hesaplandığı ve en uygun modelin Akaike Bilgi Kriteri gibi ölçütlerle seçildiği bir regresyon yöntemidir.
Örnek Vaka / Uygulama
Klinik nöropsikoloji laboratuvarında yürütülen bir araştırmada, 10 farklı bilişsel test skorunun (yordayıcı havuzu) demans hastalarının işlevsellik düzeyini (sonuç değişkeni) ne derece yordadığını inceleyen bir araştırmacı, tüm olası alt kümeler regresyonunu uygular. Algoritma toplam 1023 farklı modeli test eder ve Akaike Bilgi Kriteri'ne (AIC) göre en düşük bilgi kaybını üreten, sadece dikkat ve bellek skorlarını içeren 2 değişkenli alt kümeyi 'en iyi' model olarak raporlar.
Derin Analiz
Çoklu doğrusal regresyon analizlerinde en parsimonieux (en az parametreyle en yüksek açıklayıcılık) modeli bulmak metodolojik birincil hedeflerden biridir. Sınırlı bir yordayıcı (bağımsız değişken) kümesinden $2^k - 1$ adet olası model türetilebilir; burada $k$ yordayıcı sayısını ifade eder. Tüm olası alt kümeler regresyonu, bu kombinatoryal uzayın tamamını tarayarak her bir alt küme kombinasyonu için regresyon denklemlerini çözer. Model seçimi, doğrusal cebir temelli matris hesaplamaları ve istatistiksel bilgi kriterleri (örneğin AIC, BIC veya düzeltilmiş $R^2$) aracılığıyla gerçekleştirilir. Yüksek boyutlu veri setlerinde hesaplama maliyeti üstel olarak artsa da, adım seçici (stepwise) regresyon yöntemlerinin doğurduğu yerel minimum tuzaklarından ve çoklu doğrusallık kaynaklı katsayı sapmalarından kaçınmak için güçlü ve kapsamlı bir optimizasyon stratejisi sunar.
Etimoloji
İngilizce 'all' (tüm) + 'possible' (olası) + 'subset' (alt küme) sözcükleri ile Latince 'regredi' (geri dönmek, adım atmak) kökünden türetilen 'regression' (regresyon) terimlerinin birleşiminden oluşur.
Karıştırmayın
Adım seçici regresyon (stepwise regression) ve ileri/geri seçilim (forward/backward selection) yöntemleriyle sıklıkla karıştırılır. Adım seçici yöntemler tüm kombinasyon uzayını taramaz, bunun yerine modele sırayla değişken ekler veya çıkarır; bu durum nihai modelin optimum olmaması riskini doğurur. Tüm olası alt kümeler regresyonu ise tüm uzayı taradığı için matematiksel olarak en optimal alt kümeyi bulmayı garanti eder.