En Küçük Kareler Regresyonu
Least Squares Regression
Tanım
Bağımlı değişken ile bir veya daha fazla bağımsız değişken arasındaki ilişkiyi tanımlamak için, gözlenen değerler ile modelin öngördüğü değerler arasındaki kare farkların toplamını minimize eden bir regresyon analizi türüdür.
Örnek Vaka / Uygulama
Bir klinik psikoloğun, hastaların günlük stres puanları (bağımsız değişken) ile uyku kalitesi skorları (bağımlı değişken) arasındaki doğrusal ilişkiyi incelediğini varsayalım. En küçük kareler regresyonu, veri kümesindeki her bir hastanın gözlenen uyku puanı ile modelin öngördüğü teorik uyku puanı arasındaki farkın (artıkların/residuals) karelerini minimum yapan en uygun doğru denklemini türeterek psikoloğun gelecekteki stres düzeylerine göre uyku kalitesini öngörmesini sağlar.
Derin Analiz
En küçük kareler regresyonu, istatistiksel modellemede parametre tahmininin temel taşlarından biridir. Gauss-Markov teoremi gereğince, hata terimlerinin varyansının homoskedastik ve ortalamasının sıfır olduğu varsayımı altında, En Küçük Kareler (Ordinary Least Squares - OLS) tahmin edicileri BLUE (Best Linear Unbiased Estimator - En İyi Doğrusal Yansız Tahmin Edici) özelliklerini taşır. Yöntem, veri noktaları ile model doğrusu arasındaki dikey mesafelerin karelerinin toplamını en aza indirerek en uygun (best-fit) hiper düzlemi türetir. Bu süreç, matris cebirinde normal denklemlerin çözülmesiyle ($\hat{\beta} = (X^TX)^{-1}X^Ty$) analitik olarak elde edilir.
Etimoloji
Karıştırmayın
Maksimum Olabilirlik Tahmini (Maximum Likelihood Estimation - MLE) ile sıklıkla karıştırılır; MLE dağılım parametrelerinimaximize etmeye odaklanırken, en küçük kareler regresyonu hata terimlerinin minimizasyonuna odaklanır ve dağılım varsayımı yapmak zorunda değildir.