«least-squares» etiketlenmiş sorular

Bir şehrin her bölgesindeki cinayet sayısını açıklamak için bir gerileme oluşturmaya çalışıyorum. Verilerimin bir Poisson dağılımını izlediğini bilmeme rağmen, şöyle bir OLS yerleştirmeye çalıştım: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Sonra, Poisson regresyonunu da denedim. Sahte: Sorun En Küçük Kareler regresyon daha iyi sonuçlar olması R2R2R^2 yüksektir (0.57 …

18 regression  least-squares  poisson-regression 

Kaynaktan İstatistiksel Öğrenme An Introduction James ve diğ., Çapraz doğrulama bırakılan bir çıkış (LOOCV) tahmini ile tanımlanır CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i buradaMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i = (y_i-\hat{y}_i)^2. Kanıt olmadan, denklem (5.2), en küçük kareler veya polinom regresyonu için (bunun sadece bir değişken üzerindeki regresyon için geçerli olup olmadığı bilinmemektedir), CV(n)=1n∑i=1n(yi−y^i1−hi)2CV(n)=1n∑i=1n(yi−y^i1−hi)2\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2 …

18 regression  self-study  cross-validation  least-squares 

Okuduğum birkaç makaleye, kitaba ve makaleye dayanarak edindiğim izlenim, bir olasılık kümesi dağılımını bir veri kümesine yerleştirmenin önerilen yolunun, maksimum olasılık tahmini (MLE) kullanmak olmasıdır. Bununla birlikte, bir fizikçi olarak, daha sezgisel bir yol, modelin pdf'sini en az kareler kullanarak verilerin ampirik pdf'sine yerleştirmektir. O zaman neden MLE, olasılık dağılım …

18 distributions  maximum-likelihood  least-squares  heteroscedasticity  fitting 

Bu listeyi burada gördüm ve en küçük kareleri çözmenin birçok yolu olduğuna inanamadım. Wikipedia'daki "normal denklemler" oldukça basit bir yol gibi görünüyordu: α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} Öyleyse neden sadece onları kullanmıyorsunuz? Mark L'nin ilk bağlantısında SVD veya …

17 regression  least-squares  scikit-learn 

Lojistik ve lineer regresyonda atlanan değişken önyargı hakkında bir sorum var. Diyelim ki bazı değişkenleri doğrusal regresyon modelinden çıkarıyorum. Atlanan değişkenlerin modelime dahil ettiğim değişkenlerle ilgisiz olduğunu varsayalım. Bu atlanan değişkenler, modelimdeki katsayıları etkilemez. Ancak lojistik regresyonda bunun doğru olmadığını öğrendim. Atlanan değişkenler, dahil edilen değişkenlerle katsayıları saptırır; atlanan değişkenler, …

17 regression  logistic  least-squares  bias 

ve F-Test arasında bir ilişki olup olmadığını merak ediyordum .R,2R,2R^2 Genellikle ve regresyonda doğrusal ilişki.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} Bir F-Testi sadece bir hipotez kanıtlar. ve F-Testi arasında bir ilişki var mı ?R,2R2R^2

17 regression  hypothesis-testing  least-squares  goodness-of-fit 

Standart bir OLS regresyon problemini düşünün\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}YY\YXX\Xββ\BΒ = argmin β { L } = ( x ⊤ X ) + X ⊤ Y .L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2.β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Ben aynı zamanda bir "ters" Sorun oluşturabilir: Verilen YY\Y ve β∗β∗\B^* bulmak X^X^\hat\X doğuracak β^≈β∗β^≈β∗\hat\B\approx \B^* , yani minimize edecek ∥argminβ{L}−β∗∥2‖argminβ⁡{L}−β∗‖2\|\argmin_\B\{L\}-\B^*\|^2 . …

16 regression  least-squares  ridge-regression 

Kısmi en küçük kareler regresyonunda (PLSR) veya kısmi en küçük kareler yapısal eşitlik modellemesinde (PLS-SEM) "kısmi" terimi ne anlama gelir?

16 multiple-regression  least-squares  terminology  sem  partial-least-squares 

Normalleştirmenin burada kullanılacak doğru kelime olup olmadığından emin değilim, ancak sormaya çalıştığım şeyi göstermek için elimden geleni yapacağım. Burada kullanılan tahminci en küçük karelerdir. Diyelim ki y=β0+β1x1y=β0+β1x1y=\beta_0+\beta_1x_1 , ortalamanın etrafında y=β′0+β1x′1y=β0′+β1x1′y=\beta_0'+\beta_1x_1' ; burada β′0=β0+β1x¯1β0′=β0+β1x¯1\beta_0'=\beta_0+\beta_1\bar x_1 ve x′1=x−x¯x1′=x−x¯x_1'=x-\bar x , böylece β′0β0′\beta_0' artık tahmini üzerinde herhangi bir etkiye sahip değildir β1β1\beta_1. …

16 regression  self-study  least-squares  regression-coefficients 

Aşağıdaki formun işlevlerini en aza indirmek için yinelenen yeniden ağırlıklandırılmış en küçük kareleri (IRLS) kullanıyorum, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) burada NNN , örneklerinin sayısıdır xi∈Rxi∈Rx_i \in \mathbb{R}, m∈Rm∈Rm \in \mathbb{R} istediğim sağlam tahmindir ve ρρ\rho uygun bir sağlam ceza fonksiyonudur. Diyelim ki dışbükey (kesinlikle olmasa …

16 estimation  least-squares  robust  irls 

Bu wikipedia bağlantısı OLS kalıntılarının hetero-esnekliğini tespit etmek için bir takım teknikleri listeler. Hetero-esneklikten etkilenen bölgelerin tespitinde hangi uygulamalı tekniğin daha verimli olduğunu öğrenmek istiyorum. Örneğin, burada OLS 'Residuals vs Fitted' planındaki orta bölgenin, arsanın yanlarından daha yüksek varyansa sahip olduğu görülmüştür (gerçeklerden tam olarak emin değilim, ancak sorunun uğruna …

16 regression  least-squares  heteroscedasticity 

Ben bu konuda çok yeniyim, umarım soru safsa beni affedersin. (Bağlam: Davidson & MacKinnon'un "Ekonometrik Teori ve Yöntemler" kitabından ekonometri öğreniyorum ve bunu açıklamıyorlar; Luenberger'in tahminlerini biraz daha ileri düzeyde ele alan optimizasyon kitabına da baktım , ancak şanssız). İlişkili projeksiyon matrisi P ile birlikte dikey bir projeksiyon sahip olduğumu …

16 regression  least-squares 

Bugün, küçük bir veri kümesiyle oynuyordum ve mükemmel çoklu bağlantı nedeniyle başarısız olmasını beklediğim basit bir OLS regresyonu yaptım . Ancak, olmadı. Bu, çoklu bağlantı konusundaki anlayışımın yanlış olduğunu ima ediyor. Sorum şu: Nerede yanılıyorum? Değişkenlerimden birinin diğerlerinin doğrusal bir kombinasyonu olduğunu gösterebileceğimi düşünüyorum. Bu, tam sıralaması olmayan bir regresör …

15 multiple-regression  least-squares  multicollinearity 

Doğrusal bir model için OLS çözümü, parametreler için en iyi doğrusal tarafsız tahmin ediciyi sağlar. Tabii ki daha düşük varyans için bir önyargıda işlem yapabiliriz, örneğin sırt regresyonu. Ama sorum önyargısız olmakla ilgili. Biraz yaygın olarak kullanılan, tarafsız ancak OLS tahmini parametrelerinden daha yüksek bir varyansa sahip başka tahminciler var …

15 regression  least-squares  linear  unbiased-estimator  blue 

Fitting hatları hakkında bir sunum yapıyorum. Basit bir doğrusal fonksiyonum var, . Aynı eşitliğe en uygun çizgimi koruyacak bir dağılım grafiğine koyabileceğim dağınık veri noktaları almaya çalışıyorum.y=1x+by=1x+by=1x+b Bu tekniği R veya Excel'de öğrenmek isterim - hangisi daha kolaysa.

15 r  regression  least-squares  excel