R'de hesaplandığı gibi çok değişkenli ortogonal polinomlar nelerdir?

Tek değişkenli bir nokta kümesindeki ortogonal polinomlar, nokta ürünü ve çift korelasyonu sıfır olacak şekilde bu noktalarda değerler üreten polinomlardır. R fonksiyonu poli olan dikey polinomlar üretebilir .

Aynı fonksiyon, çok değişkenli bir nokta setinde dikey polinomlar üreten bir varyant polimere sahiptir. Her neyse, sonuçta elde edilen polinomlar, ikili sıfır korelasyonu olması bakımından dik değildir. Aslında, birinci mertebeden polinomların sadece orijinal değişkenler olması gerektiğinden, ilk mertebeden polinomlar orijinal değişkenler ilişkisiz olmadıkça dikey olmayacaktır.

O zaman sorularım:

• R'de polimerin hesapladığı çok değişkenli dikgen polinomlar nelerdir? Bunlar sadece tek değişkenli dik polinomların ürünü mü? Ne için kullanılırlar?
• Gerçek çok değişkenli dik polinomlar olabilir mi? Onları üretmenin kolay bir yolu var mı? R? Gerçekten regresyonda mı kullanılıyorlar?

Güncelleme

Superpronker'ın yorumuna yanıt olarak, ilişkisiz polinomlarla ne demek istediğime bir örnek veriyorum:

> x<-rnorm(10000)
> cor(cbind(poly(x,degree=3)))
              1             2             3
1  1.000000e+00 -6.809725e-17  2.253577e-18
2 -6.809725e-17  1.000000e+00 -2.765115e-17
3  2.253577e-18 -2.765115e-17  1.000000e+00

Poli fonksiyonu x noktaları (burada her polinom için 10.000 puan) olarak değerlendirilen dik polinomları döndürür. Farklı polinomlardaki değerler arasındaki korelasyon sıfırdır (bazı sayısal hatalarla).

Çok değişkenli polinomlar kullanırken, korelasyonlar sıfırdan farklıdır:

> x<-rnorm(1000)
> y<-rnorm(1000)
> cor(cbind(polym(x,y,degree=2)))
              1.0           2.0           0.1         1.1           0.2
1.0  1.000000e+00  2.351107e-17  2.803716e-02 -0.02838553  3.802363e-02
2.0  2.351107e-17  1.000000e+00 -1.899282e-02  0.10336693 -8.205039e-04
0.1  2.803716e-02 -1.899282e-02  1.000000e+00  0.05426440  5.974827e-17
1.1 -2.838553e-02  1.033669e-01  5.426440e-02  1.00000000  8.415630e-02
0.2  3.802363e-02 -8.205039e-04  5.974827e-17  0.08415630  1.000000e+00

Bu nedenle, bu iki değişkenli polinomların hangi anlamda dik olduğunu anlamıyorum.

Güncelleme 2

Regresyonda kullanılan "dik polinomların" anlamını açıklığa kavuşturmak istiyorum çünkü bu bağlam, dik Superpronker'ın yorumunda olduğu gibi, birbirine bağlı aralıklarda dik polinomlardan gelen fikirleri uygularken bir şekilde yanıltıcı olabilir.

Julian J. Faraway'in Pratik Regresyonu ve Anova'yı R sayfa 101 ve 102'yi kullanarak alıntıladım :

Ortogonal polinomlar , a, b, c ... katsayılarının vb. böylece olduğunda olur . Z'ye dik polinomlar denir.

$$z_1=a_1+b_1x$$ $$z_2= a_2+b_2x+c_2x^2$$ $$z_3= a_3+b_3x+c_3x^2+d_3x^3$$ $z_i^T·z_j=0$$i \neq j$

Dilin hafif bir şekilde kötüye kullanılmasıyla, yazar hem polinom (bir işlev olarak) hem de polinomun kümesinin noktalarında aldığı değerlerin vektörü için kullanır . Ya da belki de dilin kötüye kullanılması bile değildir çünkü kitabının başlangıcından beri yordayıcı olmuştur (örn. Yordayıcı tarafından alınan değerler kümesi).$z_i$$x$$x$

Dik polinomların bu anlamı aslında bir aralıkta dik polinomlardan farklı değildir. Herhangi bir ölçüm fonksiyonu ile ölçülebilir herhangi bir set üzerinde dik polinomları olağan bir şekilde (integralleri kullanarak) tanımlayabiliriz. Burada sonlu bir küme ( ) var ve integral yerine nokta ürünü kullanıyoruz, ancak sonlu kümemizin noktalarında Dirac deltası olarak ölçüm fonksiyonumuzu alırsak, hala dik polinomlar var.$x$

Ve korelasyon ile ilgili olarak: ortogonal vektörlerin nokta çarpımı ( sonlu kümedeki ortogonal vektörlerin görüntüsü olarak). İki vektörün nokta çarpımı sıfır ise, kovaryans sıfırdır ve kovaryans sıfırsa korelasyon sıfırdır. Doğrusal modeller bağlamında, "deneylerin dikey tasarımı" nda olduğu gibi "dik" ve "korelasyonsuz" arasında ilişki kurmak için çok yararlıdır.$R^n$

Neler olduğunu keşfedelim. Eminim aşağıdaki materyallerin çoğunu zaten biliyorsunuzdur, ancak gösterim ve tanımlar oluşturmak ve fikirleri netleştirmek için, soruyu cevaplamadan önce polinom regresyonunun temellerini ele alacağım. İsterseniz, bu gönderiye giden Ryolun üçte ikisi hakkında "Ne işe yarar" başlığına atlayın ve sonra ihtiyacınız olabilecek tanımlar için atlayın.

Ayar

Bir çeşit regresyonda potansiyel açıklayıcı değişkenlerin model matrisi . Bu, sütunlarını -vektörler olarak düşündüğümüz anlamına gelir ve bunların doğrusal kombinasyonlarını oluşturacağız, bir yanıtı tahmin etmek veya tahmin etmek. $n\times k$$\mathbb X$$\mathbb X$$n$$X_1, X_2, \ldots, X_k$$\beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k,$

Bazen, çeşitli sütunlarını katsayı katsayısı ile çarparak oluşturulan ek sütunlar eklenerek regresyon geliştirilebilir . Bu tür ürünler "monomiyaller" olarak adlandırılır ve şöyle yazılabilir$X$

$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$$

burada her "güç" sıfır veya daha büyüktür, her ürününde kaç kez göründüğünü gösterir. Uyarı bu , bir olan , sabit katsayılar (arasında -vector ) ve kendisi. Bu nedenle, monomiyaller (vektörler olarak) orijinal sütun uzayını içeren bir vektör uzayı üretir Daha büyük bir vektör uzayı olabilme olasılığı, bu prosedüre lineer kombinasyonlarla yanıt modellemesi için daha geniş bir alan sağlar.$d_i$$X_1$$X^0$$n$$1$$X^1=X$$\mathbb X.$

Orijinal model matrisi bir koleksiyon doğrusal kombinasyonuyla değiştirmeyi amaçlıyoruz. Bu monomials en az biri derecesi aştığında bu adlandırılır polinom regresyon.$\mathbb X$$1,$

Polinomların dereceleri

Bir derecesi , güçlerinin toplamıdır, Monomiyallerin doğrusal bir kombinasyonunun derecesi (bir "polinom"), sıfır olmayan katsayılara sahip monomiyal terimler arasındaki en büyük derecedir. Derecenin içsel bir anlamı vardır, çünkü orijinal vektör uzayının temelini değiştirdiğinizde, her vektörü tüm vektörlerin doğrusal bir kombinasyonu ile yeni bir şekilde temsil edilir; monomiyal böylece aynı derecedeki polinomlar haline gelir; ve sonuç olarak herhangi bir polinomun derecesi değişmez.$d_1+d_2+\ldots+d_k.$$X_i$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$

Derece doğal Bu polinom cebire "sınıflandırma" sağlamaktadır: fırın içerisinde monomials her doğrusal kombinasyonu tarafından oluşturulan vektör alan derecesi kadar ve dahil bir "polinomlar adlandırılan [veya kadar] derece içinde "dereceye kadar polinomların vektör alanı uzanan içinde$X$$d+1,$$d+1$$X,$$d$$X.$

Polinom regresyonunun kullanım alanları

Çoğu zaman, polinom regresyon olan keşif biz dahil etmek monomials başlangıçta bilmiyorum anlamında. Monomiyallerden yeni model matrisleri oluşturma ve regresyonun yeniden takılması işleminin birçok kez tekrarlanması gerekebilir, belki de bazı makine öğrenimi ortamlarında astronomik sayıda.

Bu yaklaşımla ilgili başlıca sorunlar

1. Monomiyaller, yeni model matrisinde genellikle problemli miktarlarda "çoklu doğrusallık" ortaya çıkarır, çünkü tek bir değişkenin güçleri yüksek oranda eşdoğrusal olma eğilimindedir. (İki farklı değişkenin gücü arasındaki eşgüdüm öngörülemez, çünkü bu değişkenlerin nasıl ilişkili olduğuna bağlıdır ve bu nedenle daha az tahmin edilebilir.)

2. Model matrisinin sadece tek bir sütununu değiştirmek veya yeni bir sütun girmek veya birini silmek, regresyon prosedürünün "soğuk yeniden başlatılması" gerektirebilir ve bu da hesaplama için uzun zaman alabilir.

Polinom cebirlerinin dereceleri her iki sorunun da üstesinden gelmenin bir yoludur.

Bir değişkente dik polinomlar

Bir göz önüne alındığında , tek kolon vektörü için "dik polinomlar" bir dizi kolon vektörleri dizisidir in monomials doğrusal kombinasyonları olarak oluşan alone-- yani, gücü olarak - aşağıdaki özelliklerle:$X,$$X$$p_0(X), p_1(X), p_2(X),\ldots$$X$$X$

1. Her bir derece için, vektörler ile aynı vektör alanı oluşturmak (Not bu olan olanlar -vector ve , sadece bir kendisi).$d=0, 1, 2, \ldots,$$p_0(X), p_1(X), \ldots, p_d(X)$$X^0, X^1, \ldots, X^d.$$X^0$$n$$X^1$$X$

2. karşılıklı olarak ortogonal anlamda olduğu için$p_i(X)$$i\ne j,$

   $$p_i(X)^\prime p_j(X) = 0.$$

Genellikle, bu model matrisi , sütunlarını birim uzunluğuna normalleştirerek ortonormal olarak seçilir : Ters nedeniyle en regresyon denklemleri görünür ve kimlik ters matris kendisi, bu çok büyük bir hesaplama kazancı temsil eder.

$$\mathbb{P} = \pmatrix{p_0(X) & p_1(X) & \cdots & p_d(X)}$$ $$\mathbb{P}^\prime \mathbb{P} = \mathbb{I}_{d+1}.$$ $\mathbb{P}^\prime \mathbb{P}$$\mathbb{I}_{d+1}$

Ortonormallik neredeyse Bunu inşaat yoluyla görebilirsiniz:$p_i(X).$

• İlk polinom, -vector birim uzunluğunun katı olmalıdır . Sadece iki seçenek vardır, Pozitif kare kökü seçmek gelenekseldir.$p_0(X),$$n$$\mathbf{1}=(1,1,\ldots,1)^\prime$$\pm \sqrt{1/n}\mathbf{1}.$

• İkinci polinom, ile dik olmalıdırÇözümü ortalama değerlerin vektörü olan karşı regresyon yapılarak elde edilebilir Artıklar ise aynı sıfır değildir, onlar sadece iki olası çözümler vermek$p_1(X),$$\mathbf{1}.$$X$$\mathbf{1},$$\hat X = \bar{X}\mathbf{1}.$$\epsilon = X - \hat X$$p_1(X) = \pm \left(1/||\epsilon||\right)\,\epsilon.$

...

• Genel olarak, , karşı gerilemesi ve artıkların birim vektörü olarak yeniden ölçeklendirilmesiyle elde edilir. uzunluğu. Kalanlar sıfır olmadığında iki işaret seçeneği vardır. Aksi takdirde, süreç sona erer: daha yüksek güçlerine bakmak verimsiz olacaktır (Bu güzel bir teoremdir, ancak kanıtının burada dikkatini dağıtması gerekmez.)$p_{d+1}(X)$$X^{d+1}$$p_0(X), p_1(X), \ldots, p_d(X)$$X.$

Bu, vektörlerinin gerçek dizisine uygulanan Gram-Schmidt işlemidir Genellikle hemen hemen aynı şey olan ancak sayısal olarak kararlı bir şekilde hesaplanan bir QR ayrışması kullanılarak hesaplanır.$X^0, X^1, \ldots, X_d, \ldots.$

Bu yapı , model matrisine dahil edilmesi gereken bir dizi ek sütun verir. Bu nedenle, bir değişkende polinom regresyonu, regresyonda başka bir iyileşme elde edilinceye kadar genellikle bu sekansın elemanlarını tek tek ekleyerek ilerler. Çünkü her yeni sütun, önceki katsayı tahminlerinden hiçbirini değiştirmeyenler de dahil olmak üzere öncekilere diktir. Bu etkili ve kolayca yorumlanabilir bir prosedür sağlar.

Çok Değişkenli Polinomlar

Keşifsel regresyon (ve model uydurma) genellikle bir modele hangi (orijinal) değişkenlerin dahil edileceği göz önünde bulundurularak ilerler; daha sonra bu değişkenlerin, monomiyaller gibi çeşitli dönüşümleri dahil edilerek artırılıp artırılamayacağını değerlendirmek; ve daha sonra bu değişkenlerin ürünlerinden ve bunların yeniden ifadelerinden oluşan "etkileşimler" in tanıtılması.

Bu tür bir program taşıma, daha sonra, şekillendirme ile başlayacak tek değişkenli ortogonal polinomları sütunlarında ayrı ayrı. $\mathbb X$ Her sütun için uygun bir derece seçtikten sonra etkileşimleri tanıtabilirsiniz.

Bu noktada, tek değişkenli programın bazı bölümleri parçalanır. Uygun bir model belirlenene kadar hangi etkileşimleri birer birer uygularsınız? Dahası, şimdi çok değişkenli analiz alanına gerçekten girdiğimize göre, mevcut seçeneklerin sayısı ve artan karmaşıklığı, bir dizi çok değişkenli ortogonal polinom dizisinin inşasında azalan getiriler olabileceğini düşündürmektedir . Bununla birlikte, aklınızda böyle bir dizi varsa, bir QR ayrışması kullanarak bunu hesaplayabilirsiniz.

---

Ne Ryapar

Bu nedenle polinom regresyon yazılımı, tek değişkenli ortogonal polinom dizilerinin hesaplanmasına odaklanma eğilimindedir . Bu Rdesteği tek değişkenli polinom gruplarına mümkün olduğunca otomatik olarak genişletmek için karakteristiktir . Bu ne polyyapar. (Eşi polymaslında daha az sayıda çan ve ıslık ile aynı koddur; iki işlev aynı şeyleri yapar.)

Özellikle, polytek bir vektörü verildiğinde belirli bir derece durarak bir tek değişkenli ortogonal polinom dizisini hesaplayacaktır (Eğer çok büyük - ve çok büyük ne kadar büyük tahmin etmek zor olabilir -. Ne yazık ki bir hata verir), belirli bir zaman dizi vektörleri bir matris şeklinde geri dönecek$X,$$d.$$d$$X_1, \ldots, X_k$$\mathbb X,$

1. Her bir için ortonormal polinom istenen maksimum dereceye kadar ( sabit vektörü tüm değişkenler için ortak olduğundan ve çok basit olduğundan - genellikle regresyondaki kesişme tarafından barındırılır - dahil etmek zahmetine girmez.)$p_1(X_j), p_2(X_j), \ldots, p_d(X_j)$$j$$d.$$p_0(X_i)$R

2. Derece olanlar dahil dik polinomlar arasındaki tüm etkileşimler$d.$

Adım (2) çeşitli incelikleri içerir. Genellikle değişkenler arasındaki bir "etkileşim" ile "tüm olası ürünler" anlamına geliriz, ancak bu olası ürünlerden bazıları den büyük derecelere sahip olacaktır Örneğin, değişken ve hesaplar$d.$$2$$d=2,$ R

$$p_1(X_1),\quad p_2(X_1),\quad p_1(X_2),\quad p_1(X_1)p_1(X_2),\quad p_2(X_2).$$

Retmez olmayan daha yüksek dereceden etkileşimleri içerir ya da (derece 3 polinomları) (derece 4 bir polinom). (Bu ciddi bir sınırlama değildir, çünkü bu ürünleri kendiniz kolayca hesaplayabilir veya bir regresyon nesnesinde belirtebilirsiniz .)$p_2(X_1)p_1(X_2),$ $p_1(X_1)p_2(X_2)$$p_1(X_2)p_2(X_2)$formula

Başka bir incelik, çok değişkenli ürünlerin hiçbirine normalizasyon yapılmamasıdır . Örnekte, bu tür tek ürün Bununla birlikte, ortalamasının sıfır olacağına ve neredeyse kesinlikle birim normuna sahip olmayacağına dair bir garanti yoktur. Bu anlamda ve arasında gerçek bir "etkileşim" ve bu nedenle etkileşimler genellikle bir regresyon modelinde olduğu için yorumlanabilir.$p_1(X_1)p_1(X_2).$$p_1(X_1)$$p_1(X_2)$

Bir örnek

Bir örneğe bakalım. Rastgele bir matrix Hesaplamaları takip etmeyi kolaylaştırmak için her şey gösterim için iki önemli rakama yuvarlanır.

$$\mathbb{X} = \pmatrix{1 & 3 \\ 5 & 6 \\ 2 & 4}.$$

İlk sütun için ortonormal polinom dizisi, birim uzunluğuna normalleştirilerek başlar veBir sonraki adım kendisini içerir. Bu ortogonal hale getirmek için gerileme karşı ve ayar birim uzunluğu için yeniden olçeklendirilmiş bu gerileme artıkları için eşittir. Sonuç olağandır standardizasyon ve o recentering ve standart sapma ile bölünmesi ile elde edilen,$X_1 = (1,5,2)^\prime$$X_1^0= (1,1,1)^\prime$$p_0(X_1) = (1,1,1)^\prime/\sqrt{3} \approx(0.58,0.58,0.58)^\prime.$$X_1^1 = X_1$$p_0(X_1),$$X_1$$p_0(X_1)$$p_1(X_1)$$X_1$$p_1(X_1) = (-0.57,0.79,-0.23)^\prime.$ Son olarak, ve karşı geriledi ve bu artıklar birim uzunluğuna göre yeniden ölçeklendi. Daha ileri gidemeyiz çünkü güçleri boyuttan daha büyük bir vektör alanı . (Buraya kadar geldik, çünkü katsayılarının minimum polinomu yani derece derece veya daha büyük tüm monomiyallerin daha düşük doğrusal kombinasyonlar olduğunu gösteriyor. güçler ve bu düşük güçler doğrusal olarak bağımsızdır.)$X_1^2 = (1,25,4)$$p_0(X_1)$$p_1(X_1)$$X_1$$n=3$$X_1,$$(t-1)(t-5)(t-4),$$3,$$3$

için bir ortonormal polinom dizisini temsil eden sonuçtaki matris ,$X_1$

$$\mathbb{P_1} = \pmatrix{0.58 & -0.57 & 0.59 \\ 0.58 & 0.79 & 0.20 \\ 0.58 & -0.23 & -0.78}$$

(iki önemli rakama).

Aynı şekilde, için bir ortonormal polinom matrisi ,$X_2$

$$\mathbb{P_2} = \pmatrix{0.58 & -0.62 & 0.53 \\ 0.58 & 0.77 & 0.27 \\ 0.58 & -0.15 & -0.80}.$$

Etkileşim terimi, bu matrislerin orta sütunlarının çarpımıdırVeya tarafından oluşturulan tam matris ,$(0.35, 0.61, 0.035)^\prime.$polypolym

$$\mathbb{P} = \pmatrix{-0.57 & 0.59 & -0.62 & 0.35 & 0.53 \\ 0.79 & 0.20&0.77& 0.61& 0.27 \\ -0.23 & -0.78 & -0.15 & 0.035 & -0.80}.$$

Sütunların düzenlendiği sıraya dikkat edin: için sabit olmayan ortonormal polinomlar sütun 1 ve 2'de, için olanlar ise sütun 3 ve . Bu nedenle, bu çıktıda garanti edilen tek dikeylik bunlar arasındadır iki çift sütun. Bu, ve konumlarında sıfırlar bulunan hesaplamasına yansır. (aşağıda kırmızı ile gösterilmiştir), * ancak başka hiçbir yerde sıfırdan farklı olabilir ve ve (mavi ile gösterilen konumlarda olanlar olacaktır aşağıda), ancak diğer çapraz konumlarda bir tane olması muhtemel değildir ($X_1$$X_2$$\mathbb{P}^\prime\mathbb{P},$$(1,2), (2,1), (3,5),$$(5,3)$$(1,1), (2,2), (3,3),$$(5,5)$$(4,4)$bu örnekte). Aslında,

$$\mathbb{P}^\prime\,\mathbb{P} = \pmatrix{\color{blue}{\bf 1} & \color{red}{\bf 0} & 1 & 0.28 & 0.091 \\ \color{red}{\bf 0} & \color{blue}{\bf 1} & -0.091 & 0.3 & 1 \\ 1 & -0.091 & \color{blue}{\bf 1} & 0.25 & \color{red}{\bf 0} \\ 0.28 & 0.3 & 0.25 & 0.5 & 0.32 \\ 0.091 & 1 & \color{red}{\bf 0} & 0.32 & \color{blue}{\bf 1}}.$$

gösterilen matrisini incelediğinizde ve nin katlarının gerçekten sıfır olduğunu fark ettiğinizde, kırmızı konumlardaki sıfırların bu deseninin tutulduğunu gözlemleyeceksiniz. Bu iki değişkenli polinomların "dik" olduğu duygusudur.$\mathbb P$$10^{-17}$