Kalman Filtresi ile Polinom Regresyon Arasındaki İlişki Nedir?

Varsa Kalman filtrelemesi ile (gerekirse tekrarlanan) en küçük kareler polinomu regresyonu arasındaki ilişki nedir?

1. İyileştirme kriterleri açısından bir fark var

Kalman filtresi bir Lineer tahmin edicidir. Bu bir olan doğrusal optimum tahmincisi , yani dolaylı yanlış ve belirsiz gözlemlerinden ilgi model parametreleri algılar -.

Ama hangi anlamda optimal? Tüm gürültüler Gauss ise, Kalman filtresi , tahmini parametrelerin ortalama kare hatasını en aza indirir . Bu, altta yatan gürültünün Gauss DEĞİL olması durumunda , sözün artık geçerli olmayacağı anlamına geliyor . Doğrusal olmayan dinamikler durumunda, durum tahmini probleminin zorlaştığı iyi bilinmektedir. Bu bağlamda, hiçbir filtreleme planı diğer tüm stratejileri açıkça geride bırakmamaktadır. Böyle bir durumda, sistemi ek bilgilerle daha iyi modelleyebiliyorlarsa doğrusal olmayan tahmin ediciler daha iyi olabilir. [Bakınız Ref 1-2]

Polinom regresyonu , bağımsız değişken x ile bağımlı değişken y arasındaki ilişkinin, birinci dereceden bir polinom olarak modellendiği bir lineer regresyon şeklidir.

Polinom regresyonunun verilere doğrusal olmayan bir modele uymasına rağmen, bu modellerin tahmin açısından bakış açısından doğrusal olduklarını unutmayın, çünkü regresyon fonksiyonu bilinmeyen parametreler açısından . Eğer 'yi farklı değişkenler olarak ele alırsak , polinom regresyonu çoklu lineer regresyon olarak da değerlendirilebilir .$a_0, a_1, a_2$$x, x^2$

Polinom regresyon modelleri genellikle en küçük kareler metodu kullanılarak uygundur. En küçük kareler yönteminde de, ortalama kare hatasını en aza indiririz. En küçük kareler yöntemi, Gauss Markov teoremi koşullarında, katsayıların yansız tahmin edicilerinin varyansını minimize eder . Bu teorem, sıradan en küçük karelerin (OLS) veya doğrusal en küçük karelerin aşağıdaki koşullar altında En İyi Doğrusal Dengesiz Tahmin Edici (BLUE) olduğunu belirtir:

a. hataların beklentisi sıfır olduğunda, yani b. eşit varyanslara sahip olmak, yani c. ve hatalar yani$E(e_i) = 0$
$Variance(e_i) = \sigma^2 < \infty$
$cov(e_i,e_j) = 0$

NOT: Buradaki hataların Gauss ya da IID olması gerekmez. Sadece ilişkisiz olması gerekiyor.

2. Kalman Filter, tahmin edicilerin en az kareden evrimidir.

1970 yılında HW Sorenson, “En küçük kareler tahmini: Gauss'tan Kalman'a” başlıklı bir IEEE Spectrum makalesi yayınladı . [Bkz. Ref 3.] Kalman gibi tahmin ediciler.

Gauss'un çalışması sadece en küçük kareyi ortaya koymakla kalmadı, aynı zamanda olasılıklı bir bakış açısı kullanan en eski çalışmalardan biriydi. En küçük kareler çeşitli regresyon metotları şeklinde geliştiği halde, tahmin edici olarak kullanılacak filtre teorisini getiren başka bir kritik çalışma vardı.

Durağan zaman serileri kestirimi için kullanılacak filtreleme teorisi, 1940'larda (WW-II sırasında) Norbert Wiener tarafından inşa edildi ve 1949'da Wiener filtresi olarak bilinen yayınlandı. Çalışma çok daha önce yapıldı, ancak II. Dünya Savaşı'ndan çok sonraya kadar sınıflandırıldı. Wiener'in çalışmasının ayrık zaman eşdeğeri Kolmogorov tarafından bağımsız olarak türetildi ve 1941'de yayınlandı. Bu nedenle teoriye genellikle Wiener-Kolmogorov filtreleme teorisi denir .

Geleneksel olarak filtreler, istenen frekans tepkisi için tasarlanmıştır. Bununla birlikte, Wiener filtresi durumunda, istenen gürültüsüz sinyalin bir kestirimi ile kıyaslandığında bir sinyalde mevcut gürültü miktarını azaltır. Weiner filtresi aslında bir tahmin edicidir. Bununla birlikte, önemli bir makalede, Levinson (1947) [Bakınız Ref 6], ayrık bir zamanda tüm teorinin en küçük karelere indirgenebileceğini ve matematiksel olarak çok basit olduğunu göstermiştir. Bakınız Ref 4

Böylece, Weiner'in çalışmasının kestirim sorunu için yeni bir yaklaşım getirdiğini görebiliriz; en küçük karelerin kullanılmasından iyi kurulmuş başka bir filtre teorisine doğru bir evrim. Bununla birlikte, kritik sınırlama Wiener filtresinin girişlerin sabit olduğunu varsaymasıdır. Kalman filtresinin durağan kriterleri düşüren evrimde bir sonraki adım olduğunu söyleyebiliriz. Kalman filtresinde, durum uzayı modeli, sinyalin veya sistemin durağan olmayan doğası ile başa çıkmak için dinamik olarak uyarlanabilir.

Kalman filtreleri ayrık zaman domenindeki lineer dinamik sistemlere dayanır. Bu nedenle, Wiener'e göre potansiyel olarak zamana göre değişen bir sinyalle başa çıkabilmektedir. Şöyle Sorenson kağıt Gauss en küçük kareler ve Kalman filtresi olarak arasındaki paralellik

... bu nedenle, Gauss ve Kalman'ın temel varsayımlarının, daha sonra devletin bir zamandan diğerine değişmesine izin vermesi dışında aynı olduğu görülmektedir. Bu fark, Gauss'un problemine önemsiz olmayan bir değişiklik getirse de, en küçük kareler çerçevesinde ele alınabilir.

3. Nedensellik tahmin yönüyle ilgili olduğu kadarıyla aynıdır; uygulama verimliliği yanında

Bazen Kalman filtresi gerileme veya en kareler olarak yumuşatma yok nerede geçmiş verilere dayanan gelecek olayların tahminiyle için kullanıldığını algılanmaktadır içinde noktalarını uçtan uca. Bu gerçekten doğru değil. Okuyucular, hem tahmin edicilerin (hem de aklınıza gelebilecek neredeyse tahmin edicilerin) her ikisinin de yapabileceğini not etmelidir. Kalman yumuşatma uygulamak için Kalman filtresi uygulayabilirsiniz .

Benzer şekilde, regresyona dayalı modeller de tahmin için kullanılabilir. Eğitim vektörü göz önüne alındığında, hem de uygulamış ve model parametrelerini keşfetti başka örnek için şimdi biz tahmin edebilir modeline dayalı.$X_t$$Y_t$$α_0 ... a_K$$X_k$$Y_K$

Bu nedenle, her iki yöntem de düzleştirme veya takma (nedensel olmayan) ve gelecekteki tahminler için (nedensel durum) kullanılabilir. Ancak, kritik fark önemli olan uygulamadır. Polinom gerilemesi durumunda - tüm süreç tekrarlanmalı ve dolayısıyla nedensel tahmin yapmak mümkün olabilirken, hesaplama açısından pahalı olabilir. [Bununla birlikte, işleri tekrar etmek için şimdiye kadar bir araştırma yapılması gerektiğinden eminim].

Öte yandan, Kalman filtresi kendiliğinden özyinelemelidir. Bu nedenle, gelecek için öngörü için yalnızca geçmiş verileri kullanarak kullanmak çok etkili olacaktır.

İşte birkaç yöntemi karşılaştıran iyi bir sunum: Ref 5

Referanslar

1. Kalman Filtresine En İyi Giriş - Dan Simon Kalman Gömülü Sistemlerin Filtrelenmesi Programlama HAZİRAN 2001 Sayfa 72

2. Sunum: Lindsay Kleeman Kalman Filtrelemeyi Anlama ve Uygulama

3. HW Sorenson En küçük kareler tahmini: Gauss'tan Kalman IEEE Spectrum'a, Temmuz 1970. s. 63-68.

4. Ders Notu MIT Ders Eşyaları

5. Sunum Simo Särkkä Lineer Regresyondan Kalman Filtresine ve Helsinki Teknoloji Üniversitesinin Ötesine

6. Levinson, N. (1947). "Filtre tasarımında ve tahminde Wiener RMS hata kriteri." J. Math. Phys., V. 25, sayfa 261-278.

Aradaki fark oldukça büyük, çünkü aynı problemi çözmek için kullanılabilecek iki farklı model. Hızlıca özetleyelim.

Polinom regresyonu, fonksiyon yaklaşımının bir yoludur. şeklinde bir veri kümesine ve olasılık yoğunluğu tahmin edilerek ifade edilen, fonksiyonel ilişkiyi belirlemek istiyoruz . Bu bir Gauss olduğu varsayımı altında, en küçük kareler çözümünü maksimum olasılık tahmincisi olarak alıyoruz.$\lbrace x_i, z_i \rbrace$$p(z|x)$$p$

Kalman filtreleme, doğrusal bir dinamik sistemdeki özel bir çıkarım yöntemidir. LDS'ler, gözlemlediğimiz verilerin bir Gauss rastgele değişkenleri üzerinde bir Markov zincirinin sonraki adımlarına doğrusal bir dönüşümün uygulanmasıyla üretildiğini varsaydığımız özel bir durum uzay modelleri örneğidir. Dolayısıyla aslında yaptığımız şey , bir zaman serisinin olasılığı olan modelini oluşturmaktır . Kalman Filtreleme işlemi daha sonra bir zaman serisinin bir sonraki değerini tahmin etmektir, örneğin maksimize etmek . Fakat aynı model yumuşatma, enterpolasyon ve daha pek çok konuda çıkarım yapmak için kullanılabilir.$p(x_{1:T})$$p(x_{t+1}|x_{1:t})$

Böylece: polinom regresyonu işlev yaklaşımı, Kalman filtrelemesi zaman serileri tahminini yapar. İki tamamen farklı şeyler, ancak zaman serileri tahmini, fonksiyon yaklaşımı için özel bir durumdur. Ayrıca, her iki model de gözlemledikleri veriler üzerinde oldukça farklı varsayımlara dayanmaktadır.

Kalman filtrelerinde uzman değil, ancak geleneksel Kalman filtresinin, doğrusal olmayan ilişkileri varsayabilecek Genişletilmiş Kalman filtreleri gibi daha karmaşık olanların aksine, gözlemlenebilir veriler ile elde etmek istediğiniz veriler arasında doğrusal bir ilişki olduğunu düşündüğüme inanıyorum .

Bunu akılda tutarak, geleneksel bir Kalman filtresi için, çevrimiçi lineer regresyonun, performanstaki Kalman'a benzer olacağına inanıyorum. Bununla birlikte, geleneksel bir Kalman'ın yakalayamayacağı doğrusal olmayan bir ilişki varsayabilecek bir polinom regresyonu da kullanılabilir.

Kalman filtrelemesi, bir regresyonun ekstrapolasyonunun olmayacağı bir sonraki durum için birçok öngörüde bulunur.

Kalman filtreleri aynı zamanda gürültü faktörlerini de dahil etmeye odaklanmıştır (Gauss dağılımlarına dayanarak).

Çok şey söylendi, bazı yorumlar eklememe izin ver:

Kalman filtreleri, Bayesian olasılık teorisinin bir uygulamasıdır; bu, "a priori bilgisi" veya "önceki belirsizlik" in belirtilebileceği (ve gerekir) anlamına gelir. Anladığım kadarıyla, geleneksel en küçük kareler uydurma ile durum böyle değil. Gözlemler (veriler) LSQ montajındaki olasılıklarla ağırlıklandırılabilirken, bir çözüme ilişkin önceden bilgi kolayca göz önüne alınmaz.

Özet olarak, bir KF tarafından bulunan çözümler

a) 'tahminler' sağlayacak bir model

b) 'gözlem' olan ölçümler

c) tahminler ve gözlemlerdeki belirsizlik

d) Çözüm hakkında önceden bilgi sahibi olmak.

"önceki bilgiler", ilk tahminde bir varyans olarak belirtilmiştir, ancak her başvuruda aynı ölçüde ilgili değildir veya kullanılmamaktadır.

Daha önce belirtildiği gibi, KF'nin ortak kullanımı gerçek zamanlı gözlemlerde gürültüyü azaltmaktır. Gözlemleri model tahminleriyle karşılaştırmak, gürültüden yoksun 'gerçek ölçümü' tahmin etmeye yardımcı olabilir. Bu yaygın uygulama KF'nin filtre olarak adlandırılmasının nedenidir.

Bu örnekteki ilk tahmin, KF'nin başladığı sıfır zamanda, ilgili "önceki belirsizlik" ile ilgili olarak kabul edilen çözüm olacaktır. Çoğunlukla öngörücü modelde bazı bilinmeyen parametrelere sahip olursunuz, ancak ölçümlerle sınırlandırılabilir, yani "gözlemlenebilir". KF, hem bu parametreler hem de “gerçek ölçümler” konusundaki tahminlerini zaman serisi veri boyunca ilerledikçe geliştirecektir. Bu durumda, başlangıç ​​durumu genellikle tutarlı bir filtreleme performansına yol açacak şekilde belirtilir: KF'nin çözümü ile sağladığı belirsizlik sınırları dahilindeki gerçek tahmin hataları. Bu örnekte, başlangıç ​​durumundaki önceki belirsizliğin KF'ye içerdiği hataları düzeltme fırsatı veren büyük olduğu belirtilebilir. Küçük değerler de belirtilebilir,

KF tasarımının bu alanı, başlangıçtaki durumun ve iyi performansa yol açan belirsizliğin ortaya çıkması için deneme yanılma veya mühendislik kararını içerebilir. Bu nedenle, KF filtre tasarımının bu ve diğer yönleri, iyi performansla sonuçlanacak belirsizliklerin belirlenmesini içerir (sayısal, tahmin, tahmin olsun ...) genellikle "filtre ayarlama" olarak adlandırılır.

Ancak diğer uygulamalarda, önceden belirsizliklere daha titiz ve kullanışlı bir yaklaşım benimsenebilir. Önceki örnek, gerçek zamanlı tahmin ile ilgiliydi (belirsiz ölçümlerden çıkan gürültüyü filtrelemek için). İlk durum ve varyansı (önceden belirsizlik), filtrenin erken bir zamanda başlatılması için neredeyse gerekli bir kötülüktür, bundan sonraki tahminler gelecekteki gözlemleri geliştirmek için kullanıldığında başlangıç ​​durumu giderek önemsiz hale gelir. Şimdi belli bir zamanda t_s ölçümlerine ve model tahminlerine uygulanan bir Kalman filtresi düşünün. Belirsiz gözlemler, belirsiz bir model var, ancak aradığımız çözümle ilgili bazı önceden bilgimiz de var. Diyelim ki Gaussian PDF'sini biliyoruz: ortalama ve varyans. Bu durumda, çözüm, yukarıda belirttiğim gibi d.

Bayesian teorisinin temelini oluşturan bu özellik, KF'nin tipik olarak mevcut olan her türlü belirsizliği / bilgiyi hesaba katarak stokastik problemleri çözmesini sağlar. KF onlarca yıldır geliştirilip uygulandığı için, temel özellikleri her zaman ayrıntılı olarak açıklanmamaktadır. Tecrübelerime göre, birçok makale ve kitap, optimizasyon ve doğrusallaştırmaya odaklanmaktadır (genişletilmiş KF, kokusuz KF, vb.). Ancak "parçacık filtreleri" konulu tanıtım makalelerini ve metinleri okuyarak Bayesian teorisi ve KF arasındaki bağlantıların harika açıklamalarını buldum. Bunlar Bayesian tahmininin bir başka ve daha yeni bir uygulamasıdır, ilgileniyorsanız arayın!