Parçalı doğrusal verileri sığdır

Parçalı doğrusal ancak gürültülü verilere uymanın sağlam bir yolu nedir?

Neredeyse doğrusal olan birkaç parçadan oluşan bir sinyali ölçüyorum. Geçişleri algılamak için verilere otomatik olarak birkaç satır sığdırmak istiyorum.

Veri seti birkaç bin noktadan oluşur, 1-10 segment ve segment sayısını biliyorum.

Bu otomatik olarak ne yapmak istediğime bir örnektir.

Saf olarak iki yaklaşım denedim (sadece 3 segment kullanarak). Elbette daha meraklı yöntemler olurdu.

RANSAC, sağlam bir montaj mekanizması olması gerekiyordu. Birkaç segmentten sonra algoritmayı durdurmak kolaydır. Ancak, en azından basit bir uygulama ile - uygulamanızda gerekli görüldüğü gibi - segmentler arasında sürekliliği zorlamak zor olabilir. Kavramın bir kanıtı olarak , Mathematica'nın hat algılama fonksiyonu olan bulunan RANSAC motorunu kullanabilmem için veri noktalarından bir görüntü oluşturdum .$ImageLines$

Genel amaçlı bir küçültücü kullanarak parçalı doğrusal model takın. Segmentlerin sürekliliğini zorlamak kolaydır. İlginçtir, artıklar ve diğer özellikler için testler, segment sayısını otomatik olarak belirlemek için yeterli bilgi sağlayabilir - yine de denemedim. Mathematica'da şöyle görünüyor:

$x[n]$

• $x[n]$$y[n]$

  $$y[n] = \begin{cases}1, &\text{if} ~ |(x[n+1]-x[n]) - (x[n]-x[n-1])| < \epsilon,\\ 0, &\text{otherwise.}\end{cases}$$ $\epsilon$$x[n-1],x[n], x[n+1]$$(n-1, x[n-1])$$(n,x[n])$$(n,x[n])$$(n+1,x[n+1])$

• $y[n]$$1$$0$$1$$1$$\epsilon$

• $y[n]$$x[3]$$x[88]$$x[94]$$x[120]$$x[129]$$\cdots$, ve bunun gibi. Kesiştikleri yeri bulmak için A'yı sağa ve B'yi sola doğru uzatın; kesiştikleri yeri bulmak için B'yi sağa ve C'yi sola doğru uzatın. Tebrikler, artık verileriniz için sürekli ve parçalı bir doğrusal modeliniz var.

(Yıllar sonra) parçalı doğrusal fonksiyonlar, çoğu spline tesisatçısının yapması söylenebilen 1. derece splinelardır. Örneğin scipy.interpolate.UnivariateSpline ile oynamak k=1 ve bir düzeltme parametresi ile çalışabilirsiniz s- bkz. scipy-interpolation-univariate-splines .
Matlab'da, nasıl seçileceğini öğrenin .

Eklendi: optimal düğüm bulmak kolay değil, çünkü birçok yerel optima olabilir. Bunun yerine, UnivariateSpline'a bir hedef s, hata ^ 2 toplamı verir ve düğüm sayısını belirlemesine izin verirsiniz . Taktıktan sonra get_residual(), hata ^ 2 ve get_knots()düğümlerin gerçek toplamını alırsınız . Küçük bir değişiklik s, özellikle yüksek gürültülü - ymmv'de düğümleri çok değiştirebilir.
Grafik, rastgele parçalı doğrusal fonksiyona + çeşitli parazitlere uyum gösterir s.

Parçalı sabitleri takmak için bkz. Adım algılama . Bu pw linear için kullanılabilir mi? Bilmiyorum; gürültülü verileri ayırarak başlamak gürültüyü artıracaktır, yanlış.

Diğer test fonksiyonları ve / veya bildiri veya kod bağlantıları memnuniyetle karşılanacaktır. Birkaç bağlantı:
parça olarak düğümler ile parçalı-doğrusal-regresyon
$\qquad$Doğrusal kamalar, düğümlerin kübik regresyon kamaları için düğüm seçimi yerleştirildiği yere çok duyarlıdır

$\qquad$ Bu zor bir sorundur ve çoğu insan düğümleri deneme yanılma yoluyla seçer.
$\qquad$ Popülerliği artan bir yaklaşım, bunun yerine cezalandırılmış regresyon spline'larını kullanmaktır.

optimal k lines
    = optimal k - 1 lines up to some x
    + cost of the last line x to the end
over x  (all x in theory, nearby x in practice)

Dinamik programlama çok zekidir, ancak bu görev için kaba kuvvet + buluşsal yöntemi yenebilir mi?
Erik Demaine tarafından MIT 6.006 Algoritmalara giriş altında
google segmentli lineer regresyon ve
John Henry sendromu altında mükemmel ders notlarına bakın .

Türevi alın ve neredeyse sabit değere sahip alanları arayın. İdeal olarak bir miktar +/- eğim düzeyine sahip alanları aramak için algoritma oluşturmanız gerekir ve bu da bu bölüm için çizginin eğimini verecektir. Kesitsel sınıflandırmayı yapmadan önce kayar ortalama gibi bir miktar düzleştirme yapmak isteyebilirsiniz. Bir sonraki adım, o noktada önemsiz olması gereken y kavşağını elde etmek olacaktır.

Bir l1 trend filtresi kullanmak başka bir fikirdir:

kâğıt

Çevrimiçi Örnek