Karar kütüğü doğrusal bir model midir?

Karar kütüğü, sadece bir bölünmüş bir karar ağacıdır. Ayrıca parçalı bir işlev olarak da yazılabilir.

Örneğin, bir vektör olduğunu ve ilk bileşeni olduğunu varsayalım , regresyon ayarında bazı kararlar olabilir $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Ama doğrusal bir model mi? nerede olarak yazılabilir ? Bu soru garip gelebilir, çünkü cevaplarda ve yorumlarda belirtildiği gibi, parçalı işlevi çizersek bu bir çizgi değildir. Bu soruyu neden sorduğum için lütfen bir sonraki bölüme bakın. $f(x)=\beta^T x$

DÜZENLE:

Bu soruyu sormamın nedeni lojistik regresyonun (genelleştirilmiş) doğrusal bir model olması ve karar sınırı da karar kütüğü için bir çizgidir. Ayrıca şu sorumuz var: Lojistik regresyon neden doğrusal bir model? . Öte yandan, karar kütüğünün doğrusal bir model olduğu doğru görünmüyor.

Bunu sormamın bir başka nedeni de şu sorudan kaynaklanıyor: Artırmada, temel öğrenci doğrusal bir modelse, son model sadece basit bir doğrusal model midir? burada, temel bir öğrenci olarak doğrusal bir model kullanırsak, doğrusal regresyondan başka bir şey elde edemeyiz. Ama temel öğreniciyi karar kütüğü olarak seçersek, çok ilginç bir model elde ediyoruz.

Burada, 2 özellik ve 1 sürekli yanıt ile regresyonu hızlandıran bir karar güdüsü örneği.

— Haitao Du
kaynak

Neden doğrusal olduğunu düşünüyorsun?

— Tim

@ hxd1011 burada karar sınırı ve karar fonksiyonu arasında ayrım yapmak önemlidir

— shadowtalker

1'den 1000'e eşit tüm emirleri olan 1000. dereceden bir polinom diyebilirim. Buna sıfır dereceli (sabit olarak da bilinir) bir model diyebilirim ve daha özlü bir şekilde temel özellikleri iletirdi. Klasik bir ağaç parçalı sabittir. Önemsiz ağaç, bir kütük, bir taraftaki modelin sabit diğerinin farklı bir sabit olduğu uzayda tek bir bölünmedir. Küresel olarak sabit değil, ama aynı zamanda poli1 de değil. R'deki "kübist" kütüphane, sabit modeller yerine gerçek doğrusal (poli1) modellere uyar. Bunu deneyebilirsin.

— EngrStudent - Monica'yı geri yükle

Düzlemde bir çizgi çizerseniz (diyelim y = 0) ve herhangi bir işlevini alırsanız , , gerçek çizgiler ( eksenine paralel kontur çizgileri olacaktır ), ama bu olacak değil doğrusal bir fonksiyon olsun.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

— Matthew Drury

Bu garip bir soru. İşlevi örneğinizden çizebilir misiniz (x <2 için 3 ve x> 2 için 5'e eşit)? Şuna bak - düz bir çizgi mi? Düz bir çizgi değilse, doğrusal bir işlev değildir.

— amip diyor Reinstate Monica

Yanıtlar:

Verileri dönüştürmediğiniz sürece hayır.

Dönüşümü eğer doğrusal bir modeldir : gösterge işlevi kullanılarak $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Sonra $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Düzenleme: Bu yorumlarda bahsedildi ama burada da vurgulamak istiyorum. Verileri iki parçaya bölen herhangi bir işlev, kesişme ve tek bir girişle (veri noktasının bölümün "tarafının" açık olduğu bir gösterge) bu formun doğrusal bir modeline dönüştürülebilir. Karar fonksiyonu ile karar sınırı arasındaki farkı not etmek önemlidir .

— shadowtalker
kaynak

"dönüşüm" zor, ben sinir ağı (MLP) doğrusal olmadığını düşünüyorum, ama dönüşüm sonra, doğrusal ..

— Haitao Du

O ise parametrelerde doğrusal bir modeli. Ve kukla

de afin lineerdir .

x^{'}

$x'$

— Michael M

@MichaelM Parametrelerde nasıl doğrusal? "Parametreler" ile

seçimini kastediyorum

x \leq 2

$x \leq 2$

— shadowtalker

@ hxd1011 "verileri dönüştürmediğiniz sürece cevap" hayır

— shadowtalker

Yanıtınızı "verileri dönüştürmediğiniz sürece (son yorumunuzdan) buna dahil etmek için düzenlemenizi öneririm. Şu anda açılış kelimeleriniz "Bu doğrusal bir model" dir ve insanlar karışabilir.

— amip diyor Reinstate Monica

Sorularınızın cevapları:

Karar kütüğü doğrusal bir model değildir .
Karar çizgisi, model doğrusal olmasa bile bir çizgi olabilir. Lojistik regresyon buna bir örnektir.
Artırılmış modelin temel öğrenci ile aynı model olması gerekmez. Bunu düşünürseniz, artırma örneğiniz ve bağlandığınız soru, karar kütüğünün doğrusal bir model olmadığını kanıtlar.

— Flounderer
kaynak

Bu cevap, sadece soruyu cevaplamak için gerekenden daha ayrıntılıdır. Gerçek uzmanlardan bazı yorumları kışkırtmayı umuyorum.

Bir zamanlar mahkeme salonundaydım ve yargıç (bağlamda iyi bir nedenden dolayı), bir köpeğin kuyruğuna bacak denirsek, bu bir köpeğin 5 bacağı olduğu anlamına mı geliyor? Peki doğrusal bir model nedir?

İstatistikler bağlamında, bir uzman tarafından doğrusal bir modelin fonksiyonlarından oluşan bir istatistiksel model anlamına geldiğini söyledim. $f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ hata koşullarının bağımsız ve normal olarak dağılmış olması gibi önemli bir kısıtlama ile. Bu tanımla, modelinizin doğrusal olup olmadığını söyleyemeyiz çünkü hata terimi hakkında hiçbir bilgi vermediniz. Biri hata terimi kısıtlamasını düşürürse, verdiğiniz işlevde veya ssdecontrol işlevinde verilen totolojik olarak doğrusaldır. Ancak saf bir şekilde, bu soru bağlamında, bu tatmin edici olmayabilir. Herhangi bir fonksiyon, bu anlamda bir lineerin temeli olarak kabul edilebilir. Çünkü fonksiyonların herhangi bir alanı fonksiyonların bir vektör alanına dönüştürülebilir.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

— meh
kaynak

Doğrusallığın hata terimleriyle ilgisi yoktur. Bu bir teşekkül etmesi ile ilgisi var parametrelerin lineer kombinasyonu . Bu, 2B alanda düz bir çizgiyi temsil eder (ancak daha genel olarak bir düzlemi temsil eder).

— shadowtalker

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Ancak fonksiyon doğrusal olacaktır

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

ısrar ettiği şey buysa, bu onun fikri ve zor bir gerçek değil. Bildiğim kadarıyla, "doğrusal bir model" için kesin kabul edilmiş bir tanım ya da aklımda bir tanesine ihtiyaç yoktur. Benim için, bir hata teriminin olması gerçeği modeli "doğrusal model" ten "istatistiksel doğrusal model" e çevirir. Terimleri hakkında doğası gereği doğrusal bir şey görmüyorum ve doğrusal modeller hakkında doğası gereği istatistiksel bir şey görmüyorum.

— shadowtalker

Bir hata teriminin varlığında ısrar eden IMO, örneğin, mühendislik veya fizikçinin deterministik bir fiziksel sürecin "doğrusal modeli" olarak nitelendirebileceklerini iskonto eder.

— shadowtalker