Bir P (Y | X) modeli, P (X) 'nin iid olmayan örneklerinden ve P (Y | X)' nin iid örneklerinden stokastik eğim alçalması ile eğitilebilir mi?

Bazı veri setlerinde stokastik eğim alçalması ile parametreli bir model (örn. Olasılığı en üst düzeye çıkarmak için) eğitilirken, eğitim örneklerinin eğitim veri dağıtımından alındığı yaygın olarak kabul edilir. Dolayısıyla, bir ortak dağıtım modellemekse , her bir eğitim örneği bu dağıtımdan çıkarılmalıdır. $P(X,Y)$ $(x_i,y_i)$

Amaç bunun yerine bir koşullu dağılım modellemekse, eğer iid şartı nasıl değişir? $P(Y|X)$

Ortak dağıtımdan her bir örneği yine mi çizmeliyiz? $(x_i,y_i)$
Biz çizmek mı gelen IID , daha sonra çizmek gelen IID ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$
dan iid değil çizebilir miyiz (örn. Zamanla ilişkili), sonra dan iid çizebilir ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$

Stokastik degrade iniş için bu üç yaklaşımın geçerliliği hakkında yorum yapabilir misiniz? (Veya gerekirse soruyu yeniden söylememe yardımcı olun.)

Mümkünse # 3 yapmak istiyorum. Uygulamam takviye öğreniminde, burada kontrol politikası olarak parametreli bir koşullu model kullanıyorum. Devletlerin dizisi derece ilişkilidir, ancak eylemleri devlet şartına bir stokastik politikasından istatistiksel bağımsız örneklenir. Elde edilen örnekler (veya bunların bir alt kümesi), politikayı eğitmek için kullanılır. (Başka bir deyişle, bir ortamda uzun bir süre kontrol politikası uyguladığınızı, bir durum / eylem örnekleri veri kümesi topladığınızı düşünün. Daha sonra durumlar zamanla ilişkilendirilmiş olsa da, eylemler duruma göre bağımsız olarak üretilir.) Bu, bu makaledeki duruma biraz benzemektedir . $x_i$ $y_i$ $(x_i,y_i)$

İlk başta alakalı görünen bir makale, Ryabko, 2006, " Koşullu Bağımsız Veri için Desen Tanıma "; ancak, durum ihtiyacım tersine çevrilir, burada (etiket / kategori / eylem) den değil çekilebilir ve (nesne / desen / durum) çizilir) . $y_i$ $P(Y)$ $x_i$ $P(X|Y)$

Güncelleme: Ryabko gazetesinde bahsedilen iki makale ( burada ve burada ) burada alakalı görünmektedir. Onlar varsayalım (örneğin muhtemelen IID durağan olmayan verilmez) keyfi bir süreç geliyor. Bu durumda en yakın komşu ve çekirdek tahmincilerinin tutarlı olduğunu gösteriyorlar. Fakat ben bu durumda stokastik gradyan kökenli temelli tahminin geçerli olup olmadığı konusunda daha fazla ilgileniyorum. $x_i$

— Tyler Streeter
kaynak

Belki bir şey eksik ve kağıdı okumadım, ama: dan non-iid çiziyorsunuz ve sonra den iid örnekleniyorsunuz . (2006) den non-iid çekiyor ve sonra den iid örnekliyor . Bunlar yeniden adlandırma ile aynı görünüyor. ve nesneleri hakkında bu durumu aynı kılan temelde farklı bir şey var mı ?

x_{i}

$x_i$

P (X)

$P(X)$

y_{i}

$y_i$

P (Y ∣ X)

$P(Y \mid X)$

y_{i}

$y_i$

P (Y)

$P(Y)$

x_{i}

$x_i$

P (X ∣ Y)

$P(X \mid Y)$

x

$x$

y

$y$

— Dougal

@Dougal: Fark koşullu rasgele alanlar, tedavi gibi o koşullu dağılım modelleri vardır ve farklı ... onlar sadece bir yönünü (modellemek ( "girişler" ve "çıkışlar") fakat ).

X

$X$

Y

$Y$

P (Y | X)

$P(Y|X)$

P (X | Y)

$P(X|Y)$

— Tyler Streeter

Bu durumda aşağıdaki benzetmeyi düşünürüm. Diyelim ki ve birbiriyle ilişkili iki zaman serisidir (zamanla korelasyon). bulmaya eşdeğer bir fonksiyonunu bulmak . Eğer , kalıntı olduğu, bir meyil olmaksızın, daha sonra tahmin prosedürü yakınlaşıyor IID (dolayısıyla sabit ve ilişkisiz) 'dir. Temel olarak zaman serilerini zaman sırasına göre veya herhangi bir rastgele sıraya göre işlemek, koşullu olasılık doğru olarak belirtildiği ve artıklar IID olduğu sürece bir MLE prosedüründe önemli olmamalıdır.

Y_{i}

$Y_i$

X_{i}

$X_i$

Y_{i} = f (X_{i}; θ)

$Y_i = f(X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$

— Çağdaş Özgenç

2 ya da 3 yapabileceğinizi düşünüyorum. Bununla birlikte, 3 ile ilgili sorun, X için rasgele dağıtımlara izin verirken, konsantre olma olasılığının tamamına ya da tamamına yakınına sahip olan dağılımları x-uzayında küçük bir aralık olmasıdır. Bu, P'nin (Y | X) genel tahminini incitecektir, çünkü belirli X değerleri için çok az veriniz veya hiç verileriniz yoktur.

— Michael R. Chernick
kaynak

3 numaralı yaklaşımla potansiyel olarak yüksek varyansla tarafsız bir sonuç alacağımı mı söylüyorsunuz?

— Tyler Streeter

X noktasında veya yakınında veri yoksa, P (Y | X = x ) değerini bile tahmin edemezsiniz ve yalnızca birkaç nokta varsa tahminin varyansı büyük olur.

_{1}

$_1$

_{1}

$_1$

— Michael R.Chernick

Evet, bu varyansın büyük olabileceği anlamına gelir. Sanırım asıl endişem tahmin edilen P (Y | X) 'un taraflı olup olmayacağı.

— Tyler Streeter

Bir nokta tahmini tartışmadık. P (X), P (Y) ve P (X | Y) için tarafsız tahminleriniz varsa ve bunları P (Y | X) = P (X | Y) P (Y) / P (X) formülüne takın. önyargılı bir tahmin alacaksınız.

— Michael R.Chernick

Stokastik gradyan kökenli P (Y | X) tahmininden bahsettiğimi vurgulamalıyım, bu durumda eğitim örneklerinin sırası ne kadar hızlı veya doğru modele yakınsamayı etkileyebilir. Sadece örneklerin sıralaması önemli değil, örnek ortalamaları kullanmıyorum.

— Tyler Streeter