Tahminci ve tahmin arasındaki ilişki nedir?

21

estimation terminology estimators

5

"İstatistiklerde, bir tahminci, gözlenen verilere dayanarak verilen bir miktarın tahminini hesaplamak için bir kuraldır: bu nedenle kural ve sonucu (tahmin) ayırt edilir." (Wikipedia makalesinin ilk satırı en.wikipedia.org/wiki/Estimator ).

— whuber

+1 (Sorunu açık bir Vikipedi sayfasında iyi formüle edilmiş bir cevabın olmasına rağmen) bu soruyu destekliyorum çünkü burada cevap vermeye yönelik ilk girişimler bazı inceliklerini işaret etti.

— whuber

@whuber, model parametrelerinin tahminlerinin tahmin edici olduğunu söyleyebilir miyim?

— avokado

2

@loganecolss Bir tahmin edici matematiksel bir fonksiyondur. Bu, herhangi bir veri kümesi için elde edebileceği değerden (tahmin) ayırt edilir. Farkı takdir etmenin bir yolu, belirli veri setlerinin, farklı tahmin ediciler (örneğin, Maksimum Olabilirlik veya İteratif Olarak En Az Tekrarlanan En Küçük Kareler gibi) kullanılarak doğrusal bir regresyondaki eğimin aynı tahminlerini üreteceğini belirtmektir. Tahminleri, bu tahminleri üretmek için kullanılan tahmincilerden ayırmadan, bu ifadenin ne dediğini anlayamayız.

— whuber

@whuber, belirli bir

veri setinde bile , farklı tahmin ediciler farklı tahminler de verebilirler, değil mi?

D

$D$

— avokado

13

EL Lehmann, klasik Nokta Tahmin Teorisi'nde bu soruyu pp 1-2'de yanıtlıyor.

Gözlemlerin şimdi , bilinen bir sınıfa ait ortak olasılık dağılımını ( takip ettiği varsayılan rastgele değişkenler tarafından üstlenilen değerler olduğu varsayılmaktadır ... $P$

... şimdi tahmin etme noktasında uzmanlaşalım ... [öngörülen dağılım sınıfında] tanımlanan gerçek-değerli bir fonksiyon olduğunu ve [gerçek dağılımdaki her ne ise ne olduğunu bilmek istediğimizi varsayalım . etkisi, ]. Ne yazık ki, ve dolayısıyla bilinmemektedir. Bununla birlikte, veriler için tahmini bir değer elde etmek için kullanılabilir dark yakın olacağı bir değere . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

Kelime: bir tahminci , belirli bir problemin üretebileceği olası herhangi bir veri seti için bir sayı ( tahmin ) ile gelen kesin bir matematiksel prosedürdür . Bu sayının, veri oluşturma işleminin belirli bir sayısal özelliğini ( ) temsil etmesi amaçlanmıştır ; buna "tahmin" diyebiliriz. $g(\theta)$

Tahmin edicinin kendisi rastgele bir değişken değildir : bu sadece matematiksel bir işlevdir. Ancak, ürettiği tahmin, rastgele değişkenler olarak modellenen verilere dayanmaktadır. Bu, tahminin (verilere bağlı olarak düşünüldüğü gibi) rastgele bir değişken haline gelmesini sağlar ve belirli bir veri kümesi için özel bir tahminde , rastgele bir değişkenin gerçekleşmesi olur.

Bir (geleneksel) sıradan en küçük kareler formülasyonunda, veriler sıralı çiftlerden oluşur . (bunlar, örneğin, verilen bir ilacın miktarları olabilir) deneyi ile tespit edilmiştir. Her (örneğin ilaca yanıt,) Normal bir olasılık dağılımından ama bilinmeyen ortalama ile gelen varsayılır ve ortak varyans . Bundan başka, araçlar ile ilişkili olduğu varsayılır üzeri formül $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ . Bu üç parametre - , ve herhangi bir değeri içintemel dağılımını belirler. Bu nedenle, bu dağılımınherhangi birözelliği işlevi olarak düşünülebilir. Bu özelliklere örnek olarak , eğim , değerinin kesilmesi verilebilir. $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ veya(bu formülasyona göre)olması gerekendeğerindeki ortalama bile. $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

Bu en küçük kareler bağlamda, bir sigara, örneğin , bir tahmin edicinin değerinde tahmin etmek için bir işlem olur ise 2'ye eşittir ayarlanmış Bu olup bu değer, çünkü tahmin olan rasgele (şekilde tamamen ayrı Verinin rastgeleliği): Bu dağılımla ilgili olmasına rağmen, dağıtımın (kesin sayısal) bir özelliği değildir. (Sadece testere olsa da, şöyle beklentisi ve için , e eşit , tahmin edilebilir.) $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

Lehmann'ın formülasyonunda, neredeyse her formül, neredeyse her mülkün bir tahmincisi olabilir. Bir tahminci ve tahminci arasında içsel bir matematiksel bağlantı yoktur. Bununla birlikte, bir tahmincinin tahmin etmesi öngörülen miktara oldukça yakın olması ihtimalini önceden değerlendirebiliriz. Bunu yapmanın yolları ve onları nasıl kullanacakları tahmin teorisinin konusudur.

— whuber
kaynak

1

(+1) Çok kesin ve ayrıntılı bir cevap.

— chl

2

Rastgele bir değişkenin işlevi değil aynı zamanda rastgele bir değişken midir?

— jsk

@jsk Burada yapmaya çalıştığım ayrımın

fonksiyonlarının bileşimi göz önünde bulundurularak netleştirilebileceğini düşünüyorum

İlk işlev, rastgele bir

değişkenidir ; ikincisi (burada

olarak adlandırılır) burada bir tahminci olarak adlandırılır ve iki

bileşimi bir "tahmin" veya "tahmin prosedürü" dür. değişken.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@ whuber Gönderinizde "Tahmin edicinin kendisi rastgele bir değişken değildir" diyorsunuz. Sizinle aynı fikirde olduğum konuyu açıklığa kavuşturmak için yayınınızı düzenlemeye çalıştım, ancak birisi düzenlememi reddetti. Belki de düzenlemenizi tercih ederler!

— jsk

Bu tartışmaya sohbette devam edelim .

— whuber

7

Kısacası: bir tahmin edici bir fonksiyondur ve bir tahmin, gözlemlenen bir örneği özetleyen bir değerdir.

Bir tahmin edici , rastgele bir örneği parametre tahminine eşleyen bir işlevdir:

Not bir tahmin edici olduğu, nrastgele değişkenlerrasgele bir değişkendir . Örneğin, bir tahminci örnek ortalamasıdır:

\hat{Θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

\bar{X} = \frac{1}{n} \sum_{n = 1}^{n} X_{i}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{θ} = t (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{n = 1}^{n} x_{i}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— Freeman
kaynak

estimator is a RV, while estimate is a constant?

— Parthiban Rajendran

Isn't your conclusion conflicting with @whuber's? Here you say estimator is RV, but whuber says otherwise.

— Parthiban Rajendran

Yes, I disagree with @whuber's statement "The estimator itself is not a random variable: it's just a mathematical function". A function of random variable is also a random variable. onlinecourses.science.psu.edu/stat414/node/128

— Freeman

3

It might be helpful to illustrate whuber's answer in the context of a linear regression model. Let's say you have some bivariate data and you use Ordinary Least Squares to come up with the following model:

Y = 6X + 1

At this point, you can take any value of X, plug it into the model and predict the outcome, Y. In this sense, you might think of the individual components of the generic form of the model (mX + B) as estimators. The sample data (which you presumably plugged into the generic model to calculate the specific values for m and B above) provided a basis on which you could come up with estimates for m and B respectively.

Consistent with @whuber's points in our thread below, whatever values of Y a particular set of estimators generate you for are, in the context of linear regression, thought of as predicted values.

(edited -- a few times -- to reflect the comments below)

— ashaw
kaynak

1

You have nicely defined a predictor. It is subtly (but importantly) different from an estimator. The estimator in this context is the least squares formula used to compute the parameters 1 and 6 from the data.

— whuber

Hmm, I didn't mean it that way, @whuber, but I think your comment illustrates an important ambiguity in my language that I didn't notice before. The main point here is that you can think of the generic form of the equation Y = mX + B (as used above) as an estimator, whereas the particular predicted values generated by specific examples of that formula (e.g., 1 + 6X) are estimates. Let me try to edit the paragraph above to capture that distinction...

— ashaw

btw, I'm trying to explain this without introducing the "hat" notation that I've encountered in most textbook discussions of this concept. Perhaps that's the better route after all?

— ashaw

2

I think you have hit a nice medium between accuracy and technicality in your original answer: keep it up! You don't need hats, but if you can manage to show how an estimator is distinguished from other, similar-looking things, that would be most helpful. But please notice the distinction between predicting a value Y and estimating a parameter such as m or b. Y could be interpreted as a random variable; m and b are not (except in a Bayesian setting).

— whuber

indeed, a very good point in terms of parameters versus values there. Editing again...

— ashaw

0

Suppose you received some data, and you had some observed variable called theta. Now your data can be from a distribution of data, for this distribution, there is a corresponding value of theta that you infer which is a random variable. You can use the MAP or mean for calculating the estimate of this random variable whenever the distribution of your data changes. So the random variable theta is known as an estimate, a single value of the unobserved variable for a particular type of data.

While estimator is your data, which is also a random variable. For different types of distributions you have different types of data and thus you have a different estimate and thus this corresponding random variable is called the estimator.

— Ankur Kothari
kaynak