Karmaşık veri ile analiz, farklı bir şey var mı?

31

Örneğin, doğrusal bir model yapıyorsunuz, ancak verileri karmaşıktır. $y$

$y = x \beta + \epsilon$

Sayılar tüm olarak benim veri seti karmaşıktır, formu vardır . Bu verilerle çalışırken prosedürel olarak farklı bir şey var mı? $y$ $(a + bi)$

Soruyorum, çünkü karmaşık kovaryans matrisleri elde edecek ve karmaşık değerli test istatistiklerini alacaksınız.

En küçük kareleri yaparken devrik yerine konjugat transpozisyon kullanmanız mı gerekiyor? değerli bir kovaryans anlamlı mı?

— bill_e
kaynak

3

Karmaşık sayıyı iki ayrı değişken olarak kabul edin ve bu şekilde i, tüm denklemlerinizden kaldırın. Aksi takdirde kabus olacak ...

— sashkello

veya hakkında herhangi bir bilgi var mı?

x

$x$

β

$\beta$

— Stijn

3

@Sashkello Ne "kabus"? Karmaşık sayılar kullandığınızda boyutlar yarı yarıya azalır, yani tartışmalı bir basitleştirme. Dahası, iki değişkenli bir DV'yi tek değişkenli bir DV'ye dönüştürdünüz , ki bu büyük bir avantajdır. PeterRabbit: evet, eşlenik devriklere ihtiyaç var. Kompleks kovaryans matrisi Hermitean pozitif kesindir. Gerçek meslektaşı gibi, anlamlılık sorununu ele alan pozitif özdeğerlere sahiptir.

— whuber

2

@whuber Eğer problem gösteriliyorsa, karmaşık sayılarla karşılaşmak hiç mantıklı gelmiyor. Karmaşık sayılarla uğraşmak daha kolay değildir - aksi halde burada hiçbir soru olmazdı. Her şey karmaşık sayılarla iyi sonuç vermeyecektir ve ne yaptığınızı bilmiyorsanız bu basit bir değişiklik değildir. Bu problemi gerçek uzaya dönüştürmek eşdeğerdir ve tüm istatistik tekniklerini çeşitli uygulamalarda karmaşık uzayda çalışıp çalışmadıklarına endişe etmeden uygulayabilirsiniz.

— sashkello

1

@whuber İyi cevap ve güzel açıklama.

— Birinden

40

özet

En küçük kareler regresyonunun karmaşık değerli değişkenlere genellemesi basittir; temel olarak normal matris formüllerinde eşlenik transpozitlerle matris transpozisyonlarının değiştirilmesinden oluşur. Yine de karmaşık değerli bir regresyon, standart (gerçek değişken) metotlar kullanarak çözüm elde etmek çok daha zor olan karmaşık bir çok değişkenli çoklu regresyona tekabül eder. Bu nedenle, karmaşık değerli model anlamlı olduğunda, bir çözüm elde etmek için karmaşık aritmetik kullanılması şiddetle önerilir. Bu cevap ayrıca, verileri görüntülemek ve uyumun teşhis alanlarını sunmak için önerilen bazı yolları da içerir.

Basit olması için, yazılabilecek normal (tek değişkenli) regresyon vakasını tartışalım.

z_{j} = β_{0} + β_{1} w_{j} + ε_{j} .

$z_j = \beta_0 + \beta_1 w_j + \varepsilon_j.$

Bağımsız değişkenini ve geleneksel bağımlı değişkenini adlandırma özgürlüğünü kullandım (bkz. Örneğin Lars Ahlfors, Karmaşık Analiz ). Tüm bunlar, çoklu regresyon ayarına genişletmek için basittir. $W$ $Z$

yorumlama

Bu model, kolayca görsel geometrik yorumu vardır: tarafından çarpma olacaktır rescale modülü tarafından ve döndürmek argümanı ile kökeni etrafında . Daha sonra eklenmesi sonucu bu miktarda çevirir. etkisi bu çeviriyi biraz "titremektir". Böylece, gerileme üzerinde bu şekilde 2D puan toplama anlamak için çaba 2D puan takımyıldızı kaynaklanan olarak $\beta_1$ $w_j$ $\beta_1$ $\beta_1$ $\beta_0$ $\varepsilon_j$ $z_j$ $w_j$ $(z_j)$ $(w_j)$ Böyle bir dönüşümle süreçte bir hataya izin verir. Bu, aşağıda "Dönüşüm Olarak Sığdır" başlıklı şekilde gösterilmiştir.

Yeniden ölçeklendirme ve rotasyonun sadece düzlemin herhangi bir doğrusal dönüşümü olmadığını unutmayın: örneğin çarpık dönüşümleri dışlar. Dolayısıyla bu model dört parametreli iki değişkenli çoklu regresyon ile aynı değildir.

Sıradan en küçük kareler

Karmaşık olayı gerçek olaya bağlamak için, yazalım

$z_j = x_j + i y_j$ bağımlı değişkenin değerleri için ve

$w_j = u_j + i v_j$ bağımsız değişkenin değerleri için .

Ayrıca, parametreleri yazmak için

$\beta_0 = \gamma_0 + i \delta_0$ ve . $\beta_1 = \gamma_1 +i \delta_1$

Girilen yeni terimlerin her biri elbette gerçektir ve hayalidir; ise verileri indeksler. $i^2 = -1$ $j=1, 2, \ldots, n$

OLS , sapmaların karelerinin toplamını en aza indiren ve bulur , $\hat\beta_0$ $\hat\beta_1$

\sum_{j = 1}^{n} | | z_{j} - ({\hat{β}}_{0} + {\hat{β}}_{1} w_{j}) | |^{2} = \sum_{j = 1}^{n} ({\bar{z}}_{j} - (\bar{{\hat{β}}_{0}} + \bar{{\hat{β}}_{1}} {\bar{w}}_{j})) (z_{j} - ({\hat{β}}_{0} + {\hat{β}}_{1} w_{j})) .

$\sum_{j=1}^n ||z_j - \left(\hat\beta_0 + \hat\beta_1 w_j\right)||^2 = \sum_{j=1}^n \left(\bar z_j - \left(\bar{\hat\beta_0} + \bar{\hat\beta_1} \bar w_j\right)\right) \left(z_j - \left(\hat\beta_0 + \hat\beta_1 w_j\right)\right).$

Resmen bu normal matris formülasyonuyla aynıdır: onu Bulduğumuz tek fark tasarım matris devrik olmasıdır ile değiştirilmiştir eşlenik devrik . Sonuç olarak , resmi matris çözümü $\left(z - X\beta\right)'\left(z - X\beta\right).$ $X'$ $X^* = \bar X '$

\hat{β} = {(X^{*} X)}^{- 1} X^{*} z .

$\hat\beta = \left(X^*X\right)^{-1}X^* z.$

Aynı zamanda, bunu tamamen gerçek değişken bir soruna dökerek neyin başarılabileceğini görmek için, OLS hedefini gerçek bileşenler açısından yazabiliriz:

\sum_{j = 1}^{n} {(x_{j} - γ_{0} - γ_{1} u_{j} + δ_{1} v_{j})}^{2} + \sum_{j = 1}^{n} {(y_{j} - δ_{0} - δ_{1} u_{j} - γ_{1} v_{j})}^{2} .

$\sum_{j=1}^n \left(x_j-\gamma_0-\gamma_1u_j+\delta_1v_j\right)^2 + \sum_{j=1}^n\left(y_j-\delta_0-\delta_1u_j-\gamma_1v_j\right)^2.$

Açıktır ki, bu iki temsil bağlı gerçek regresyon: bunlardan biri geriler üzerinde ve , diğer geriler ile ilgili ve ; ve gerektirir katsayı negatif olmak için katsayısı ve için katsayısı eşit katsayısının . Üstelik toplamı çünkü $x$ $u$ $v$ $y$ $u$ $v$ $v$ $x$ $u$ $y$ $u$ $x$ $v$ $y$ İki regresyondaki artıkların kareleri en aza indirilecektir, genellikle katsayı kümesinin yalnızca veya için en iyi tahmini vermesi söz konusu olmaz . Bu, iki gerçek gerilemeyi ayrı ayrı gerçekleştiren ve çözümlerini karmaşık gerileme ile karşılaştıran aşağıdaki örnekte onaylanmıştır. $x$ $y$

Bu analiz, karmaşık regresyonun gerçek parçalara göre yeniden yazılmasının (1) formülleri karmaşıklaştırdığını, (2) basit geometrik yorumu gizlemesinin ve (3) genelleştirilmiş bir çok değişkenli çoklu regresyon gerektireceğini (değişkenler arasında önemsiz korelasyonlar gerektireceğini) açıkça ortaya koymaktadır. ) çözmek için. Daha iyisini yapabiliriz.

Örnek

Örnek olarak, karmaşık düzlemde orijin yakınındaki integral noktalarında bir değerleri ızgarası alıyorum . Dönüştürülen değerlere eklenir, iki değişkenli Gauss dağılımına sahip iid hataları: özellikle hataların gerçek ve hayali kısımları bağımsız değildir. $w$ $w\beta$

Karmaşık değişkenler için normal dağılım çizmek zordur , çünkü dört boyutlu noktalardan oluşacaktır. Bunun yerine saçılım grafiği matrisini gerçek ve hayali parçalarının üzerinden görebiliriz. $(w_j, z_j)$

Dağılım matrisi

Şimdilik uyumu göz ardı edin ve ilk dört satır ve dört sol sütuna bakın: bunlar verileri görüntüler. Dairesel ızgara sol üst belirgindir; sahip olduğu puan. bileşenlerinin bileşenlerine karşı saçılma noktaları açık korelasyonlar göstermektedir. Üçünün negatif korelasyonu var; sadece ( hayali kısmı ) ve ( gerçek kısmı ) pozitif olarak ilişkilidir. $w$ $81$ $w$ $z$ $y$ $z$ $u$ $w$

Bu veriler için, gerçek değeri . bir genleşmeyi ve 120 derecelik bir saat yönünün tersine dönmesini, ardından birimin sola ve birimin yukarıya çevrilmesini temsil eder . Üç uyumu hesaplarım: Karmaşık en küçük kareler çözümü ve karşılaştırma için ve için iki OLS çözümü . $\beta$ $(-20 + 5i, -3/4 + 3/4\sqrt{3}i)$ $3/2$ $20$ $5$ $(x_j)$ $(y_j)$

Fit            Intercept          Slope(s)
True           -20    + 5 i       -0.75 + 1.30 i
Complex        -20.02 + 5.01 i    -0.83 + 1.38 i
Real only      -20.02             -0.75, -1.46
Imaginary only          5.01       1.30, -0.92

Her zaman gerçek-gerçek kesişimin, karmaşık kesişmenin gerçek kısmı ile aynı fikirde olduğu ve sadece-hayali kesişmenin karmaşık kesişimin hayali kısmı ile aynı fikirde olduğu durumda olacaktır. Yine de, yalnızca gerçek ve yalnızca hayali eğimlerin, tam olarak öngörüldüğü gibi, karmaşık eğim katsayıları veya birbirleriyle aynı fikirde olmadığı anlaşılmaktadır.

Karmaşık uyumun sonuçlarına daha yakından bir göz atalım. İlk olarak, artıkların bir grafiği, iki değişkenli Gauss dağılımının bir göstergesidir. (Altta yatan dağılımın marjinal standart sapması ve korelasyonu vardır .) Ardından, artıkların büyüklüklerini (dairesel sembollerin boyutları ile temsil edilir) ve argümanlarını (ilk grafikte olduğu gibi renkler ile temsil edilir) çizebiliriz. takılan değerlere karşı: bu arsa rastgele bir boyut ve renk dağılımı gibi görünmelidir. $2$ $0.8$

Artık arsa

Son olarak, uyumu birkaç şekilde gösterebiliriz. Uygunluk, dağılım grafiği matrisinin ( qv ) son satırlarında ve sütunlarında göründü ve bu noktada daha yakından bir incelemeye değer olabilir. Sol altta, uyarlar açık mavi daireler şeklinde çizilir ve oklar (artıkları temsil eder) bunları düz kırmızı daireler olarak gösterilen verilere bağlar. Sağda argümanlarına karşılık gelen renklerle doldurulmuş açık siyah daireler olarak gösterilir; bunlar karşılık gelen değerlerine oklarla bağlanır . Her bir okun orijin etrafında 2'lik bir genişleme , derece döndürme ve çevirme, artı bu iki değişkenli Guassian hatasını temsil ettiğini hatırlayın. $(w_j)$ $(z_j)$ $3/2$ $120$ $(-20, 5)$

Dönüşüm olarak sığdır

Bu sonuçlar, grafikler ve diyagnostik grafikler, karmaşık regresyon formülünün doğru çalıştığını ve değişkenlerin gerçek ve hayali bölümlerinin ayrı doğrusal regresyonlarından farklı bir şey elde ettiğini göstermektedir.

kod

RKod verisi, uyuyor yaratmak ve araziler altında görünür. gerçek çözümünün tek bir kod satırında elde edildiğine dikkat edin. Olağan en küçük kareler çıktısını elde etmek için ek çalışma - ancak çok fazla değil - gerekli: varyansın kovaryans matrisi, standart hatalar, p değerleri vb. $\hat\beta$

#
# Synthesize data.
# (1) the independent variable `w`.
#
w.max <- 5 # Max extent of the independent values
w <- expand.grid(seq(-w.max,w.max), seq(-w.max,w.max))
w <- complex(real=w[[1]], imaginary=w[[2]])
w <- w[Mod(w) <= w.max]
n <- length(w)
#
# (2) the dependent variable `z`.
#
beta <- c(-20+5i, complex(argument=2*pi/3, modulus=3/2))
sigma <- 2; rho <- 0.8 # Parameters of the error distribution
library(MASS) #mvrnorm
set.seed(17)
e <- mvrnorm(n, c(0,0), matrix(c(1,rho,rho,1)*sigma^2, 2))
e <- complex(real=e[,1], imaginary=e[,2])
z <- as.vector((X <- cbind(rep(1,n), w)) %*% beta + e)
#
# Fit the models.
#
print(beta, digits=3)
print(beta.hat <- solve(Conj(t(X)) %*% X, Conj(t(X)) %*% z), digits=3)
print(beta.r <- coef(lm(Re(z) ~ Re(w) + Im(w))), digits=3)
print(beta.i <- coef(lm(Im(z) ~ Re(w) + Im(w))), digits=3)
#
# Show some diagnostics.
#
par(mfrow=c(1,2))
res <- as.vector(z - X %*% beta.hat)
fit <- z - res
s <- sqrt(Re(mean(Conj(res)*res)))
col <- hsv((Arg(res)/pi + 1)/2, .8, .9)
size <- Mod(res) / s
plot(res, pch=16, cex=size, col=col, main="Residuals")
plot(Re(fit), Im(fit), pch=16, cex = size, col=col,
     main="Residuals vs. Fitted")

plot(Re(c(z, fit)), Im(c(z, fit)), type="n",
     main="Residuals as Fit --> Data", xlab="Real", ylab="Imaginary")
points(Re(fit), Im(fit), col="Blue")
points(Re(z), Im(z), pch=16, col="Red")
arrows(Re(fit), Im(fit), Re(z), Im(z), col="Gray", length=0.1)

col.w <-  hsv((Arg(w)/pi + 1)/2, .8, .9)
plot(Re(c(w, z)), Im(c(w, z)), type="n",
     main="Fit as a Transformation", xlab="Real", ylab="Imaginary")
points(Re(w), Im(w), pch=16, col=col.w)
points(Re(w), Im(w))
points(Re(z), Im(z), pch=16, col=col.w)
arrows(Re(w), Im(w), Re(z), Im(z), col="#00000030", length=0.1)
#
# Display the data.
#
par(mfrow=c(1,1))
pairs(cbind(w.Re=Re(w), w.Im=Im(w), z.Re=Re(z), z.Im=Im(z),
            fit.Re=Re(fit), fit.Im=Im(fit)), cex=1/2)

— whuber
kaynak

Tahminci ve kovaryansı hakkında bir takip sorum vardı . Sorunumu karmaşık ile , tahmin edicimin kotasyonluk matrisinin (uygun kalanı kullanarak tahmin ettiğim) gerçek ve hayali bölümleri var. Bunun nasıl çalıştığından emin değilim. Kovaryansın hayali kısmı, tahmin edicinin hayali kısmıyla mı ilgilidir (gerçek kısım için aynıdır)? CI'leri çizmek istersem, bunun nasıl devam edeceğinden emin değilim ... Tahmin edicinin hayali ve gerçek bölümleri aynı CI'ye sahip mi? Bu konuyla ilgili açıklamada biraz bilgi eklemek mümkün müdür? Teşekkür ederim!

\hat{β}

$\hat{\beta}$

y

$y$

— bill_e 17:13

Her şey doğru hesaplandıysa, kovaryans hala pozitif kesinlikte olacaktır. Özellikle bu, bir değişkenin gerçek kısmının veya hayali kısmının kovaryansını hesaplamak için kullandığınızda, pozitif bir sayı elde edeceğiniz, dolayısıyla tüm CI'lerin iyi tanımlanacağı anlamına gelir.

— whuber

Cov matrisi pozitif yarı kesindir, ancak sanırım kafamın karıştığı yer şudur: “onu bir değişkenin gerçek kısmının veya hayali kısmının kovaryansını hesaplamak için kullandığınızda”. Bir CI hesapladığımda, bunun, öğesinin gerçek ve imge kısmına karşılık gelecek olan gerçek ve imgesel bir bölüme sahip olacağını varsaydım . Yine de durum böyle gözükmüyor. Bunun neden olduğunu biliyor musun?

\hat{β}

$\hat{\beta}$

— bill_e 18:13

Ayrıca eğer test istatistikleri için değerleri hesaplarsam, 3, .1 * i gibi sayıları alırım. Bunun için sayının hayali bir parçası olmamasını bekliyordum. Bu normal mi? Ya da bir işareti yanlış yapıyorum?

— bill_e

Test istatistiklerini karmaşık sayılarla hesaplarken, karmaşık sonuçlar almayı beklemelisiniz! İstatistiğin gerçek olması için matematiksel bir nedeniniz varsa, hesaplama hatalı olmalıdır. Hayali kısım, gerçek parçaya kıyasla çok küçük olduğunda, bu muhtemelen kayan nokta hatası biriktirir ve onu öldürmek genellikle güvenlidir ( zapsmallin R). Aksi takdirde bir şeyin temelde yanlış olduğu bir işarettir.

— whuber

5

Uzun bir google sesh'den sonra, problemi alternatif bir şekilde anlama konusunda bazı bilgiler buldum. Benzer sinyallerin istatistiksel sinyal işlemede oldukça yaygın olduğu ortaya çıktı. Gerçek veriler için doğrusal en küçük karelere karşılık gelen bir gauss olasılığı ile başlamak yerine, biri şununla başlar:

http://en.wikipedia.org/wiki/Complex_normal_distribution

Bu wikipedia sayfası bu nesne üzerinde tatmin edici bir özet veriyor.

Özellikle, tahmincinizin dağılımının çok değişkenli Gauss olduğunu varsayarsanız , karmaşık verilerde biri karmaşık normal kullanır. Bu tahmin edicinin kovaryansının hesaplanması biraz farklıdır ve wiki sayfasında verilmiştir. $\hat{\beta}$

Bunu, whuber ile aynı sonuca ulaştığımı, ancak maksimum ihtimal gibi diğer tahmin edicileri araştırdığımı belirten bir diğer kaynak ise: Yan ve ark.

— bill_e
kaynak

1

@Whuber'ın güzel resimli ve açıklamalı bir cevabı olmasına rağmen, karmaşık alanın gücünün bir kısmını özleyen basitleştirilmiş bir model olduğunu düşünüyorum.

Gerçekler üzerindeki doğrusal en küçük kareler regresyonu, , parametreler ve hedef girişleri ile aşağıdaki modele eşittir : $w$ $\beta$ $x$

z = β_{0} + β_{1} w + ϵ

$z = \beta_0 + \beta_1 w + \epsilon$

burada sıfır ortalama ve bazı (tipik olarak sabit) varyans ile normal olarak dağılır. $\epsilon$

Karmaşık doğrusal regresyonun şu şekilde tanımlanmasını öneririm:

z = β_{0} + β_{1} w + β_{2} \bar{w} + ϵ

$z = \beta_0 + \beta_1 w + \beta_2 \overline w + \epsilon$

İki büyük fark var.

İlk olarak, faz hassasiyetine izin veren ilave bir serbestlik derecesi vardır. Bunu istemeyebilirsin, ama kolayca alabilirsin. $\beta_2$

İkincisi, , sıfır ortalama ve bazı değişkenlik ve “sözde değişkenlik” içeren karmaşık bir normal dağılımdır. $\epsilon$

Reel modele geri dönersek, sıradan en küçük kareler çözümü negatif log olasılığı olan kaybı en aza indirerek ortaya çıkar. Normal bir dağılım için bu parabol:

y = a x^{2} + c x + d .

$y = ax^2 + cx + d.$

burada , sabittir (tipik olarak), , modele göre sıfırdır ve , kayıp fonksiyonlarının sabit ekleme altında değişmez olması nedeniyle önemli değildir. $x = z - (\beta_0 + \beta_1 w)$ $a$ $c$ $d$

Karmaşık modele geri dönersek, negatif log olabilirliği

\begin{aligned} y = a {| x |}^{2} + ℜ (b x^{2} + c x) + d . \end{aligned}

$\begin{align} y = a{|x|}^2 + \Re({bx^2 + cx}) + d. \end{align}$

$c$ ve eskisi gibi sıfırdır. eğrilik ve “sözde eğrilik” tir. anizotropik bileşenleri yakalar. Eğer fonksiyon rahatsız ediyor, sonra bu yazı eşdeğer yoludur başka bir parametre grubu için . Burada varyans, ise sahte varyans. bizim modelimize göre sıfır. $d$ $a$ $b$ $b$ $\Re$

\begin{aligned} {[\begin{matrix} x - μ \\ \bar{x - μ} \end{matrix}]}^{H} {[\begin{matrix} s & u \\ \bar{u} & \bar{s} \end{matrix}]}^{- 1} [\begin{matrix} x - μ \\ \bar{x - μ} \end{matrix}] + d \end{aligned}

$\begin{align} {\begin{bmatrix}x-\mu \\ \overline{x-\mu}\end{bmatrix}}^H \begin{bmatrix}s & u \\ \overline{u} & \overline{s}\end{bmatrix}^{-1}\! \begin{bmatrix}x-\mu \\ \overline{x-\mu}\end{bmatrix} + d \end{align}$

s, u, μ, d

$s, u, \mu, d$

s

$s$

u

$u$

μ

$\mu$

İşte karmaşık bir normal dağılımın yoğunluğunun bir görüntüsü:

Asimetrik olduğuna dikkat et. parametresi olmadan asimetrik olamaz. $b$

Çözümün hala analitik olduğundan emin olduğum halde, bu gerilemeyi zorlaştırıyor. Bir girdi için çözdüm ve çözümümü buraya yazdığım için mutluyum, ancak genel davayı çözebileceğini hissediyorum.

— Neil G
kaynak

Bu katkı için teşekkür ederiz. Yine de bunu izlemiyorum, çünkü (a) ikinci dereceden bir polinomu neden tanımladığınızdan emin değilim, (b) gerçekte ne demek istediğinizi "karşılık gelen" polinomuyla ne demek istediğinizi veya (c) hangi istatistiksel modele uyduğunuzu bilmiyorsunuz. Bunları açıklayabilir misiniz?

— whuber

@ whuber İstatistiki bir model olarak yeniden yazdım. Lütfen size anlamlı olup olmadığını bildirin.

— Neil G

Teşekkürler: Bu temizler (+1). Modeliniz artık değişkenlerin analitik bir işlevi değildir. Ancak, parametrelerin analitik bir fonksiyonu olduğu için, ve iki karmaşık değişkenine karşı çoklu bir regresyonu olarak algılanabilir . Ek olarak, daha esnek bir dağıtım yapmasına izin veriyorsunuz : bu benim çözümümde anlamadı. Söyleyebileceğim kadarıyla, çözümünüz her şeyi gerçek ve hayali parçalarına dönüştürmek ve çok değişkenli çoklu gerçek regresyon yapmakla eşdeğer .

z

$z$

w

$w$

\bar{w}

$\bar w$

ϵ

$\epsilon$

— whuber

@whuber Doğru, önerdiğim iki değişiklikle, çok değişkenli gerçek gerileme dediğiniz gibi olduğunu düşünüyorum. , çözümünüzde tanımladığınız dönüşümü sınırlamak için kaldırılabilir. Bununla birlikte, sözde eğrilik terimi sıfır olmayan bir zemin durumuna sahip bir AC gerilimini tahmin etmek için regresyon yapmaya çalışmak gibi bazı gerçekçi pratik uygulamalara sahiptir?

\Beta_{2}

$\Beta_2$

— Neil G,

Analitik bir fonksiyon olarak, sizinki de analitik değildir, çünkü kaybınız analitik olmayan paraboloid . Eyer analitiktir, ancak kendiliğinden ayrıldığı için küçültülemez.

| x |^{2}

$|x|^2$

x^{2}

$x^2$

— Neil G,

1

Bu sorun tekrar gelip vardır Mathematica Stack Exchange takip edilmesi gerektiğini @whuber 'ın mükemmel cevap var ve cevabım / genişletilmiş comment.

Buradaki cevabım, hata yapısını biraz daha açık hale getirerek @whuber'ın cevabını birazcık uzatma denemesidir. Önerilen en küçük kareler tahmincisi, iki değişkenli hata dağılımının gerçek ve hayali bileşenler arasında sıfır bir korelasyona sahip olması durumunda ne kullanılacağıdır. (Ancak oluşturulan verilerin 0,8'lik bir hata korelasyonu vardır.)

Bir sembolik cebir programına erişime sahipse, parametrelerin maksimum olasılık tahmin edicilerinin (hem "sabit" etkiler hem de kovaryans yapısının) oluşturulmasındaki karmaşanın bir kısmı elimine edilebilir. Aşağıda, @whuber'ın cevabındakiyle aynı verileri kullanıyorum ve varsayarak ve sonra varsayarak maksimum olasılık tahminlerini . Mathematica'yı kullandım ancak başka herhangi bir sembolik cebir programının benzer bir şey yapabileceğinden şüpheleniyorum. (Ve önce kodun ve çıktının bir resmini ve ardından bir ekin asıl kodunu gönderdim, çünkü Mathematica kodunu yalnızca metin kullanarak olması gerektiği gibi görünemiyor.) $\rho=0$ $\rho\neq0$

Şimdi, maksimum olasılık tahminleri için olduğu varsayılarak ... $\rho=0$

maksimum olasılık tahminlerinin , toplam r kare toplam tahminleriyle mükemmel bir şekilde eşleştiğini varsayarız . $\rho=0$

Şimdi veri için bir tahmin : $\rho$

Biz görüyoruz ve biz tahmini için izin olup olmadığını esasen aynıdır . Ancak, , verileri oluşturan değere çok daha yakındır (ancak 1 büyüklüğü olan çıkarımlar en söylemek için kesin olarak değerlendirilmemelidir) ve olasılığın günlüğü çok daha yüksektir. $\gamma_0$ $\delta_0$ $\rho$ $\gamma_1$

Tüm bunlarda benim açımdan uygun olan modelin tamamen açık hale getirilmesi gerektiği ve sembolik cebir programlarının dağınıklığı hafifletmeye yardımcı olabileceğidir. (Ve tabii ki, maksimum olasılık tahmin edicileri, en küçük kareler tahmin edicilerinin varsaymadığı iki değişkenli bir normal dağılım varsaymaktadır.)

Ek: Mathematica kodunun tamamı

(* Predictor variable *)
w = {0 - 5 I, -3 - 4 I, -2 - 4 I, -1 - 4 I, 0 - 4 I, 1 - 4 I, 2 - 4 I,
    3 - 4 I, -4 - 3 I, -3 - 3 I, -2 - 3 I, -1 - 3 I, 0 - 3 I, 1 - 3 I,
    2 - 3 I, 3 - 3 I, 4 - 3 I, -4 - 2 I, -3 - 2 I, -2 - 2 I, -1 - 2 I,
    0 - 2 I, 1 - 2 I, 2 - 2 I, 3 - 2 I, 
   4 - 2 I, -4 - 1 I, -3 - 1 I, -2 - 1 I, -1 - 1 I, 0 - 1 I, 1 - 1 I, 
   2 - 1 I, 3 - 1 I, 
   4 - 1 I, -5 + 0 I, -4 + 0 I, -3 + 0 I, -2 + 0 I, -1 + 0 I, 0 + 0 I,
    1 + 0 I, 2 + 0 I, 3 + 0 I, 4 + 0 I, 
   5 + 0 I, -4 + 1 I, -3 + 1 I, -2 + 1 I, -1 + 1 I, 0 + 1 I, 1 + 1 I, 
   2 + 1 I, 3 + 1 I, 4 + 1 I, -4 + 2 I, -3 + 2 I, -2 + 2 I, -1 + 2 I, 
   0 + 2 I, 1 + 2 I, 2 + 2 I, 3 + 2 I, 
   4 + 2 I, -4 + 3 I, -3 + 3 I, -2 + 3 I, -1 + 3 I, 0 + 3 I, 1 + 3 I, 
   2 + 3 I, 3 + 3 I, 4 + 3 I, -3 + 4 I, -2 + 4 I, -1 + 4 I, 0 + 4 I, 
   1 + 4 I, 2 + 4 I, 3 + 4 I, 0 + 5 I};
(* Add in a "1" for the intercept *)
w1 = Transpose[{ConstantArray[1 + 0 I, Length[w]], w}];

z = {-15.83651 + 7.23001 I, -13.45474 + 4.70158 I, -13.63353 + 
    4.84748 I, -14.79109 + 4.33689 I, -13.63202 + 
    9.75805 I, -16.42506 + 9.54179 I, -14.54613 + 
    12.53215 I, -13.55975 + 14.91680 I, -12.64551 + 
    2.56503 I, -13.55825 + 4.44933 I, -11.28259 + 
    5.81240 I, -14.14497 + 7.18378 I, -13.45621 + 
    9.51873 I, -16.21694 + 8.62619 I, -14.95755 + 
    13.24094 I, -17.74017 + 10.32501 I, -17.23451 + 
    13.75955 I, -14.31768 + 1.82437 I, -13.68003 + 
    3.50632 I, -14.72750 + 5.13178 I, -15.00054 + 
    6.13389 I, -19.85013 + 6.36008 I, -19.79806 + 
    6.70061 I, -14.87031 + 11.41705 I, -21.51244 + 
    9.99690 I, -18.78360 + 14.47913 I, -15.19441 + 
    0.49289 I, -17.26867 + 3.65427 I, -16.34927 + 
    3.75119 I, -18.58678 + 2.38690 I, -20.11586 + 
    2.69634 I, -22.05726 + 6.01176 I, -22.94071 + 
    7.75243 I, -28.01594 + 3.21750 I, -24.60006 + 
    8.46907 I, -16.78006 - 2.66809 I, -18.23789 - 
    1.90286 I, -20.28243 + 0.47875 I, -18.37027 + 
    2.46888 I, -21.29372 + 3.40504 I, -19.80125 + 
    5.76661 I, -21.28269 + 5.57369 I, -22.05546 + 
    7.37060 I, -18.92492 + 10.18391 I, -18.13950 + 
    12.51550 I, -22.34471 + 10.37145 I, -15.05198 + 
    2.45401 I, -19.34279 - 0.23179 I, -17.37708 + 
    1.29222 I, -21.34378 - 0.00729 I, -20.84346 + 
    4.99178 I, -18.01642 + 10.78440 I, -23.08955 + 
    9.22452 I, -23.21163 + 7.69873 I, -26.54236 + 
    8.53687 I, -16.19653 - 0.36781 I, -23.49027 - 
    2.47554 I, -21.39397 - 0.05865 I, -20.02732 + 
    4.10250 I, -18.14814 + 7.36346 I, -23.70820 + 
    5.27508 I, -25.31022 + 4.32939 I, -24.04835 + 
    7.83235 I, -26.43708 + 6.19259 I, -21.58159 - 
    0.96734 I, -21.15339 - 1.06770 I, -21.88608 - 
    1.66252 I, -22.26280 + 4.00421 I, -22.37417 + 
    4.71425 I, -27.54631 + 4.83841 I, -24.39734 + 
    6.47424 I, -30.37850 + 4.07676 I, -30.30331 + 
    5.41201 I, -28.99194 - 8.45105 I, -24.05801 + 
    0.35091 I, -24.43580 - 0.69305 I, -29.71399 - 
    2.71735 I, -26.30489 + 4.93457 I, -27.16450 + 
    2.63608 I, -23.40265 + 8.76427 I, -29.56214 - 2.69087 I};

(* whuber 's least squares estimates *)
{a, b} = Inverse[ConjugateTranspose[w1].w1].ConjugateTranspose[w1].z
(* {-20.0172+5.00968 \[ImaginaryI],-0.830797+1.37827 \[ImaginaryI]} *)

(* Break up into the real and imaginary components *)
x = Re[z];
y = Im[z];
u = Re[w];
v = Im[w];
n = Length[z]; (* Sample size *)

(* Construct the real and imaginary components of the model *)
(* This is the messy part you probably don't want to do too often with paper and pencil *)
model = \[Gamma]0 + I \[Delta]0 + (\[Gamma]1 + I \[Delta]1) (u + I v);
modelR = Table[
   Re[ComplexExpand[model[[j]]]] /. Im[h_] -> 0 /. Re[h_] -> h, {j, n}];
(* \[Gamma]0+u \[Gamma]1-v \[Delta]1 *)
modelI = Table[
   Im[ComplexExpand[model[[j]]]] /. Im[h_] -> 0 /. Re[h_] -> h, {j, n}];
(* v \[Gamma]1+\[Delta]0+u \[Delta]1 *)

(* Construct the log of the likelihood as we are estimating the parameters associated with a bivariate normal distribution *)
logL = LogLikelihood[
   BinormalDistribution[{0, 0}, {\[Sigma]1, \[Sigma]2}, \[Rho]],
   Transpose[{x - modelR, y - modelI}]];

mle0 = FindMaximum[{logL /. {\[Rho] -> 
      0, \[Sigma]1 -> \[Sigma], \[Sigma]2 -> \[Sigma]}, \[Sigma] > 
    0}, {\[Gamma]0, \[Delta]0, \[Gamma]1, \[Delta]1, \[Sigma]}]
(* {-357.626,{\[Gamma]0\[Rule]-20.0172,\[Delta]0\[Rule]5.00968,\[Gamma]1\[Rule]-0.830797,\[Delta]1\[Rule]1.37827,\[Sigma]\[Rule]2.20038}} *)

(* Now suppose we don't want to restrict \[Rho]=0 *)
mle1 = FindMaximum[{logL /. {\[Sigma]1 -> \[Sigma], \[Sigma]2 -> \[Sigma]}, \[Sigma] > 0 && -1 < \[Rho] < 
     1}, {\[Gamma]0, \[Delta]0, \[Gamma]1, \[Delta]1, \[Sigma], \[Rho]}]
(* {-315.313,{\[Gamma]0\[Rule]-20.0172,\[Delta]0\[Rule]5.00968,\[Gamma]1\[Rule]-0.763237,\[Delta]1\[Rule]1.30859,\[Sigma]\[Rule]2.21424,\[Rho]\[Rule]0.810525}} *)

— JimB
kaynak