Bilinmeyen dağılım verileri nasıl normalleştirilir

Belirli bir türde tekrarlanan ölçüm verilerinin en uygun karakteristik dağılımını bulmaya çalışıyorum.

Temel olarak, jeoloji dalımda, bir olayın ne kadar zaman önce gerçekleştiğini (kaya eşik sıcaklığının altında soğutulmuş) bulmak için sıklıkla numunelerden (kaya parçaları) minerallerin radyometrik tarihlendirmesini kullanırız. Tipik olarak, her bir numuneden birkaç (3-10) ölçüm yapılacaktır. Daha sonra ortalama ve standart sapma σ alınır. Bu jeolojidir, bu nedenle numunelerin soğutma yaşları duruma bağlı olarak 10 5 ila 10 9 yıl arasında değişebilir .$\mu$$\sigma$$10^5$$10^9$

Ancak, ölçümlerin Gaussian olmadığına inanmak için nedenim var: Ya keyfi olarak ilan edilen ya da Peirce'nin kriteri [Ross, 2003] ya da Dixon'un Q-testi [Dean ve Dixon, 1951] gibi bazı kriterler aracılığıyla 'Outliers' oldukça adil yaygındır (örneğin, 30'da 1) ve bunlar neredeyse her zaman daha eski olup, bu ölçümlerin karakteristik olarak eğri olduğunu gösterir. Bunun mineralojik safsızlıklar ile ilgili olması için iyi anlaşılmış nedenler vardır.

$\mu$$\sigma$

Bunu yapmanın en iyi yolunun ne olduğunu merak ediyorum. Şimdiye kadar, yaklaşık 600 örnekli bir veri tabanım var ve örnek başına 2-10 (ya da öylesine) ölçümleri tekrarlıyorum. Örnekleri her biri ortalamaya veya ortanca bölerek normalleştirmeye çalıştım ve sonra normalize edilmiş verilerin histogramlarına baktım. Bu makul sonuçlar üretir ve verilerin karakteristik olarak log-Laplacian olduğunu gösterir gibi görünüyor:

Ancak, bununla ilgili uygun bir yol olup olmadığından emin değilim, ya da farkında olmadığım uyarılar varsa, sonuçlarıma önyargılı olabilirler, böylece böyle görünüyorlar. Herkes bu tür bir şey ile deneyimi var ve en iyi uygulamaları biliyor mu?

Her numuneden (3-10) ölçümün ortalamasını almayı düşündünüz mü? Daha sonra elde edilen dağılımla çalışabilir misiniz - hangisi t dağılımına yaklaşık olarak, daha büyük n için normal dağılıma yaklaşık olarak yaklaşır mı?

Normalleştirmenin normalde ne anlama geldiğini, normalde ortalama ve / veya varyansı normalleştirmek ve / veya beyazlatma gibi bir şey olduğunu düşünmüyorum.

Yapmaya çalıştığınız, verilerinizde doğrusal modeller kullanmanıza izin veren doğrusal olmayan bir yeniden parametrelendirme ve / veya özellik bulmaktır.

Bu önemsiz değildir ve basit bir cevabı yoktur. Bu yüzden veri bilimcilerine çok para ödeniyor ;-)

Doğrusal olmayan özellikler oluşturmanın nispeten basit bir yolu, katman sayısının ve katman başına nöron sayısının, ağın özellikler üretme kapasitesini kontrol ettiği ileri beslemeli bir sinir ağı kullanmaktır. Daha yüksek kapasite => daha fazla doğrusal olmama, daha fazla takma. Daha düşük kapasite => daha fazla doğrusallık, daha yüksek sapma, daha düşük sapma.

Size biraz daha fazla kontrol sağlayan başka bir yöntem de spline kullanmaktır.

Son olarak, bu tür özellikleri elle oluşturabilirsiniz, ki bence yapmaya çalıştığınız şey budur, ancak daha sonra basit bir 'kara kutu' cevabı yoktur: verileri dikkatlice analiz etmeniz, desen aramanız vb. .

Dört parametreli olasılık dağılımları olan Johnson (SL, SU, SB, SN) dağılımı ailesini kullanmaya çalışabilirsiniz . Her dağılım, normal dağılıma olan dönüşümü temsil eder.