Bir sütunun kategorik verileri olup olmadığı istatistiksel olarak nasıl kanıtlanır?

Python tüm kategorik değişkenleri bulmak için gereken bir veri çerçevesi var. Sütun türünü denetlemek her zaman işe yaramaz çünkü inttür de kategorik olabilir.

Bu yüzden bir sütunun kategorik olup olmadığını belirlemek için doğru hipotez testi yöntemini bulmak için yardım arıyorum.

Ki-kare testinin altında çalışıyordum ama bunun yeterince iyi olup olmadığından emin değilim

import numpy as np
data = np.random.randint(0,5,100)
import scipy.stats as ss
ss.chisquare(data)

Tavsiye lütfen.

Kısa cevap: yapamazsınız.

1 ile 10 arasındaki tam sayıları içeren bir öngörücünün sayısal bir yordayıcı (örneğin, çocuk sayısı) olup olmadığını veya on farklı kategoriyi kodlayıp kodlamadığını söyleyecek istatistiksel bir test yoktur. (Öngörücü negatif sayılar içeriyorsa veya en küçük sayı birden büyükse veya tamsayılar atlıyorsa, bunun kategorik bir kodlama olmasına karşı çıkabilir - ya da sadece analistin standart olmayan kodlama kullandığı anlamına gelebilir.)

Emin olmanın tek yolu etki alanı uzmanlığından veya veri kümesinin kod çizelgesinden (her zaman var olması gerekir) faydalanmaktır.

Veri kümeniz için hangi kriterler (ya da genel kurallar) işe yararsa hoş geldiniz, ancak verilerinizi göremiyoruz. Her durumda, sorun genel olarak ve herhangi bir özel yazılıma başvurulmadan daha iyi bir şekilde ortaya konmaktadır.

Düşündüğünüzden daha kötü, düşündüğünüzden daha kötü olduğunu düşünseniz bile.

1. @Stephan Kolassa'nın cevabı zaten bir anahtar noktaya işaret ediyor. Küçük tamsayılar kategoriler yerine sayım anlamına gelebilir: 3, yani 3 araba veya kedi, 3 ile aynı değildir, yani "bir arabanın sahibi" veya "bir kedinin sahibi" anlamına gelir.

2. Ondalık noktalar, örneğin endüstriler veya hastalıklar gibi kodlanmış sınıflandırmaların bir parçası olarak kategorik değişkenler içinde gizlenebilir.

3. Ölçümler katı anlamda sadece konvansiyonla tamsayı olabilir, örneğin insanların yükseklikleri tamsayı cm veya inç, kan basınçları tamsayı mm Hg olarak bildirilebilir.

4. Farklı (hala bir kez meydana gelmenin birincil anlamı olan "benzersiz" den daha iyi bir terim) sayısı da iyi bir rehber değildir. Ilımlı örneklerde mümkün olan farklı insan sayısı, muhtemelen farklı dini bağlılıkların veya etnik kökenlerin sayısından çok daha azdır.

Eh, diğer cevapların önerdiğinden bile daha kötü olduğunu düşünüyorum: veriler kategorik veya sayısal alt tür æternatis değil - "ölçüm seviyesi" belirli bir durumda belirli bir soruyu cevaplamak için analist tarafından öngörülen bir şeydir. Glen_b'in cevabını buradan görebilirsiniz .

Bunu anlamak pratik önem taşıyor. Örneğin, bir sınıflandırma ağacı ile oran, aralık ve sıra seviye seviye kestiricileri arasındaki ayrımın hiçbir sonucu yoktur: önemli olan tek ayrım sıralı ve nominal kestiriciler arasındaki orandır. Kestiriciyi bir çizgi boyunca bir noktada bölmek için algoritmayı sınırlamak, daha düşük değerlerden daha yüksek ayırmak, (varsayılan sıralı) kestiricinin yanıtla ilişkisinin düzgünlüğüne bağlı olarak, iyi veya kötü olmak üzere, tahmini performansı üzerinde önemli bir etkiye sahip olabilir. & veri kümesinin boyutu. Kararı, yalnızca bir örnekte hangi değerleri bulduğunuzu bulursanız, üstlenmek istediğiniz analizden bağımsız olarak, yalnızca yordayıcı değişkeninin gerçekliği nasıl temsil ettiğine dayandırmanın mantıklı bir yolu yoktur.

Bu açık bir araştırma sorusu. Örneğin bkz. Valera ve ark. ( kağıt ) veya uzantıları (örneğin, Dhir ve ark. - kağıt ).

Düzenle:

İstatistik ve makine öğreniminde yaygın bir uygulama, değişkenlerin istatistiksel veri türlerinin (örneğin sıralı, kategorik veya gerçek değerli) olduğunu ve genellikle de olasılık modelinin bilindiğini varsaymaktır. Bununla birlikte, gerçek dünyadaki verilerin mevcudiyeti arttıkça, bu varsayım çok kısıtlayıcı hale gelmektedir. Veriler genellikle heterojen, karmaşık ve yanlış veya eksik belgelenmiştir. Şaşırtıcı bir şekilde, pratik önemlerine rağmen, bir veri kümesindeki değişkenlerin istatistiksel tiplerini ve uygun olasılık (gürültü) modellerini otomatik olarak keşfetmek için hala araç eksikliği vardır.

(Valera belgesinden.)

Bu yüzden bunun "açık bir soru" (garip bir şekilde kendimi alıntılamak) olduğunu söylediğimizde, şu anda sınırlı bir örnek verilen veri türünü çıkarmak için iyi bir otomatik yöntem olmadığını söylemek istiyoruz. Sonsuz bir örneğiniz olsaydı bu kolay olurdu, ancak bu mümkün olmadığından, başka yollara geri dönmeliyiz.