Çok sayıda özelliğe sahip bir veri setim var, bu yüzden korelasyon matrisini analiz etmek çok zorlaştı. dataframe.corr()Panda kütüphanesinden fonksiyon kullanarak elde ettiğimiz korelasyon matrisini çizmek istiyorum . Bu matrisi çizmek için panda kütüphanesi tarafından sağlanan yerleşik bir işlev var mı?

Sen kullanabilirsiniz pyplot.matshow() den matplotlib:

import matplotlib.pyplot as plt

plt.matshow(dataframe.corr())
plt.show()

Düzenle:

Yorumlarda, eksen onay etiketlerinin nasıl değiştirileceğine dair bir istek vardı. Burada, daha büyük bir rakam boyutunda çizilen, veri çerçevesiyle eşleşecek eksen etiketleri ve renk ölçeğini yorumlamak için bir renk çubuğu açıklaması bulunan lüks bir sürüm var.

Etiketlerin boyutunu ve dönüşünü nasıl ayarlayacağımı ekliyorum ve colorbar ve ana figürün aynı yükseklikte çıkmasını sağlayan bir şekil oranı kullanıyorum.

f = plt.figure(figsize=(19, 15))
plt.matshow(df.corr(), fignum=f.number)
plt.xticks(range(df.shape[1]), df.columns, fontsize=14, rotation=45)
plt.yticks(range(df.shape[1]), df.columns, fontsize=14)
cb = plt.colorbar()
cb.ax.tick_params(labelsize=14)
plt.title('Correlation Matrix', fontsize=16);

Ana amacınız korelasyon matrisini kendiniz bir çizim oluşturmak yerine görselleştirmekse, uygun pandas şekillendirme seçenekleri uygulanabilir bir yerleşik çözümdür:

import pandas as pd
import numpy as np

rs = np.random.RandomState(0)
df = pd.DataFrame(rs.rand(10, 10))
corr = df.corr()
corr.style.background_gradient(cmap='coolwarm')
# 'RdBu_r' & 'BrBG' are other good diverging colormaps

Bunun, JupyterLab Notebook gibi HTML oluşturmayı destekleyen bir arka uçta olması gerektiğini unutmayın. (Koyu arka planlardaki otomatik açık renkli metin, en son yayınlanan sürüm olan pandas0.23'ten değil, mevcut bir PR'dan alınmıştır).

Şekillendirme

Rakam hassasiyetini kolayca sınırlayabilirsiniz:

corr.style.background_gradient(cmap='coolwarm').set_precision(2)

Ya da ek açıklama olmadan matrisi tercih ederseniz rakamlardan tamamen kurtulun:

corr.style.background_gradient(cmap='coolwarm').set_properties(**{'font-size': '0pt'})

Stil belgeleri, fare işaretçisinin üzerinde gezindiği hücrenin ekranının nasıl değiştirileceği gibi daha gelişmiş stillerin talimatlarını da içerir. Çıktıyı kaydetmek için HTML kodunurender() yöntemi ve daha sonra bir dosyaya yazabilirsiniz (veya daha az resmi amaçlar için bir ekran görüntüsü alabilirsiniz).

Zaman karşılaştırması

Testlerimde 10x10 matrisinden style.background_gradient()4 kat daha hızlı plt.matshow()ve 120 kat daha hızlıydı sns.heatmap(). Ne yazık ki ölçeklenmiyor plt.matshow(): ikisi de 100x100 matris için yaklaşık aynı zaman alıyor ve plt.matshow()1000x1000 matris için 10 kat daha hızlı.

Tasarruf

Stilize edilmiş veri çerçevesini kaydetmenin birkaç olası yolu vardır:

• render()Yöntemi ekleyerek HTML'yi döndürün ve çıktıyı bir dosyaya yazın.
• Uygulamayı .xslxkoşullu biçimlendirmeyle dosya olarak kaydedin .to_excel()Yöntemi .
• Bir bitmap'i kaydetmek için imgkit ile birleştirin
• Ekran görüntüsü alın (daha az resmi amaçlarla).

Pandalar için güncelleme> = 0.24

Ayarlayarak axis=None , oldukça sütun başına veya satır başına daha tüm matrisine dayalı olarak renk hesaplamak artık mümkün:

corr.style.background_gradient(cmap='coolwarm', axis=None)

Korelasyon matrisi için değişken adları da görüntüleyen bu işlevi deneyin:

def plot_corr(df,size=10):
    '''Function plots a graphical correlation matrix for each pair of columns in the dataframe.

    Input:
        df: pandas DataFrame
        size: vertical and horizontal size of the plot'''

    corr = df.corr()
    fig, ax = plt.subplots(figsize=(size, size))
    ax.matshow(corr)
    plt.xticks(range(len(corr.columns)), corr.columns);
    plt.yticks(range(len(corr.columns)), corr.columns);

Seaborn'un ısı haritası versiyonu:

import seaborn as sns
corr = dataframe.corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)

Denizden bir ısı haritası çizerek veya pandalardan saçılma matrisi kullanarak özellikler arasındaki ilişkiyi gözlemleyebilirsiniz.

Dağılım Matrisi:

pd.scatter_matrix(dataframe, alpha = 0.3, figsize = (14,8), diagonal = 'kde');

Her özelliğin çarpıklığını da gözünüzde canlandırmak istiyorsanız - deniz dibi çiftleri kullanın.

sns.pairplot(dataframe)

Sns Isı Haritası:

import seaborn as sns

f, ax = pl.subplots(figsize=(10, 8))
corr = dataframe.corr()
sns.heatmap(corr, mask=np.zeros_like(corr, dtype=np.bool), cmap=sns.diverging_palette(220, 10, as_cmap=True),
            square=True, ax=ax)

Çıktı, özelliklerin bir korelasyon haritası olacaktır. yani aşağıdaki örneğe bakınız.

Bakkal ve deterjanlar arasındaki korelasyon yüksektir. Benzer şekilde:

1. Bakkal ve Deterjanlar.

1. Süt ve Bakkal
2. Süt ve Deterjanlar_Paper

1. Süt ve Şarküteri
2. Dondurulmuş ve Taze.
3. Dondurulmuş ve Şarküteri.

Pairplots'tan: Pairplots veya scatter matrisinden aynı ilişki kümesini gözlemleyebilirsiniz. Ancak bunlardan verilerin normal olarak dağıtılıp dağıtılmadığını söyleyebiliriz.

Not: Yukarıdaki, ısı haritası çizmek için kullanılan verilerden alınan aynı grafiktir.

Matplotlib'dan imshow () yöntemini kullanabilirsiniz

import pandas as pd
import matplotlib.pyplot as plt
plt.style.use('ggplot')

plt.imshow(X.corr(), cmap=plt.cm.Reds, interpolation='nearest')
plt.colorbar()
tick_marks = [i for i in range(len(X.columns))]
plt.xticks(tick_marks, X.columns, rotation='vertical')
plt.yticks(tick_marks, X.columns)
plt.show()

Dataframe dfkullanıyorsanız şunları kullanabilirsiniz:

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(15, 10))
sns.heatmap(df.corr(), annot=True)

statmodels grafikleri de korelasyon matrisinin güzel bir görünümünü verir

import statsmodels.api as sm
import matplotlib.pyplot as plt

corr = dataframe.corr()
sm.graphics.plot_corr(corr, xnames=list(corr.columns))
plt.show()

Tamlık için, Jupyter kullanıyorsa, 2019'un sonlarından itibaren deniz dibi ile bildiğim en basit çözüm :

import seaborn as sns
sns.heatmap(dataframe.corr())

Diğer yöntemlerle birlikte, tüm durumlar için dağılım grafiği verecek çift parselin olması da iyidir.

import pandas as pd
import numpy as np
import seaborn as sns
rs = np.random.RandomState(0)
df = pd.DataFrame(rs.rand(10, 10))
sns.pairplot(df)

Form korelasyon matrisi, benim durumumda zdf i korelasyon matrisi gerçekleştirmek için gereken veri çerçevesidir.

corrMatrix =zdf.corr()
corrMatrix.to_csv('sm_zscaled_correlation_matrix.csv');
html = corrMatrix.style.background_gradient(cmap='RdBu').set_precision(2).render()

# Writing the output to a html file.
with open('test.html', 'w') as f:
   print('<!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-widthinitial-scale=1.0"><title>Document</title></head><style>table{word-break: break-all;}</style><body>' + html+'</body></html>', file=f)

Sonra ekran görüntüsü alabiliriz. veya html dosyasını bir resim dosyasına dönüştürün.