Pandalarda meydana gelen olayları saymanın en etkili yolu nedir?

Aşağıdakileri içeren büyük (yaklaşık 12 milyon satır) bir veri çerçevem ​​df var:

df.columns = ['word','documents','frequency']

Dolayısıyla aşağıdakiler zamanında gerçekleşti:

word_grouping = df[['word','frequency']].groupby('word')
MaxFrequency_perWord = word_grouping[['frequency']].max().reset_index()
MaxFrequency_perWord.columns = ['word','MaxFrequency']

Ancak, bunun çalışması beklenmedik uzun bir zaman alıyor:

Occurrences_of_Words = word_grouping[['word']].count().reset_index()

Burada neyi yanlış yapıyorum? Büyük bir veri çerçevesinde oluşumları saymanın daha iyi bir yolu var mı?

df.word.describe()

oldukça iyi çalıştı, bu yüzden bu Occurrences_of_Words veri çerçevesinin oluşturulmasının çok uzun sürmesini beklemiyordum.

ps: Cevap açıksa ve bu soruyu sorduğum için beni cezalandırma ihtiyacı hissediyorsanız, lütfen yanıtı da ekleyin. teşekkür ederim.

Bence df['word'].value_counts()hizmet etmeli. Grup makinelerini atlayarak biraz zaman kazanacaksınız. Neden countdaha yavaş olması gerektiğinden emin değilim max. Eksik değerleri önlemek için her ikisi de biraz zaman alır. (İle karşılaştırmaksize .)

Her durumda, value_counts, sözcükleriniz gibi nesne türünü işlemek için özel olarak optimize edilmiştir, bu yüzden bundan çok daha iyisini yapacağınızdan şüpheliyim.

Pandas dataFrame içindeki bir sütundaki kategorik verilerin sıklığını saymak istediğinizde: df['Column_Name'].value_counts()

- Kaynak .

Önceki cevaplara sadece bir ek. Unutmayalım ki, gerçek verilerle uğraşırken boş değerler olabilir, bu nedenle seçeneği kullanarak bunları saymaya dahil etmenin de faydası vardır dropna=False( varsayılanTrue )

Bir örnek:

>>> df['Embarked'].value_counts(dropna=False)
S      644
C      168
Q       77
NaN      2