Neden ters belge sıklığı eklemelisiniz?

Ders kitabımda idf $log(1+\frac{N}{n_t})$ nerede

• $N$: Doküman Sayısı
• $n_t$: Terim içeren Belge Sayısı $t$

Wikipedia, bu formülü gerçek öğenin düzgünleştirilmiş bir sürümü olarak listeler $log(\frac{N}{n_t})$. Anladığım kadarıyla:$log(\frac{N}{N})=0$ için $\infty$sezgisel görünüyor.
Fakat$log(1+\frac{N}{n_t})$ den gider $log(1+1)$ için $\infty$Bu çok tuhaf görünüyor ...
Dil modellemesinden yumuşatma hakkında biraz şey biliyorum ama orada paydaya ve paydaya bir şey eklersiniz çünkü olasılık kütlesi hakkında endişelisiniz. Ama sadece$1$bana mantıklı gelmiyor. Burada neyi başarmaya çalışıyoruz?

Eğer işaret göreceğiniz gibi başka tf-idf tartışılan olduğunu, evrensel olarak hesaplamak için tek formülü var kabul edilmektedir tf-IDF (sorunuzu olduğu gibi) bile ya idf . Amacının$+ 1$şu iki amaçtan birini başarmaktır: a) hiçbir terim belgede görünmediği gibi sıfıra bölünmekten kaçınmak , bu kesinlikle "kelimeler torbası" yaklaşımında olmasa da, b) bir terime, tüm belgelerde göründüğü için sıfır ağırlık verilmesini önleyin.

Aslında formülasyonu hiç görmedim $log(1+\frac{N}{n_t})$, bir ders kitabından bahsetmenize rağmen. Ancak amaç,$log(2)$doğru yorumladığınız gibi, sıfır yerine. 1 + gördüm$log(\frac{N}{n_t})$alt sınırını 1 belirler. En yaygın kullanılan hesaplama $log(\frac{N}{n_t})$, Manning, Christopher D, Prabhakar Raghavan ve Hinrich Schütze'de (2008) Bilgi Edinmeye Giriş , Cambridge University Press, p118 veya Wikipedia (benzer kaynaklara dayanarak).

Sorgunuzla doğrudan alakalı değil, ancak üst sınır ilgili değil $\infty$, daha ziyade $k + log(N/s)$ nerede $k, s \in {0, 1}$yumuşatma formülasyonunuza bağlı olarak. Bu, 0 veya 1 belgede görünen terimler için olur (tekrar,$s$sıfır belge sıklığına sahip terimler için tanımlanmış yapmak için - değilse, yalnızca bir belgede görünen terimler için maksimum değer oluşur). IDF$\rightarrow \infty$ ne zaman $1 + n_t=1$ ve $N \rightarrow \infty$.