Kleinberg (2002) tarafından kümelenmenin zorluklarını araştıran bu ilginç analiz hakkında bir blog yazısı yazmayı düşünüyorum . Kleinberg, bir kümeleme işlevi için görünüşte sezgisel görünen üç desideratayı özetlemekte ve daha sonra böyle bir işlevin olmadığını kanıtlamaktadır. Üç ölçütten ikisini doyuran birçok kümeleme algoritması vardır; ancak, hiçbir işlev aynı anda üçünü de tatmin edemez.

Kısaca ve gayri resmi olarak, özetlediği üç desiderata:

• Ölçek Değişmezliği : Verileri, her şeyin her yöne eşit olarak uzatılması için dönüştürürsek, kümeleme sonucu değişmemelidir.
• Tutarlılık : Verileri kümeler arasındaki mesafelerin artması ve / veya kümeler içindeki mesafelerin azalması için uzatırsak, kümeleme sonucu değişmemelidir.
• Zenginlik : Kümeleme işlevi teorik olarak veri noktalarının herhangi bir rasgele bölümlemesini / kümelemesini üretebilmelidir (herhangi iki nokta arasındaki çift mesafeyi bilmediğinde)

Sorular:

(1) Bu üç kriter arasındaki tutarsızlığı gösterebilecek iyi bir sezgi, geometrik resim var mı?

(2) Bu, makalenin teknik detaylarını ifade eder. Sorunun bu bölümünü anlamak için yukarıdaki bağlantıyı okumanız gerekecek.

Bu makalede, teorem 3.1'in ispatını noktalardan takip etmek benim için biraz zor. Ben de şaşırıp: "Let $f$ . Bir kümelenme işlevi olması tatmin Tutarlılık Biz herhangi bir bölüm için iddia $\Gamma \in \text{Range}(f)$ , pozitif reel sayıların varolduğu $a < b$ çifti böyle $(a, b)$ ise $\Gamma$ - zorlayarak."

Bu nasıl olabilir görmüyorum ... $a > b$ (yani kümeler arasındaki minimum mesafe kümeler içindeki maksimum mesafeden daha büyük) bir karşı örnek altındaki bölüm değil mi?

Düzenleme: Bu açıkça bir karşı örnek değil, kendimi karıştırıyorum (cevaplara bakın).

• Ackerman ve Ben-David (2009). Kümeleme Kalitesi Ölçüleri: Kümeleme İçin Çalışan Bir Aksiyom Seti
  • "Tutarlılık" aksiyomuyla ilgili bazı hususlara dikkat çeker

Öyle ya da böyle, her kümeleme algoritması bazı noktaların “yakınlığı” kavramına dayanır. Göreceli olarak açıktır (göreceli (ölçek değişmez) bir kavram veya mutlak (tutarlı) bir yakınlık kavramı kullanabilirsiniz, ancak her ikisini birden kullanamazsınız. .

Önce bunu bir örnekle göstermeye çalışacağım ve sonra bu sezginin Kleinberg Teoremine nasıl uyduğunu söyleyeceğim.

Açıklayıcı bir örnek

Elimizdeki varsayalım iki set ve G 2 arasında 270 puan her böyle düzlemde düzenlenir:$S_1$$S_2$$270$

$\hskip{6em}$

Bu resimlerden hiçbirinde puan göremeyebilirsiniz , ancak bunun nedeni noktaların çoğunun birbirine çok yakın olmasıdır. Yakınlaştırdığımızda daha fazla puan görüyoruz:$270$

$\hskip{3em}$

Muhtemelen spontaneoulsy, her iki veri kümesinde de noktaların üç kümede düzenlendiğini kabul edersiniz. Bununla birlikte, üç kümesinden herhangi birini yakınlaştırırsanız , aşağıdakileri gördüğünüz ortaya çıkıyor:$S_2$

$\hskip{3em}$

Mutlak bir yakınlık kavramına veya tutarlılığa inanıyorsanız, mikroskop altında ne gördüğünüzden bağımsız olarak, sadece üç kümeden oluştuğunu hala koruyacaksınız . Gerçekten de, arasındaki tek fark, S 1 ve S 2 , her küme içindeki bazı noktaları birbirine artık olmasıdır. Öte yandan, yakınlık göreceli bir kavramı inanırsanız veya ölçek değişmezliği maçında şu iddia eğimli hissedeceksiniz S 2 değil oluşmaktadır 3 ama 3 × 3 = 9 kümeleri. Bu bakış açılarının hiçbiri yanlış değil, ancak şu ya da bu şekilde bir seçim yapmanız gerekiyor.$S_2$$S_1$$S_2$$S_2$$3$$3×3 = 9$

İzometri değişmezliği olgusu

Yukarıdaki sezgiyi Kleinberg Teoremi ile karşılaştırırsanız, biraz çelişkili olduğunu göreceksiniz. Gerçekten de, Kleinberg'in Teoremi , Eğer zenginliği adında üçüncü özellik hakkında umurumda değil aynı zamanda sürece ölçek değişmezliği ve tutarlılığı elde edin. Ancak, aynı anda ölçek değişmezliği ve tutarlılığı konusunda ısrar ederseniz, zenginlik kaybettiğiniz tek özellik değildir. Ayrıca, daha temel bir özelliği daha kaybedersiniz: izometri-değişmezlik. Bu, feda etmek istemeyeceğim bir özellik. Kleinberg'in gazetesinde görünmediği için bir an üzerinde duracağım.

Kısacası, bir kümeleme algoritması, çıktısı yalnızca noktalarınız arasındaki mesafelere bağlıysa ve noktalarınıza eklediğiniz etiketler gibi bazı ek bilgilere veya noktalarınıza dayattığınız bir siparişe bağlı değilse izometri değişmezdir. Umarım bu çok hafif ve çok doğal bir durum gibi görünür. Kleinberg gazetesinde tartışılan tüm algoritmalar izometri değişmez, ancak olan tek bağlantı algoritması kesicili durdurma koşulu. Kleinberg'in açıklamasına göre, bu algoritma noktaların sözlük şeklinde sıralanmasını kullanır, bu nedenle çıktıları gerçekten onları nasıl etiketlediğinize bağlı olabilir. Örneğin, üç eşit uzaklıkta nokta kümesi için, tek bağlantı algoritmasının$k$$2$-kümesi durma koşulu, üç noktanızı "kedi", "köpek", "fare" (c <d <m) veya "Tom", "Spike", "Jerry" (J <S <T):

$\hskip{6em}$

Bu doğal olmayan davranış, elbette kesicili durdurma koşulu bir " ( ≤ k ) -kümesi durdurma koşulu" ile değiştirilerek kolayca onarılabilir . Fikir basitçe değil eşit uzaklıkta noktaları arasındaki ilişkileri kesme ve biz ulaştık yakında kadar kümeleri birleştirme durdurmak için en fazla k kümeleri. Bu onarılan algoritma çoğu zaman k kümeleri üretmeye devam edecek ve izometri değişmez ve ölçek değişmez olacaktır. Bununla birlikte, yukarıda verilen sezgi ile mutabık kalındığında, artık tutarlı olmayacaktır.$k$$(≤ k)$ $k$$k$

İzometri değişmezliğinin bir ayrıntılı bir açıklaması, geri çağırma Kleinberg bir tanımlayan kümelenme algoritması sonlu seti bir harita olarak bu, her metrik için atar S bir bölümü S : y : { ölçümler,  S } $S$$S$$S$ birizometri i arasında iki ölçüm d ve d ' ile S bir permütasyon i : S → S şekilde d ' ( ı ( x ) , ı ( y ) ) = D ( x , y ) Tüm noktaları x ve y de

Tanım: Bir kümelenme algoritma isimli izometri değişmeyen bu biri aşağıdaki koşulu ise: hiçbir ölçüm için d ve d ' ve herhangi bir izometrinin i , aralarında, nokta ı ( x ) ve i ( y ) aynı kümedeki yalan y ( d ′ ) yalnızca orijinal x ve y noktaları aynı Γ ( d ) kümesinde bulunuyorsa ve sadece .$Γ$$d$$d'$$i$$i(x)$$i(y)$$Γ(d')$$x$$y$$Γ(d)$

Biz algoritmalar kümelenme düşündüğümüzde, sık sık soyut kümesi tanımlamak düzleminde noktalarının somut seti ile veya başka ortam uzayda ve metrik değişen hayal S noktalarını taşıma gibi S etrafında. Aslında, yukarıdaki açıklayıcı örnekte aldığımız bakış açısı budur. Bu bağlamda, izometri değişmezliği, kümeleme algoritmamızın dönüşlere, yansımalara ve çevirilere duyarsız olduğu anlamına gelir.$S$$S$$S$

$\hskip{6em}$

Kleinberg'in Teoreminin bir çeşidi

Yukarıda verilen sezgi, Kleinberg Teoreminin aşağıdaki varyantı tarafından yakalanmaktadır.

Teorem: Aynı anda tutarlı ve ölçek değişmeyen önemsiz izometri-değişmez kümeleme algoritması yoktur.

Burada, önemsiz bir kümeleme algoritması ile, aşağıdaki iki algoritmadan birini kastediyorum:

1. üzerindeki her metriğe, her kümenin tek bir noktadan oluştuğu ayrık bölüm atayan algoritma ,$S$

2. Algoritma her metrik Açık olarak atar o tek küme oluşan götürü bölümü.$S$

İddia şu ki bu aptal algoritmalar , hem tutarlı hem de ölçek değişmez olan sadece iki izometri değişmez algoritmadır.

İspat: , algoritmamızın Γ çalışacağı sonlu küme olsun . Let d ₁ metrik olarak S ayrı noktalarının herhangi çifti (yani, birim uzaklığa sahip olduğu d ₁ ( x , y ) = 1 için tüm x ≠ Y olarak S ). Olarak Γ izometri değişmez olduğu için, sadece iki olasılık vardır Γ ( d ₁ ) : ya Γ ( d ₁ ) ayrık bölüm, ya da$S$$Γ$$d₁$$S$$d₁(x,y) = 1$$x ≠ y$$S$$Γ$$Γ(d₁)$$Γ(d₁)$$Γ(d₁)$$Γ(d₁)$$d$$S$$≥ 1$$d$$Γ(d) = Γ(d₁)$$Γ$$Γ(d₁)$$d$$S$$≤ 1$$Γ(d)=Γ(d₁)$. So $Γ$ is also trivial in this case. ∎

Of course, this proof is very close in spirit to Margareta Ackerman’s proof of Kleinberg’s original theorem, discussed in Alex Williams’s answer.

This is the intuition I came up with (a snippet from my blog post here).

A consequence of the richness axiom is that we can define two different distance functions, $d_1$ (top left) and $d_2$ (bottom left), that respectively put all the data points into individual clusters and into some other clustering. Then we can define a third distance function $d_3$ (top and bottom right) that simply scales $d_2$ so that the minimum distance between points in $d_3$ space is larger than the maximum distance in $d_1$ space. Then, we arrive at a contradiction, since by consistency the clustering should be the same for the $d_1 \rightarrow d_3$ transformation, but also the same for the $d_2 \rightarrow d_3$ transformation.