Alttaki uygulamalar sadece kelime vektörlerinin yönünü önemserse (örneğin, sadece iki kelimenin kosinüsünün benzerliğine dikkat ederler), sonra normalleşir ve uzunluğu unuturlar.
Bununla birlikte, aşağı akım uygulamaların, kelimenin önemi veya kelime kullanımındaki tutarlılık (aşağıya bakınız) gibi daha mantıklı yönleri göz önünde bulundurması gerekiyorsa (veya aşağıya bakınız), normalleşme bu kadar iyi bir fikir olmayabilir.
Gönderen . Levy ve arkadaşları, 2015 (ve aslında, kelime tespitlerinin üzerine edebiyatının en):
Vektörler, benzerlik hesaplaması için kullanılmadan önce birim boyuna normalize edilir, kosinüs benzerliği ve nokta-ürün eşdeğeri olur.
Ayrıca Wilson ve Schakel'den 2015 :
Sözcük yerleştirme uygulamalarının çoğu, sözcük vektörlerini kendileri değil, benzerlik ve sözcük ilişkilendirme görevlerini çözmek için aralarındaki ilişkileri keşfeder. Bu görevler için normalize edilmiş kelime vektörlerinin kullanılmasının performansı arttırdığı tespit edildi. Bu nedenle, sözcük vektör uzunluğu tipik olarak dikkate alınmaz.
Normalleştirme, uzunluk kavramını kaybetmeye eşdeğerdir. Diğer bir deyişle, vektör kelimelerini normalleştirdiğinizde, eğitim aşamasından hemen sonra sahip oldukları uzunluğu (norm, modül) unutursunuz.
Bununla birlikte, bazen sözcük vektörlerinin orijinal uzunluğunu göz önünde bulundurmaya değer.
Schakel ve Wilson, 2015 , sözcük vektörlerinin uzunluğu ile ilgili bazı ilginç gerçekleri gözlemledi:
Sürekli olarak benzer bir bağlamda kullanılan bir kelime, farklı bağlamlarda kullanılan aynı frekanstaki bir kelimeden daha uzun bir vektörle temsil edilecektir.
Sadece yön değil, aynı zamanda sözcük vektörlerinin uzunluğu da önemli bilgiler taşır.
Kelime vektör uzunluğu, terim sıklığı ile birlikte, kelime öneminin yararlı bir ölçüsünü vermektedir.