Delta sıkıştırması ağ üzerinden gönderilen veri miktarını nasıl azaltır?

Birçok oyun gönderilen veri yükünü azaltmak için delta sıkıştırma tekniğini kullanır. Bu tekniğin gerçekte veri yükünü nasıl düşürdüğünü anlayamıyorum?

Örneğin, bir konum göndermek istediğimi varsayalım. Delta sıkıştırması olmadan vector3, örneğin, varlığın tam konumunu bir ile gönderirim (30, 2, 19). Delta sıkıştırma vector3ile küçük sayılarla bir gönderirim (0.2, 0.1, 0.04).

Mesajların her ikisi de vector3- her bir kayan nokta için 32 bitse - veri yükünü nasıl düşürdüğünü anlamıyorum. 32 * 3 = 96 bit!

Her bir kayan noktayı bir bayta dönüştürebileceğinizi ve daha sonra bir bayttan kayan noktaya dönüştürebileceğinizi biliyorum, ancak bu görülebilir hassas hatalara neden oluyor.

Oyun durumunu tam olarak göndermekten kaçınamadığınız zamanlar vardır - kaydedilmiş bir çok oyunculu oyunun yükü gibi ya da resync gerektiğinde. Ancak, tam durum göndermek genellikle önlenebilir niteliktedir ve delta kodlamanın girdiği yer burasıdır . Genellikle, delta sıkıştırmanın tek nedeni budur; Örneğiniz gerçekten bu durumu tarif etmiyor. Delta sıkıştırmasının bile belirtilmesinin nedeni, naif uygulamaların genellikle deltas yerine durum göndermesidir , çünkü durum genellikle naif bir oyun uygulamasının zaten depoladığı şeydir. Deltalar daha sonra bir optimizasyondur.

Delta'larla, hiç hareket etmeyen birimlerin pozisyonlarını asla göndermezsiniz . Bu onun ruhu.

Yıllarca görüştüğümüzü hayal edin ve hafızamı kaybettim (ve tüm mektuplarınızı okuduktan sonra atmıştım). Normal olarak bir dizi mektuba devam etmek yerine, hayatımın bütün tarihini bir kez daha tekrarlayabilmem için bana büyük bir harfle yazmanız gerekir.

Verilen durumda, (kod tabanınıza bağlı olarak) tam durumu göndermek için gereken büyük bit aralıklarının aksine deltaları kodlamak için daha az sayıda bit kullanmak mümkün olabilir. Dünyanın birçok kilometre boyunca olduğunu söyleyin, belirli bir eksendeki santimetreyi tam olarak konumlandırmak için 32 bitlik bir yüzeye ihtiyacınız olabilir. Bununla birlikte, kene başına sadece birkaç metre olabilen varlıklar için geçerli olan maksimum hız göz önüne alındığında, sadece 8 bit (2 ^ 8 = 256, maksimum 200 cm depolayacak kadar yeterli) yapılabilir. Elbette, bu, sabit nokta sorunlarını istemiyorsanız, kayan nokta kullanımı yerine ... veya OpenGL'deki gibi bir çeşit yarım / çeyrek yüzerlik yerine sabit sayılır.

Sende yanlış delta var. Tek tek elementlerin deltasına bakıyorsunuz. Tüm sahnenin deltasını düşünmelisin.

Sizin sahnenizde 100 element bulunduğunu, ancak sadece 1 tanesinin hareket ettiğini varsayalım. 100 element vektörü gönderirseniz, 99 tanesi israf edilir. Gerçekten sadece 1 göndermeniz gerekiyor.

Şimdi tüm öğe vektörlerinizi saklayan bir JSON nesneniz olduğunu varsayalım. Bu nesne, sunucunuz ve istemciniz arasında senkronize edilir. Karar vermek yerine "öyle mi, öyle mi hareket etti?" Sadece bir sonraki oyun onayınızı bir JSON nesnesinde oluşturabilir, bir diff tick100.json tick101.jsonfark yaratabilir ve gönderebilirsiniz. İstemci tarafında, farklı çizgiyi geçerli kene vektörünüze uygularsınız ve hepiniz hazırsınızdır.

Bunu yaparak, metinlerdeki (veya ikili!) Farklılıkları tespit etmede onlarca yıllık uzmanlıktan yararlanırsınız ve kendiniz bir şeyleri kaçırmak için endişelenmenize gerek yoktur. Şimdi ideal olarak, geliştirici olarak sizi daha da kolaylaştırmak için perdenin arkasında bunu yapan bir kütüphane kullanıyorsunuz.

Çok sık başka bir sıkıştırma mekanizması, örneğin aritmetik sıkıştırma gibi delta kodlaması ile birlikte olacaktır.

Bu sıkıştırma şemaları, olası değerler öngörülebilir şekilde birlikte gruplandırıldığında daha iyi çalışır. Delta kodlaması, değerleri 0 civarında gruplayacaktır.

Tamamen haklısın ama önemli bir noktayı kaçırıyorsun.

Bir oyunda varlıklar, sadece bir tanesi olan birçok özellik ile tanımlanır. .

Ne tür nitelikler? Çok fazla düşünmek zorunda kalmadan, ağa bağlı bir oyunda bunlar şunları içerebilir:

• Pozisyonu.
• Oryantasyon.
• Geçerli kare numarası.
• Renk / aydınlatma bilgisi.
• Şeffaflık.
• Kullanılacak model.
• Kullanılacak doku
• Özel efektler.
• Vb.

Bunların her birini ayrı ayrı seçtiyseniz, belirli bir çerçevede değişmesi gerektiğinde, tam olarak yeniden iletilmesi gerektiği koşulunu kesinlikle yapabilirsiniz.

Ancak, bu özelliklerin tümü aynı oranda değişmez .

Model değişmiyor mu? Delta sıkıştırması olmadan, yine de yeniden iletilmelidir. Delta sıkıştırma ile olması gerekmez.

Konum ve yönlendirme, daha ilginç olan ve genellikle her biri 3 yüzerden oluşan iki durumdur. Verilen iki çerçeve arasında, her 3 yüzer kümenin yalnızca 1 veya 2'sinin değişebilme olasılığı vardır. Düz bir çizgide mi hareket ediyorsunuz? Dönmüyor musun? Zıplamak yok mu? Bunlar, delta sıkıştırma olmadan tam olarak yeniden iletmeniz gereken durumlar, ancak delta sıkıştırma ile yalnızca değişen şeyi yeniden iletmeniz gereken durumlar.

Naif bir delta hesaplamasını kendi başınıza yapmakta haklısınız, sonuç işlenenlerle aynı büyüklükte veri yapısında saklanır ve başka bir işlem yapılmadan iletilirse trafikten tasarruf etmeyeceksiniz.

Bununla birlikte, deltalara dayalı iyi tasarlanmış bir sistemin trafiği kurtarabilmesi için iki yol vardır.

İlk olarak, birçok durumda delta sıfır olacaktır. Protokolünüzü delta sıfır olduğunda hiç göndermeyeceğiniz şekilde tasarlayabilirsiniz. Açıkçası, ne gönderdiğinizi veya göndermeyeceğinizi belirtmek zorunda olduğunuz için bazı ek yükler var, ancak genel olarak büyük bir kazanç olması muhtemel.

İkincisi, deltalar genellikle orijinal numaralardan çok daha küçük bir değer aralığına sahip olacaktır. ve bu aralık sıfır merkezli olacaktır. Bu, çoğu delta için daha küçük bir veri türü kullanarak veya tüm veri akışını genel amaçlı bir sıkıştırma algoritmasından geçirerek kullanılabilir.

Çoğu cevap, delta kodlamanın yalnızca değişiklikleri bir bütün olarak duruma göndermekle ilgili olduğu hakkında konuşsa da, tam durumda sıkıştırmanız gereken veri miktarını azaltmak için filtre olarak kullanılabilecek "delta kodlama" adı verilen başka bir şey daha vardır. Ayrıca, sorulan sorudaki karışıklığın nereden geldiği de olabilir.

Bir sayı vektörünü kodlarken, bazı durumlarda (örneğin tam sayılar, sayılar vb.) Tek tek öğeler için değişken baytlı bir kodlama kullanabilir ve bu durumlarda bazılarında her öğenin ihtiyaç duyduğu veri miktarını daha da azaltabilirsiniz. Bunu, çalışan toplamlar olarak ya da minimum değer ve her değer ile bu minimum arasındaki fark olarak saklarsanız.

Örneğin, vektörü kodlamak istiyorsanız, {68923, 69012, 69013, 69015}o zaman delta kodlayabilirsiniz {68923, 89, 1, 2}. Bayt başına 7 bit veri depoladığınız ve başka bir bayt geldiğini belirtmek için bir bit kullanan önemsiz bir değişken baytlık kodlama kullanmak, dizideki öğelerin her birinin iletmek için 3 bayt gerektirmesi gerekir, ancak delta kodlu sürüm sadece ilk eleman için 3 bayt, kalan elemanlar için 1 bayt gerektirecektir; Serileştirdiğiniz veri türlerine bağlı olarak bu, oldukça etkileyici tasarruflara yol açabilir.

Bununla birlikte, bu bir seri hale getirme optimizasyonundan daha fazlasıdır ve genel olarak oyun durumunun (veya videonun veya benzerlerinin) bir parçası olarak rasgele veri akışı söz konusu olduğunda "delta kodlaması" hakkında konuştuğumuzda ne anlama geldiğini; diğer cevaplar da bunu açıklamak için yeterli bir işi yapmıştır.

Sıkıştırma algoritmalarının, işlerini farklı alanlarda daha iyi yaptığını belirtmek de önemlidir. Diğer cevaplardan bahsedildiği gibi, elementlerinizin çoğu 2 durum arasında aynı kalır veya değerler küçük bir kesirle değişir. Her iki durumda da, sayı vektörünüzün farkına bir sıkıştırma algoritması uygulamak size önemli tasarruflar sağlar. Eğer bile yok 0 unsurları kaldırarak gibi vektör için herhangi bir ekstra mantığı geçerlidir.

İşte Python'da bir örnek:

import numpy as np
import zlib
import json
import array


state1 = np.random.random(int(1e6))

diff12 = np.r_[np.random.random(int(0.1e6)), np.zeros(int(0.9e6))]
np.random.shuffle(diff12) # shuffle so we don't cheat by having all 0s one after another
state2 = state1 + diff12

state3 = state2 + np.random.random(int(1e6)) * 1e-6
diff23 = state3 - state2

def compressed_size(nrs):
    serialized = zlib.compress(array.array("d", nrs).tostring())
    return len(serialized)/(1024**2)


print("Only 10% of elements change for state2")
print("Compressed size of diff12: {:.2f}MB".format(compressed_size(diff12)))
print("Compressed size of state2: {:.2f}MB".format(compressed_size(state2)))

print("All elements change by a small value for state3")
print("Compressed size of diff23: {:.2f}MB".format(compressed_size(diff23)))
print("Compressed size of state3: {:.2f}MB".format(compressed_size(state3)))

Bu bana verir:

Only 10% of elements change for state2
Compressed size of diff12: 0.90MB
Compressed size of state2: 7.20MB
All elements change by a small value for state3
Compressed size of diff23: 5.28MB
Compressed size of state3: 7.20MB

Konumunuz vector3'te saklanırsa, ancak gerçek varlık bir anda yalnızca birkaç tam sayı taşıyabilir. O zaman onu bayt cinsinden bir delta göndererek, tamsayı olarak göndermekten daha iyi olurdu.

Şu anki pozisyon: 23009.0, 1.0, 2342.0 (3 şamandıra)
Yeni pozisyon: 23010.0, 1.0, 2341.0 (3 şamandıra)
Delta: 1, 0, -1 (3 bayt)

Her zaman kesin pozisyonu göndermek yerine, deltayı göndeririz.

Delta sıkıştırma, delta kodlu değerlerin sıkıştırılmasıdır. Delta kodlaması, sayıların farklı istatistiksel dağılımlarını üreten bir dönüşümdür. Dağıtım, seçilen sıkıştırma algoritmasına uygunsa, veri miktarını düşürür. Varlıkların iki güncelleme arasında sadece biraz hareket ettiği bir oyun gibi bir sistemde çok iyi çalışır.

Diyelim ki 2B'de 100 varlığınız var. Büyük bir ızgarada, 512 x 512. Yalnızca örnek olarak tamsayılar göz önünde bulundurulur. Bu, varlık başına iki tam sayı veya 200 sayıdır.

İki güncelleme arasında tüm konumlarımız 0, 1, -1, 2 veya -2 olarak değişir. 100 0, 33 1 ve -1 örneği ve sadece 17 ve 2 ve -2 örnekleri olmuştur. Bu oldukça yaygındır. Huffman'ı sıkıştırma için kodlamayı seçiyoruz.

Bunun için Huffman ağacı:

 0  0
-1  100
 1  101
 2  110
-2  1110

Tüm 0'larınız tek bir bit olarak kodlanacaktır. Bu sadece 100 bit. 66 değer 3 bit ve sadece 34 değer 4 bit olarak kodlanacaktır. Bu 434 bit veya 55 bayt. Ayrıca ağaç küçüldükçe, haritalama ağacımızı kurtarmak için küçük bir ek yük. 5 sayıyı kodlamak için 3 bit gerektiğini unutmayın. Burada '-2' için 4 bit kullanma gereksinimi için '0' için 1 bit kullanma yeteneğini sattık.

Şimdi bunu 200 rastgele sayı göndermek için karşılaştırın. Eğer varlıklarınız aynı döşemede olamazsa, neredeyse kötü bir istatistiksel dağılım elde edeceğiniz garanti edilir. En iyi durum 100 benzersiz sayı olacaktır (hepsi farklı Y ile aynı X'te). Bu sayı başına en az 7 bit (175 bayt) ve herhangi bir sıkıştırma algoritması için çok zor.

Delta sıkıştırma, varlıklarınız yalnızca biraz değiştiğinde özel durumda çalışır. Çok fazla benzersiz değişikliğiniz varsa, delta kodlaması yardımcı olmaz.

Delta kodlamanın ve sıkıştırmanın, diğer dönüşümlerde de diğer durumlarda kullanıldığını unutmayın.

MPEG resmi küçük kareler halinde böler ve resmin bir kısmı hareket ederse sadece hareket ve değişim parlaklık olur. 25fps'lik bir filmde, kareler arasındaki birçok değişiklik çok küçük. Yine, delta kodlama + sıkıştırma. Statik sahneler için en iyi şekilde çalışır.