Özgün e-posta dizisini ve @ ewwhite'ın bunu açıklığa kavuşturan cevabını okuduktan sonra , yukarıdaki cevabın sadece yarısını kapsadığı için bu sorunun güncellenmiş bir cevaba ihtiyacı olduğunu düşünüyorum.
Örnek olarak, havuzumdaki çıktıyı kullanalım. Komutu kullandım zdb -U /data/zfs/zpool.cache -bDDD My_pool. Sistemimde -U, FreeNAS'ın normalden farklı bir konumda depoladığı havuz için ZFS önbellek dosyasını bulmak için ekstra argümana ihtiyacım vardı ; Bunu yapmanız gerekebilir veya gerekmeyebilir. Genellikle deneyin zdbolmadan -Udaha sonra, bir önbellek dosyası hatası alıyorum kullanırsanız ilk ve find / -name "zpool.cache"ihtiyacı olan dosyayı bulmak için benzer veya.
Bu benim gerçek çıktımdı ve aşağıda yorumladım:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Tüm bunlar ne anlama gelir ve gerçek veri tekilleştirme tablosu boyutunu hesaplar:
Çıktıda iki alt tablo gösterilmektedir, biri bir çoğaltmanın olmadığı bloklar için ( DDT-sha256-zap-çoğaltın ) ve diğeri yinelenenlerin bulunmadığı bloklar için ( DDT-sha256-zap-unique ) /. Altındaki üçüncü tablo, her ikisinde de toplamı verir ve bunun altında bir özet satırı vardır. Yalnızca "toplam" satırlara ve özete bakmak bize ihtiyacımız olanı verir:
Birden fazla görünen tüm bloklar için DDT boyutu ("DDT-sha256-zap-duplicate") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")
Benzersiz olan bloklar için DDT boyutu ("DDT-sha256-zap-benzersiz") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")
Tüm DDT girişleri için toplam DDT istatistikleri, yinelenen + benzersiz ("tüm DDT'lerde toplanmış DDT histogramı") :
allocated referenced
(= disk space actually used) (= amount of data deduped
into that space)
______ ______________________________ ______________________________
blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
Özet :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Biraz sayı çatırtı yapalım.
Blok sayısı şöyle çalışır: Çift bloklarla ilgili giriş sayısı = 771295, benzersiz bloklarla ilgili giriş sayısı = 4637966, DDT tablosundaki toplam giriş sayısı 771295 + 4637966 = 5409261 olmalıdır. Bu nedenle milyonlarca (bin milyon) o!) 5409261 / (1024 ^ 2) = 5.158 milyon olacaktır. Özette, toplam 5.16M blok olduğunu görüyoruz .
RAM gerekli şöyle çalışır: Her biri çift bloklar için 771295 girişler RAM'de 165 bayt, her biri benzersiz bloklar için 4637966 girişler RAM'de 154 byte, böylece artık tüm veri tekilleştirme tablosu için gereken toplam RAM = 841510439 bayt = 841510439 / (1024 ^ 2) MBytes = 803 MB = 0.78 GB RAM .
(Kullanılan disk boyutu, "diskteki boyut" rakamları kullanılarak aynı şekilde işlenebilir. Açıkçası ZFS, disk G / Ç'yi verimli bir şekilde kullanmaya çalışıyor ve DDT'nin kapladığı disk alanından faydalanıyorsa normalde bir sorun değildir. Öyle görünüyor ki ZFS, her giriş için tam bir 512 bayt sektör ya da verimli kalması için yalnızca 154 veya 165 bayt yerine bu satırlar boyunca bir şey tahsis ediyor gibi görünüyor. ZFS'nin genellikle yaptığı diskte tutulan kopyalar.)
Depolanan toplam veri miktarı ve bu veriyi çıkarmanın yararı: Toplam DDT istatistiklerinden, 715 Gbyte ("715G") veri yalnızca 578 GByte ("578G") disklere ayrılmış depolama alanı kullanılarak depolanır. Dolayısıyla, tekilleştirme alanı tasarruf oranımız (715 GB veri) / (tekilleştirmeden sonra kullanılan 578 GB alan) = 1.237 x, bu da özetin bize söylediği şeydir ("dedup = 1.24").