Bir Linux disk görüntüsünü seyrek bir dosyaya nasıl dönüştürebilirim?

Bir EXT bölümünde ddrescue ile yapılmış bir sürü disk görüntüsü var ve hala monte edilebilirken veri kaybetmeden boyutlarını küçültmek istiyorum.

Görüntünün dosya sistemindeki boş alanı sıfırlarla nasıl doldurabilirim ve sonra bu boş alanın gerçekten diskte depolanmaması için dosyayı seyrek bir dosyaya nasıl dönüştürebilirim ?

Örneğin:

> du -s --si --apparent-size Jimage.image 
120G Jimage.image
> du -s --si Jimage.image 
121G Jimage.image

Bu aslında üzerinde sadece 50G gerçek veri var, bu yüzden ikinci ölçüm çok daha küçük olmalı.

Bu sözde boş alanı sıfırlarla dolduracaktır:

cat /dev/zero > zero.file
rm zero.file

Ancak seyrek dosyalar şeffaf bir şekilde işlenirse, sanal diske hiçbir şey yazmadan aslında seyrek bir dosya oluşturabilir, bu da ironik bir şekilde sanal disk görüntüsünü seyrek bir dosyaya dönüştürmemi engelleyebilir. :) Yapar?

Not: Bazı nedenlerden dolayı, takılı bir disk görüntüsünde çalışmadığında sudo dd if=/dev/zero of=./zero.fileçalışır cat.

Her şeyden önce, seyrek dosyalar yalnızca arama yaparsanız, sıfır yazarsanız değil, yalnızca şeffaf bir şekilde işlenir.

Daha açık bir şekilde ifade etmek gerekirse, Wikipedia'dan örnek

dd if=/dev/zero of=sparse-file bs=1k count=0 seek=5120

yok değil herhangi sıfır yazmak, aramak (üzerinden atlamak), 5MB çıktı dosyasını açın ve sonra yazacak sıfır (hiç yani hiçbir şey) sıfır. Bu komut ( Wikipedia'dan değil )

dd if=/dev/zero of=sparse-file bs=1k count=5120

5MB sıfır yazacak ve seyrek bir dosya oluşturmayacak!

Sonuç olarak, zaten seyrek olmayan bir dosya daha sonra sihirli bir şekilde seyrek olmayacaktır.

İkincisi, seyrek sıfır dolu bir dosyayı yapmak, yapmak zorundasın cp o

cp --sparse=always original sparsefile

veya tar veya rsync'in --sparse seçeneğini de kullanabilirsiniz.

Belki de bir dosyayı yerinde düzenlemenin en kolay yolu fallocateyardımcı programı aşağıdaki gibi kullanmaktır :

fallocate -v --dig-holes {file_name}

fallocate (1) , Debian üzerindeki util-linux paketi tarafından sağlanmaktadır .

Cevabımı bütünlük için düzenleme:

1. Sıfırla balon boş FS alanı (UYARI: disk görüntünüzü değiştirir):

losetup --partscan --find --show disk.img

Disk olarak / dev / loop1 verdiğini ve yalnızca bir bölüm olduğunu varsayalım, aksi takdirde içinde monte edilebilir FS bulunan her bölüm için bunu tekrarlamamız gerekir (takas bölümünü yok sayın vb.).

mkdir -p /mnt/tmp mount /dev/loop1p1 /mnt/tmp dd if=/dev/zero of=/mnt/tmp/tempfile

ENOSPC ile başarısızlığa uğramasına izin verin.

/bin/rm -f /mnt/tmp/tempfile umount /mnt/tmp losetup -d /dev/loop1

2. Seyrek bir resme kopyalama:

'dd', sıfırlı bir dosyayı seyrek bir dosyaya dönüştürme seçeneğine sahiptir:

dd if=disk.img of=disk-sparse.img conv=sparse

Ddrescue tarafından oluşturulan görüntünüzün 50 GB olduğunu ve gerçekte daha az bir şeyin yeterli olacağını mı kastediyorsunuz?

Bu durumda, önce dd ile yeni bir resim oluşturamazdınız:

dd if=/dev/zero of=some_image.img bs=1M count=20000

ve içinde bir dosya sistemi oluşturun:

mkfsofyourchoice some_image.img

sonra sadece görüntüyü monte ve eski görüntüden yenisine her şeyi kopyalamak? Bu senin işine yarar mıydı?

PartImage sadece bir dosya sisteminin kullanılmış bloklarını saklayan disk görüntüleri oluşturabilir, böylece kullanılmayan bloğu göz ardı ederek gerekli alanı büyük ölçüde azaltır. Ortaya çıkan görüntüleri doğrudan monte edebileceğinizi düşünmüyorum, ancak gidiyorsunuz:

image -> partimage -> image -> cp --sparse=alway

İstediğinizi üretmelisiniz (son adımı atmak bile mümkün olabilir, denemedim).

Şimdi bunu yapacak virt-sparsify adlı bir araç var . Boş alanı sıfırlarla doldurur ve ardından görüntüyü seyrek bir dosyaya kopyalar. Yine de çok fazla bağımlılık yüklemeyi gerektirir.

GERÇEKTEN yapmak istediğiniz şey buysa, bu spesifikasyona yazılan özel bir programa ihtiyacınız olacağını sanıyorum. Ama bu ...?

Aslında çok sayıda sıfır alanınız varsa, iyi bir sıkıştırma aracı önemli ölçüde düşecektir. Ve seyrek dosyalar yazmaya çalışmak her durumda işe yaramaz. Doğru hatırlıyorsam, seyrek dosyalar bile en az 1 blok çıkış depolama alanı kaplar, burada giriş bloğu sıfır olmayan HERHANGİ bir bit içerir. Örneğin, 512 baytlık blok başına ortalama 1 sıfır olmayan bite sahip bir dosyanız olduğunu varsayalım - "seyrek" olarak yazılamaz. Bu arada, dosyayı zip, bzip, bzip2 veya p7zip ile sıkıştırırsanız veri kaybetmezsiniz. Kayıp olan mpeg veya jpeg sıkıştırması gibi değiller.

Öte yandan, dosyaya rastgele arama okumaları yapmanız gerekiyorsa, sıkıştırma değerinden daha fazla sorun olabilir ve seyrek yazmaya geri dönersiniz. Yetkili bir C veya C ++ programcısı böyle bir şeyi bir saat veya daha kısa sürede yazabilmelidir.