900.000 dosyayı nasıl hızlı bir şekilde kopyalarım?

Ben yaklaşık 30 gigabayt toplam 900.000 küçük dosyaları içeren bazı verileri bir Windows bilgisayara kopyalamak gerekiyor. Ancak, bir buçuk saatten az bir sürede kopyalanabilmesi ve kurulabilmesi gerekir ve çoğunlukla çılgın miktarda dosya nedeniyle bir USB sabit sürücüyü kopyalamak 5+ saat sürebilir. Bununla bir tür blok kopyalama yapmak gibi daha iyi / daha hızlı bir yol var mı? Teşekkürler

Çok sayıda dosyayla, başa çıkmak için daha az dosyaya sahip olmak için tar arşivi oluşturmak en iyisidir. USB 2.0 harici sabit sürücü kullanıyorsanız, USB 3.0, eSATA veya hızlı bir yerel ağ kullanmalısınız.

Kaynak işletim sisteminiz nedir? Her iki işletim sisteminiz de Linux olsaydı, dosyaları tar, gzip ve ssh aracılığıyla hedef makineye bağlayabilirsiniz. Windows için de bu tür bir işlevsellik elde etmek için Windows'a cygwin yükleyebilirsiniz.

Güncelleme:
" SCP Hızlarını artırmak için Tar ve SSH kullanma " gönderisi, tar içeriğini ssh üzerinden göndermek için gereken komutları açıklar.

Sabit sürücü USB arabiriminden ve SATA / ATA'ya çıkarılabilirse, hedef bilgisayara takarım. Diğerlerinin belirttiği gibi, çok daha yüksek aktarım hızları elde edersiniz. Kopyalamak için, Windows'da olduğunuzu varsayarsak, basit bir ROBOCOPY yaparım. Diğer alternatifler olsa da, gerçekten umabildiğiniz kadar hızlı.

ROBOCOPY /E /B /MT 'source' 'destination'

Tüm bu dosyaları sıkıştırmaktan kaçınmaya çalışacağım, sıkıştırmak ve taşımak için zamanın sadece dosyaları hareket ettirmek için iyi bir şans var.

* Robocopy için / MT seçeneği eklendi. Çok iş parçacıklı bir ortamda olduğunuzda aktarımları büyük ölçüde hızlandırabilir.

Tüm klasörün / sürücünün resmini çekmeyi deneyebilirsiniz

Linux sistemlerinde dd, dosya sisteminin ham bir kopyasını alıp tek bir büyük dosya olarak kopyalayabilirsiniz.

Görüntüyü Windows'a ayıklamak için cygwin veya ddgörüntüleri işleyebilen bir program yüklemeniz gerekebilir .

Diski, ayarladığınız bilgisayarda kaynak dosyaların bulunduğu yere kurun ve diski diske aktarın. USB'yi unutun. Kablo üzerinden aktarma bile (makineleri birbirine bağlayan ağ) bile USB'den daha hızlı olacaktır (usb 2.0 ve 1Gbps NIC varsayarsak). Bu yinelenen bir etkinlikse, bunun yerine çoğaltmaya bakın.

Kullanım rsyncile zseçeneğiyle.

-z,         --compress              compress file data during the transfer
            --compress-level=NUM    explicitly set compression level
            --skip-compress=LIST    skip compressing files with suffix in LIST

Bu, ağ üzerinden aktarım hızını artıracaktır. Yani büyük ihtimalle sizin durumunuzda yararlı değil.

Biraz daha okuduktan sonra, bir yerel sabit diskten diğerine veri kopyalarken '-z' bayrağını kullanmamalıyız, bu yükü arttırıyor. @FakeName adlı kullanıcıya yorum yaptığınız için teşekkür ederiz.

Sabit diskinizin sınırlamalarına hızla yaklaşıyorsunuz. Aslında, mevcut emtia sürücüleri ile, aktarım sürenizi dosya başına kopyalama işlemiyle karşılamak imkansızdır.

Her dosya için 1 HD arama ve arama süresi 7 ms'dir (biraz idealize edilir, gerçekçi olarak, birim bitmap ram'da önbelleğe alınmadıkça her dosya iki arama gerektirir ), en iyi şekilde ~ 142 dosya / sn ( \ $ \ frac {1000} {7} = 142.8 ... \ $).

Dosya başına ~ 33K olan OP özellikleriyle (30 GB, 900.000 dosya) (\ $ \ frac {30,000,000k} {900,000} = ~ 33,3 ... \ $. 33KB * 142 = 4,68 MBps.

En az 5 Mbps 30 GB transfer zamanı, yaklaşık 1 saat, 40 dakika (\ $ \ frac {30,000} {5} = = 6.000 \ $ saniye. \ $ \ Frac {6000} {60} = 100 \ $ olduğu dakika veya 1:40 saat)

Bu nedenle, ~ 5 MBPS'den daha iyi bir hıza ulaşmak imkansızdır ve bu ideal bir sürücüdür (ve daha az arama işlemi. Bu, dosya başına bir arama içindir. Gerçekçi olarak, iki olurdu). Sen sınırlıdır tamamen disk performansı ile.

Performansı bundan daha iyi almanın tek yolu, tüm dosya sistemini ve bölümü sırayla kopyalamaktır. ddbunu linux üzerinde yapabilir.

Ne yapmaya çalışıyorsun?

Dosyaları yalnızca bir dosyada arşivlemek için 7zip'i deneyin. Mümkünse, dizüstü bilgisayara geçici bağlantı ile WLAN kullanın.

@Arcyqwery'nin cevabı ile ilgili olarak, sıkıştırabilir ve aynı anda büyük bir dosyaya dönüştürebilirsiniz. Bu işlemi biraz hızlandıracaktır.

Genellikle varsayılan Windows kopyalama performansından daha hızlı olduğu için TeraCopy gibi bir program kullanmak da faydalı olabilir . Yine de kontrol etmek için durumunuzda benzer durumlarla test etmelisiniz.

Benzer bir vakam vardı. Anti-virüs'ü kapattım, kopyalama hızı 3MB / s'den 12MB / s'ye değiştirildi.