Büyük bir dosyayı bir Windows ağı üzerinden aktarmanın en basit ve en hızlı yolu nedir?

20 GB üzerinde veri depolayan MS SQL Server çalıştıran bir Windows Server 2000 makinem var. Veritabanı her gün ikinci sabit sürücüye yedeklenir. Başka bir test sunucusu oluşturmak ve kurtarma uygulamaları için bu yedekleme dosyalarını başka bir bilgisayara aktarmak istiyorum. (yedekleme neredeyse 5 yıl boyunca hiç geri yüklenmedi. Patronuma bundan bahsetme!)

Bu büyük dosyayı ağ üzerinden aktarırken sorun yaşıyorum. Düz ağ kopyalama, apache indirme ve ftp'yi denedim. Denediğim herhangi bir yöntem aktarılan veri miktarı 2GB'a ulaştığında başarısız oluyor. Dosyayı en son başarılı bir şekilde aktardığımda, bir usb bağlı harici sabitdisk ile oldu. Ancak bu görevi rutin ve tercihen otomatik olarak yapmak istiyorum.

Acaba bu durum için en pragmatik yaklaşım nedir?

Hedef dosya sisteminin suçlanacağı 2 Gb'de öngörülebilen bir hata ... Her ikisi de NTFS'de mi? Herhangi bir sıkıştırmadan geçiyor musunuz (zip 2GB sınırlarında başarısız oldu) ((apache sıkıştırma yapıyor))

Robocopy kullanarak 20 Gb üzerinde birçok dosya kopyaladım (diğerlerinin de belirttiği gibi) ama / MIR anahtarını kullanarak istediğiniz dosyaları kopyaladığınızdan emin olana kadar / MIR anahtarını kullanmaktan kaçınırım çünkü dosyaları siler ve kopyalar.

SMB zaman sınırında tek bir paketten muzdariptir, bu nedenle dosyaları kopyalamanın daha yavaş yolu vardır - push veya pull kullanarak kopyalama seçeneğiniz vardır. Şahsen ben itme yöntemini tercih ederim (kopya kaynak tarafından başlatılır).

MS Exchange aracı eseutil, büyük dosyaları ağ üzerinden hızlıca kopyalamak için mükemmel bir yardımcı programdır:

eseutil / y kaynak_dosyası / gün hedef_dosyası.

RichCopy ücretsiz yardımcı programını kullanmanızı şiddetle tavsiye ederim . Çok iş parçacıklıdır ve dosya kopyalama işlemlerini duraklatabilir ve devam ettirebilir. Ben severs arasında dosya aktarmak için kullanarak çok iyi şanslar oldu.

RichCopy kullanmak için en iyi üç ipucum

1. Bir veya birkaç büyük dosyayı kopyalıyorsanız, 'Dosya Kopyalama' özniteliğini '1'den daha fazla olarak ayarlayın. Kaynakları kullanır ancak büyük dosyaları daha hızlı kopyalar

2. Çok sayıda dosya kopyalıyorsanız, 'İş parçacığı numarası' özniteliklerini 10-10-1 olarak ayarlayın. Bu, birden fazla dosyayı daha hızlı kopyalar

3. Çok tehlikeli bir bağlantı üzerinden kopyalama yapıyorsanız. İndirmeyi yeniden çalıştırabilirsiniz ve ilk kez almak için yönetmediği dosyaları bulur.

http://blogs.technet.com/markdea/archive/2009/03/24/richcopy-is-it-the-new-sliced-bread.aspx

Dosya kopyalama yardımcı programları gittikçe, TeraCopy , çok sayıda dosyayı sıraya alabilen, duraklatmayı ve devam ettirmeyi destekleyen, hızı optimize etmek için arabellek boyutunu dinamik olarak değiştirebilen ve isteğe bağlı olarak Windows Gezgini'nin yerine geçebilen güzel bir GUI tabanlı (komut satırı değil) kendi kopyala / taşı.

/ MIR seçeneğiyle robokopi, makineler arasında hızlı ve kirli yedeklemeler için çok kullanışlıdır. Robocopy'yi Windows Server 200X Resouce Kitinde bulabilirsiniz

MIR, bir dizinin içeriğini başka bir sunucuya çevirir. Yalnızca değişen dosyaları kopyalar.

Büyük SQL Server yedekleme dosyalarının tekrar tekrar karıştırılması için en pragmatik çözüm, bir üçüncü taraf yedekleme sıkıştırma ürünü veya SQL Server 2008 Enterprise Edition'ın yerleşik yedekleme sıkıştırmasını kullanmaktır.

Orada farklı satıcılardan birkaç tane var. LiteSpeed'in yapımcıları Quest Software için çalışıyorum, ancak hiçbir şey satmak için burada değilim. Tüm ürünleri kontrol etmek ve ihtiyaçlarınıza en uygun olanı belirlemek istiyorsunuz. İşte LiteSpeed ​​hakkında özel olarak konuşan yeni bir blog yazısı, ancak aynı kavramlar diğer ürünler için de geçerlidir:

http://blogs.lessthandot.com/index.php/DataMgmt/DBAdmin/title-8

Dosyayı LAN üzerinden mi yoksa ADSL gibi bir WAN bağlantısı üzerinden mi kopyalıyorsunuz? Bir WAN olduğunu düşünüyorum çünkü 20GB bir LAN üzerinden kopyalamak için büyük bir dosya değil. Her gün bu tür dosyaları kopyalarım.

Bir WAN bağlantısıysa, bunu yapmamın yolu rsync'in Cygwin sürümünü kullanmaktır.

JR

Ağ aktarımları 2GB civarında başarısız oldu - hatalı bir NIC olduğu ortaya çıktı.

Sizinkinden birkaç kat daha büyük dosyaları aktarmak için günlük olarak syncback ( http://www.2brightsparks.com/syncback/sbse.html ) kullanıyorum . Onunla hiç problem yaşamadım.

Biraz geç ama ben bir 3. taraf yedekleme ve uygulama seçeneği geri yükleme öneriyoruz. Red Gate SQL Backup ( www.red-gate.com ) kullanıyoruz, GUI'de sıkıştırma ve alternatif konum seçenekleri var. Kompresyonların ortalama% 80 tasarruf sağlandığından, gerçek db boyutunun sadece% 20'sini aktarırsınız. Şifrelemeyi de destekler, böylece bir WAN üzerinden müdahale endişesi olmadan kullanılabilir.

Tamamen programlanabilir böylece seçtiğiniz bir döngüde otomatik olarak çalışabilir.

GUI ayrıca günlük gönderimini yapılandırmanıza ve yönetmenize de olanak tanır.

Yukarıdaki ücretsiz deneme sürümü.

Böyle büyük bir dosya ile deneyimim yok, ancak yeniden başlatılabilir olduğunu iddia eden / Z seçeneği ile robocopy veya hatta xcopy kullanabilirsiniz. Ağın güvenilir olmadığı büyük dosya kopyaları için tasarlanmış gibi görünüyor.

Ben 1 gb üzerinde robocopy kullandım ve hiç problem yaşamadım. ss64.com anahtarların iyi bir açıklamasına sahiptir. Yine de bağlantıyı gönderemiyorum :-(

Kötü cevap ..

Netcat kullanın . Dosyaları aktarmak için unix tabanlı bir öğretici burada bulunabilir . İşleri daha da hızlandırabilirsiniz:

1. Gönderen tarafında sıkıştırın ve hedef tarafta açın. (komut satırlarının ortasında gzip'e eşdeğer chuck pencereleri.)
2. Verileri tcp yerine udp ile göndermeyi seçin (hey, veri bütünlüğünü önemseyen adam ?? !!)

Şaka bir yana, netcat muhtemelen büyük dosyaları bir LAN'a aktarmanın en hızlı yoludur. Hiçbir sağlama toplamı yapılmadığından, dosyayı göndermeden önce bir MD5 toplamı yapmak ve alınan dosyanın MD5 toplamı ile karşılaştırmak isteyebilirsiniz.

Netcat'i bu şekilde çok kullandım, başarısız olduğunu hiç görmedim, ağını da maksimize etmeyi hiç görmedim.

Sorunu tespit edene kadar dosyayı kısa vadeli bir çözüm olarak daha küçük parçalara ayırmaya değer olabilir. Geçmişte buna benzer sorunlar yaşadık ve ftp her zaman bizim için çalıştı

Bunlar kopyaladığınız SQL .bak dosyalarıysa, kopyalamadan önce dosyalarınızı küçültmek için aşağıdakilerden birini yapmanızı şiddetle tavsiye ederim:

• Veritabanını küçültün ve yedeklemeyi çalıştırmadan önce günlüğü kesin. VEYA
• Kopyalamadan önce .bak dosyasını sıkıştırın. Veri ve günlük dosyalarında tam olarak ayrılmış alanı kullanmıyorsanız, SQL .bak dosyaları aşağı doğru sıkıştırır.

Büyük dosyaları kopyalamak için alternatif bir yönteme duyulan ihtiyacı ortadan kaldırabilir.

Daha hızlı aktarılacak bir şey bulmak sorun değil, başkalarının söylediği gibi, hedef dosya sisteminizin FAT DEĞİL olduğundan emin olmak için iki kez kontrol edin. Ayrıca, her iki taraftaki NIC'lerin sürücülerinin güncellenmiş olduğundan ve aksi halde kesintili davranmadığından emin olun.

Bununla birlikte, birçok küçük dosyayı mı yoksa sadece birkaç büyük dosyayı mı taşıyorsunuz? Milyonlarca küçük dosyayı taşımaya çalışırken RAID denetleyicisi sorunları gördüm.

Hataya neyin neden olduğunu anladıktan sonra bunu otomatikleştirmede bir sorun yaşayacağınızı sanmıyorum. Donanımınız ve olay görüntüleyicide görebileceğiniz ilgili hatalar hakkında daha fazla ayrıntı listelemenize yardımcı olabilir.

Harici bir sabit sürücüye eSATA bağlantısı kullanmaya çalıştınız mı? Bağlantılar hızlı bir şekilde sigara içiyor (3 gigabit!) Ve bu dosyayı hemen aktarabilmelidir!

Ağ kartınız sunucuda ne hızda, 10/100 veya 10/100/1000? Dosyayı ele alırken sunucu ağ bant genişliği ve anahtarı neye benziyor? Hedef konumun (sunucunun?) Ağ bant genişliği kopyalama sırasında neye benziyor? 2 NIC ile birlikte çalışmayı denediniz mi? Ağ kartı sürücüleri güncel mi? BIOS güncel mi?

Dosya aktarımlarında sorun olabilecek birçok şey var. Donanım sürücülerinin ve BIOS'un güncel olduğundan emin olmak gerçekten fark yaratabilir.

-JFV

En basit ve en hızlı yol: harici USB diskler ve yürüme.

Yolum: rsync kullanın. Kopyalama başarısız olursa, yeniden başlatın ve kaldığı yerden devam edecektir.

Kontrol edilecek diğer bir şey, kota hizmetinin hedef sunucuda ayarlanıp ayarlanmadığını görmek olacaktır; Kullanıcı başına varsayılan kota olarak 2 GB kullandığını düşünüyorum.