Kötü bağlantı üzerinden büyük dosyayı indirin

Kötü bir bağlantı üzerinden büyük dosyaları indirmek için kullanılabilecek mevcut bir araç var mı?

Düzenli olarak küçük bir dosyayı indirmem gerekiyor: 300 MB, ancak yavaş (80-120 KBytes / sn) TCP bağlantısı 10-120 saniye sonra rasgele kesiliyor. (Bu büyük bir şirketin ağı. Yöneticileriyle (Hindistan'dan çalışarak) defalarca iletişim kurduk, ancak hiçbir şey yapamıyorlar ya da istemiyorlar.) Sorun ters vekilleri / yük dengeleyicileri ile ilgili olabilir.

Şimdiye kadar pcurl'nin değiştirilmiş bir versiyonunu kullandım: https://github.com/brunoborges/pcurl

Bu satırı değiştirdim:

curl -s --range ${START_SEG}-${END_SEG} -o ${FILENAME}.part${i} ${URL} &

buna:

curl -s --retry 9999 --retry-delay 3 --speed-limit 2048 --speed-time 10 \
    --retry-max-time 0 -C - --range ${START_SEG}-${END_SEG} -o ${FILENAME}.part${i} ${URL} &

Eklemek zorunda kaldım, --speed-limit 2048 --speed-time 10çünkü bağlantı çoğunlukla başarısız olduğunda dakikalarca kilitleniyor.

Ancak son zamanlarda bu senaryo bile tamamlanamıyor.

Bir sorun, -C -parçayı görmezden geldiği görülüyor , bu yüzden yeniden denemeden sonra segmenti "devam ettirmiyor". İlgili geçici dosyayı kısaltıyor ve her başarısızlıktan sonra baştan başlıyor gibi görünüyor. (Bence --rangeve -Cseçenekler birlikte kullanılamaz)

Diğer problem, bu betiğin tüm segmentleri aynı anda indirmesidir. Bir seferde yalnızca 10 tanesi indirilen 300 adet kesime sahip olamaz.

Bu amaç için bir indirme aracı C # dilinde yazmayı düşünüyordum, ancak mevcut bir araç varsa veya curl komutu farklı parametrelerle düzgün çalışabiliyorsa biraz zaman ayırabilirim.

GÜNCELLEME 1: Ek bilgi: Paralel indirme işlevi kaldırılmamalıdır, çünkü her bağlantı için bir bant genişliği sınırı vardır (80-120 Kbyte / sn, çoğunlukla 80), bu nedenle 10 bağlantı 10 kez hızlanmaya neden olabilir. Dosya indirmeyi 1 saat içinde bitirmeliyim, çünkü dosya saatlik üretiliyor.

lftp( Wikipedia ) bunun için iyidir. Birkaç protokolü destekler, birkaç eşzamanlı paralel bağlantı kullanarak dosyaları indirebilir (tıkanıklıktan kaynaklanmayan çok fazla paket kaybı olduğunda faydalı olabilir) ve indirme işlemlerini otomatik olarak devam ettirebilir. Aynı zamanda komut dosyasıdır.

Buraya geldiğiniz ince ayarları da dahil olmak üzere (size kredi verir):

lftp -c 'set net:idle 10
         set net:max-retries 0
         set net:reconnect-interval-base 3
         set net:reconnect-interval-max 3
         pget -n 10 -c "https://host/file.tar.gz"'

Senin durumunda sizin için bu test edemez, ancak kullandığınız olmamalıdır --rangeile -C -. İşte man sayfasının konuyla ilgili söylediklerini:

Kullanım -C -anlatmak için curlotomatik olarak transferini devam ettirmek için nasıl nerede / öğrenmek için. Daha sonra bunu bulmak için verilen çıktı / giriş dosyalarını kullanır.

Bunun yerine şunu deneyin:

curl -s --retry 9999 --retry-delay 3 --speed-limit 2048 --speed-time 10 \
    --retry-max-time 0 -C - -o "${FILENAME}.part${i}" "${URL}" &

Ayrıca, kabuklarınızı ayrıştırmaya çalışmadığı için değişkenlerinizi daima iki kez alıntılamanızı şiddetle tavsiye ederim. ( https://example.net/param1=one&param2=twoKabuğun, değeri böldüğü bir URL'yi düşünün &.)

Bu arada, 120 KB / s, yaklaşık 1.2 Mb / sn'dir; bu, dünyanın birçok yerinde tipik bir xDSL yükleme hızıdır. MB başına 10 saniye, bu nedenle tüm dosya için bir saatin biraz altında. Çok yavaş olmamakla birlikte, hızdan ziyade güvenilirlikle daha fazla ilgilendiğinizi takdir ediyorum.

Belki daha fazla şansınız vardır wget --continue:

wget --continue ${URL}

Ayrıca bakınız https://www.cyberciti.biz/tips/wget-resume-broken-download.html

Kutunun dışında: Bir mercek sürün ve bittorrent kullanın. Torrenti oluştururken blok boyutunu küçük yapın. Belli ki, dosyayı şifreleyin, böylece torrent'i bulabilen başka biri işe yarar bir şey alamaz.

Önceki işimde de aynı problem vardı ((ofisten gelen) dengesiz bir bağlantıda 300GB + site dışı veritabanı yedeklemeleri hariç). Kullanıcıların dosya indirme işlemi yakl. Bağlantı kesilmeden önce 1 GB. Standart Windows kopyala / yapıştır dosyasını bir RDP bağlantısı üzerinden kullandıklarından, merak etmeyin.

Bulduğum şeylerden biri, VPN ayarlarımızın ağ kurulumuyla (özellikle MTU uzunluğu) tamamen uyumsuzluğuydu. İkincisi, Windows’un dosya fotokopi makinesinin İnternet’ten bir şeyler kopyalamak için yapılmamasıdır.

İlk çözümüm basit bir FTP sunucusuydu, ancak iletim süresi sorununu çözmedi (genellikle bağlantımızdaki 3-4 saat).

İkinci çözümüm, dosyaları doğrudan şirket içi NAS'a göndermek için Syncthing kullanmaktı . Yedeklemeler tamamlandıktan sonra her gece, Syncthing ihtiyaç duyduğumuz her şeyi ofisteki bir NAS'a gönderdi. Sadece 3 + saat iletim süresinin sorunu çözülmedi, aynı zamanda bir kriz olması durumunda verileri kurtarabilmek için 1-2 saatten de kurtuldum. Her sabah saat 8'de, dosyalar NAS'ta güncellenecekti ve yedeklerimizi hazırladık. Büyük dosyalarda bile (bir noktada neredeyse 700GB'lık bir veritabanı), henüz herhangi bir dosya bozulması veya başka sorunla karşılaşmadım.

Senkronizasyonun kurulumu ve yönetimi çok kolaydır ve tüm platformlar (hatta telefonlar için) mevcuttur ve kötü bağlantıları çok iyi kullanır. Bağlantı başarısız olursa, Syncthing birkaç dakika bekler ve tekrar dener.

Bir şeyleri senkronize etmek için yerel bir klasöre ihtiyacınız var, ancak dosyalarınız güncellendiklerinde neredeyse kullanılabilir olacak.

Senkronizasyonla ilgili bir başka iyi şey de, muhtemelen dosya genişliği probleminizin bir bölümünü çözerek ... dosyadaki değişiklikleri (diferansiyel bir yedeklemede olduğu gibi) senkronize etmek için ayarlanabilmesidir .

Kötü bir bağlantı üzerinden dosyaları taşımak için eski okul çözümünü düşünebilirsiniz - zmodem .

Bu, 2400 baud, telefonları toplayan ve bağlantıyı bombalayan insanlarla normale döndüğü zaman modem haline geldi. Denemeye değer olabilir.

Kermit kullanarak deneyebilirsiniz :

Kermit protokolünü diğerlerinden ayıran özellik, her iki tür bilgisayar arasında - paket uzunluğu, paket kodlaması, pencere boyutu, karakter seti, hata bulma yöntemi, zaman aşımları arasındaki herhangi bir tür ve bağlantı kalitesine uyum sağlamaya olanak sağlayan geniş ayar yelpazesidir. duraklar. Diğer protokollerin çoğu yalnızca belirli bağlantı türlerinde veya niteliklerinde ve / veya belirli türdeki bilgisayarlarda veya benzeri dosya sistemlerinde çalışmak üzere tasarlanmıştır ve bu nedenle başka yerlerde yetersiz (veya hiç) çalışmamakta ve planlanmamışsa uyarlamak için az sayıda yöntem sunmaktadır. -durumlar için. Öte yandan, Kermit, herhangi bir bağlantıda başarılı bir dosya aktarımı ve mümkün olan en yüksek performansı elde etmenizi sağlar. "