Bir ikili dosyayı HTTP üzerinden nasıl indirebilirim?

Ruby kullanarak bir ikili dosyayı HTTP üzerinden nasıl indirip kaydedebilirim?

URL http://somedomain.net/flv/sample/sample.flv.

Windows platformundayım ve herhangi bir harici program çalıştırmamayı tercih ederim.

En basit yol, platforma özel çözümdür:

 #!/usr/bin/env ruby
`wget http://somedomain.net/flv/sample/sample.flv`

Muhtemelen arıyorsun:

require 'net/http'
# Must be somedomain.net instead of somedomain.net/, otherwise, it will throw exception.
Net::HTTP.start("somedomain.net") do |http|
    resp = http.get("/flv/sample/sample.flv")
    open("sample.flv", "wb") do |file|
        file.write(resp.body)
    end
end
puts "Done."

Düzenleme: Değiştirildi. Teşekkür ederim.

Edit2: İndirirken dosyanın bir kısmını kaydeden çözüm:

# instead of http.get
f = open('sample.flv')
begin
    http.request_get('/sample.flv') do |resp|
        resp.read_body do |segment|
            f.write(segment)
        end
    end
ensure
    f.close()
end

Bunun eski bir soru olduğunu biliyorum ama Google beni buraya fırlattı ve sanırım daha basit bir cevap buldum.

Gelen Railscasts # 179 Ryan Bates Yakut standart sınıf kullanılan openURI çok böyle istendi ne yapmalı:

( Uyarı : test edilmemiş kod. Değiştirmeniz / ince ayar yapmanız gerekebilir.)

require 'open-uri'

File.open("/my/local/path/sample.flv", "wb") do |saved_file|
  # the following "open" is provided by open-uri
  open("http://somedomain.net/flv/sample/sample.flv", "rb") do |read_file|
    saved_file.write(read_file.read)
  end
end

İşte kullanarak dosyalamak için Ruby http'im open(name, *rest, &block).

require "open-uri"
require "fileutils"

def download(url, path)
  case io = open(url)
  when StringIO then File.open(path, 'w') { |f| f.write(io) }
  when Tempfile then io.close; FileUtils.mv(io.path, path)
  end
end

Buradaki ana avantajı kısa ve basittir, çünkü openağır işlerin çoğunu yapar. Ve hafızadaki tüm yanıtı okumaz.

openYöntemi> a 1kb yanıt akışı olacaktır Tempfile. Dosyaya bu yalın indirme yöntemini uygulamak için bu bilgiden yararlanabiliriz. OpenURI::BufferUygulamaya buradan bakın .

Lütfen kullanıcı tarafından sağlanan girdilere dikkat edin! kullanıcı girdisinden geliyorsa open(name, *rest, &block)güvenli değildir name!

Ruby'nin net / http belgelerindeki Örnek 3, bir belgenin HTTP üzerinden nasıl indirileceğini ve sadece belleğe yüklemek yerine dosyanın nasıl çıktılacağını gösterir, örneğin Dejw'in cevabında gösterildiği gibi, bir dosyaya ikili yazma ile koyar.

Aynı belgede daha karmaşık durumlar daha aşağıda gösterilmiştir.

Tek satırlık açık-uri kullanabilirsiniz

require 'open-uri'
content = open('http://example.com').read

Veya net / http kullanarak

require 'net/http'
File.write("file_name", Net::HTTP.get(URI.parse("http://url.com")))

Dejw'in cevabını genişletmek (edit2):

File.open(filename,'w'){ |f|
  uri = URI.parse(url)
  Net::HTTP.start(uri.host,uri.port){ |http| 
    http.request_get(uri.path){ |res| 
      res.read_body{ |seg|
        f << seg
#hack -- adjust to suit:
        sleep 0.005 
      }
    }
  }
}

dizeler nerede filenameve nerede url.

sleepKomut edebilir kesmek dramatik ağ sınırlayıcı faktör olduğu zaman CPU kullanımını azaltmak. Net :: HTTP, verimi vermeden önce arabelleğin (v1.9.2'de 16kB) dolmasını beklemez, bu nedenle CPU küçük parçaları hareket ettirerek meşgul olur. Bir anlığına uyumak, arabelleğe yazma işlemleri arasında dolma şansı verir ve CPU kullanımı, uygulamamdaki 4-5x fark olan curl çözümüyle karşılaştırılabilir. Daha sağlam bir çözüm ilerlemeyi inceleyebilir f.posve zaman aşımını hedeflemek için zaman aşımını ayarlayabilir, örneğin tampon boyutunun% 95'ini - aslında benim örneğimde 0.005 sayısını elde ettim.

Üzgünüm, ama Ruby'nin arabelleğin dolmasını beklemesinin daha zarif bir yolunu bilmiyorum.

Düzenle:

Bu, arabelleği tam kapasitede veya altında tutmak için kendini otomatik olarak ayarlayan bir versiyondur. Bu uygun olmayan bir çözüm, ancak aynı derecede hızlı ve kıvrılma çağrısı yaptığı kadar az CPU zamanı kullanıyor gibi görünüyor.

Üç aşamalı olarak çalışır. Kasıtlı olarak uzun bir uyku süresine sahip kısa bir öğrenme dönemi, tam bir arabellek boyutunu belirler. Düşme süresi, yetersiz doldurulmuş bir tampon bulana kadar daha büyük bir faktörle çarparak her yinelemede uyku süresini hızlı bir şekilde azaltır. Daha sonra normal dönemde daha küçük bir faktörle yukarı ve aşağı ayarlanır.

Benim Ruby'm biraz paslanmış, bu yüzden bunun iyileştirilebileceğinden eminim. Her şeyden önce, herhangi bir hata işleme yoktur. Ayrıca, belki indirmenin kendisinden uzakta bir nesneye ayrılabilir, böylece sadece döngünüzü çağırırsınız autosleep.sleep(f.pos)? Daha da iyisi, Net :: HTTP, vermeden önce tam bir arabellek bekleyecek şekilde değiştirilebilir :-)

def http_to_file(filename,url,opt={})
  opt = {
    :init_pause => 0.1,    #start by waiting this long each time
                           # it's deliberately long so we can see 
                           # what a full buffer looks like
    :learn_period => 0.3,  #keep the initial pause for at least this many seconds
    :drop => 1.5,          #fast reducing factor to find roughly optimized pause time
    :adjust => 1.05        #during the normal period, adjust up or down by this factor
  }.merge(opt)
  pause = opt[:init_pause]
  learn = 1 + (opt[:learn_period]/pause).to_i
  drop_period = true
  delta = 0
  max_delta = 0
  last_pos = 0
  File.open(filename,'w'){ |f|
    uri = URI.parse(url)
    Net::HTTP.start(uri.host,uri.port){ |http|
      http.request_get(uri.path){ |res|
        res.read_body{ |seg|
          f << seg
          delta = f.pos - last_pos
          last_pos += delta
          if delta > max_delta then max_delta = delta end
          if learn <= 0 then
            learn -= 1
          elsif delta == max_delta then
            if drop_period then
              pause /= opt[:drop_factor]
            else
              pause /= opt[:adjust]
            end
          elsif delta < max_delta then
            drop_period = false
            pause *= opt[:adjust]
          end
          sleep(pause)
        }
      }
    }
  }
end

Daha api dostu kütüphaneler vardır Net::HTTPörnek için, httparty :

require "httparty"
File.open("/tmp/my_file.flv", "wb") do |f| 
  f.write HTTParty.get("http://somedomain.net/flv/sample/sample.flv").parsed_response
end

Dosyada Almanca Umlautlar (ä, ö, ü) içeriyorsa sorun yaşadım. Sorunu kullanarak çözebilirim:

ec = Encoding::Converter.new('iso-8859-1', 'utf-8')
...
f << ec.convert(seg)
...

Geçici dosyayı nasıl indireceğiniz, bir şeyler yapıp sileceğiniz bir yol arıyorsanız bu mücevheri deneyin https://github.com/equivalent/pull_tempfile

require 'pull_tempfile'

PullTempfile.transaction(url: 'https://mycompany.org/stupid-csv-report.csv', original_filename: 'dont-care.csv') do |tmp_file|
  CSV.foreach(tmp_file.path) do |row|
    # ....
  end
end