ruby 1.9: UTF-8'de geçersiz bayt dizisi

Ruby (1.9) ile birçok rastgele siteden çok fazla HTML tüketen bir tarayıcı yazıyorum.
Bağlantıları çıkarmaya çalışırken, sadece .scan(/href="(.*?)"/i)nokogiri / hpricot (büyük hızlanma) yerine kullanmaya karar verdim . Sorun şu ki, artık birçok " invalid byte sequence in UTF-8" hata alıyorum .
Anladığım kadarıyla, net/httpkütüphanenin kodlamaya özgü herhangi bir seçeneği yok ve gelen şeyler temelde doğru şekilde etiketlenmemiş.
Bu gelen verilerle gerçekten çalışmanın en iyi yolu nedir? .encodeDeğiştir ve geçersiz seçenekler setiyle denedim , ancak şu ana kadar başarılı olamadım ...

Ruby 1.9.3'te, geçersiz UTF-8 dizilerini "yok saymak" için String.encode kullanmak mümkündür. Hem 1.8 ( iconv ) hem de 1.9 ( Dize # kodlama ) ile çalışacak bir kod parçacığı :

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

veya gerçekten sorunlu bir girdiniz varsa, UTF-8'den UTF-16'ya ve UTF-8'e çift dönüşüm yapabilirsiniz:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

Kabul edilen cevap ne de diğer cevap benim için işe yarıyor. Bulduğum bu yazı önerdi

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Bu benim için sorunu çözdü.

Mevcut çözümüm çalıştırmaktır:

my_string.unpack("C*").pack("U*")

Bu en azından benim asıl sorunum olan istisnalardan kurtulacaktır.

Bunu dene:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Bir HTML ayrıştırıcı kullanmanızı tavsiye ederim. Sadece en hızlı olanı bulun.

HTML'yi ayrıştırmak göründüğü kadar kolay değildir.

Tarayıcılar UTF-8 HTML belgelerinde geçersiz UTF-8 dizilerini ayrıştırır, sadece " " sembolünü koyar. Dolayısıyla, HTML'deki geçersiz UTF-8 dizisi ayrıştırıldığında, ortaya çıkan metin geçerli bir dizedir.

Özellik değerlerinin içinde bile, amp gibi HTML varlıklarının kodunu çözmeniz gerekir.

HTML'yi bir normal ifadeyle neden güvenilir bir şekilde ayrıştıramadığınızı özetleyen harika bir soru: RegEx, XHTML bağımsız etiketler dışında açık etiketleri eşleştirir

Bu işe yarıyor gibi görünüyor:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

İngilizce, Rusça ve diğer bazı alfabelerin karışımına sahip olan ve istisnaya neden olan dizeyle karşılaştım. Yalnızca Rusça ve İngilizce'ye ihtiyacım var ve bu şu anda benim için çalışıyor:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Nakilon'un çözümü işe yarasa da, en azından hatayı aşarken, benim durumumda, Microsoft Excel'den kaynaklanan ve yakutta (bunu elde et) kiril K olarak kaydedilen CSV'ye dönüştürülen bu garip f-ed up karakterim vardı. yakut kalın bir K idi. Bunu düzeltmek için 'iso-8859-1' kullandım. CSV.parse(f, :encoding => "iso-8859-1"), bu benim acayip deaky Kiril K'larımı çok daha yönetilebilir hale getirdi ve /\xCA/sonra bunu kaldırabilirdim.string.gsub!(/\xCA/, '')

Kullanmadan önce scan, istenen sayfanın Content-Typebaşlığının olduğundan emin olun text/html, çünkü resimler gibi UTF-8 ile kodlanmamış olan şeylere bağlantılar olabilir. hrefBir <link>öğe gibi bir şeyde bir aldıysanız, sayfa html olmayabilir . Bunun nasıl kontrol edileceği, kullandığınız HTTP kitaplığına göre değişir. Ardından, sonucun yalnızca ascii ile olduğundan emin olun String#ascii_only?(UTF-8 değil, çünkü HTML yalnızca ascii kullanıyor olmalıdır, aksi takdirde varlıklar kullanılabilir). Bu testlerin her ikisi de başarılı olursa kullanmak güvenlidir scan.

Verileri "umursamıyorsanız" aşağıdaki gibi bir şey yapabilirsiniz:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Ben sadece valid_encoding?geçerdim. Benimki bir arama alanı ve bu yüzden aynı tuhaflığı defalarca buluyordum, bu yüzden şöyle bir şey kullandım: sadece sistemin bozulmaması için. Bu bilgiyi göndermeden önce otomatik olarak onaylamak için kullanıcı deneyimini kontrol etmediğim için ("sahte!" Demek için otomatik geri bildirim gibi), sadece içeri alabilir, çıkarabilir ve boş sonuçlar verebilirim.