ruby 1.9: недійсна послідовність байтів у UTF-8

Я пишу сканер в Ruby (1.9), який споживає багато HTML з багатьох випадкових сайтів.
Намагаючись витягнути посилання, я вирішив просто використовувати .scan(/href="(.*?)"/i)замість nokogiri / hpricot (основна швидкість). Проблема полягає в тому, що зараз я отримую багато invalid byte sequence in UTF-8помилок.
З того, що я зрозумів, у net/httpбібліотеці немає специфічних параметрів кодування, і те, що входить, в основному не належним чином позначено.
Який був би найкращий спосіб реально працювати з цими вхідними даними? Я спробував .encodeвстановити заміни та недійсні параметри, але успіху поки що немає ...

У Ruby 1.9.3 можна використовувати String.encode, щоб "ігнорувати" недійсні послідовності UTF-8. Ось фрагмент, який буде працювати як у 1.8 ( iconv ), так і 1.9 ( String # encode ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

або якщо у вас справді клопітка інформація, ви можете зробити подвійне перетворення з UTF-8 в UTF-16 і назад до UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

Прийнята відповідь та інша відповідь не працюють для мене. Я знайшов цю посаду, яка запропонувала

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Це вирішило для мене проблему.

Моє поточне рішення: запустити:

my_string.unpack("C*").pack("U*")

Це хоча б позбудеться тих винятків, які були моєю основною проблемою

Спробуйте це:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Я рекомендую вам використовувати парний HTML-аналізатор. Просто знайдіть найшвидший.

Розбір HTML не такий простий, як може здатися.

Браузери аналізують недійсні послідовності UTF-8 у документах HTML UTF-8, просто ставлячи символ " ". Отже, як тільки недійсна послідовність UTF-8 в HTML розбирається, отриманий текст є дійсним рядком.

Навіть всередині значень атрибутів ви повинні декодувати HTML-сутності, наприклад, підсилювачі

Ось чудове питання, яке підсумовує, чому ви не можете надійно розібрати HTML з регулярним виразом: RegEx відповідає відкритим тегам, за винятком автономних тегів XHTML

Це, здається, працює:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Я стикався з рядками, в яких були змішання англійської, російської та деяких інших алфавітів, що спричинило виняток. Мені потрібні лише російська та англійська мови, і зараз це працює для мене:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Хоча рішення Nakilon працює, принаймні, що стосується подолання помилки, у моєму випадку у мене був цей дивний персонаж, що вийшов з файлу Microsoft Excel, перетворений у CSV, що реєструвався в рубіні як (отримати це) кирилицею K, яка в Рубін був напівжирним К. Для виправлення цього я використав "iso-8859-1" саме. CSV.parse(f, :encoding => "iso-8859-1"), що перетворило мої химерні глухі кирилиці K у набагато більш керовані /\xCA/, які я міг потім знятиstring.gsub!(/\xCA/, '')

Перш ніж використовувати scan, переконайтеся, що Content-Typeзаголовок потрібної сторінки є text/html, оскільки там можуть бути посилання на речі, такі як зображення, які не закодовані в UTF-8. Сторінка також може бути не-html, якщо ви зібрали hrefщось на зразок <link>елемента. Як перевірити це, залежить від бібліотеки HTTP, яку ви використовуєте. Потім переконайтеся, що результатом є лише ascii з String#ascii_only?(а не UTF-8, оскільки HTML повинен використовуватись лише ascii, сутності можна використовувати інакше). Якщо вони пройдуть обидва ці тести, це безпечно для використання scan.

Якщо вас не цікавить дані, ви можете зробити щось на кшталт:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Я просто звик valid_encoding?це пройти. Моє поле пошуку, і тому я знаходив однакові дивацтва знову і знову, тому я використовував щось на кшталт: просто щоб система не зламалася. Оскільки я не контролюю, щоб користувальницький досвід користувався автовалізацією перед надсиланням цієї інформації (як-от автоматичний зворотний зв'язок, щоб сказати "манекен!"), Я можу просто взяти її, зняти та повернути порожні результати.