Як завантажити двійковий файл через HTTP?

Як завантажити та зберегти бінарний файл через HTTP за допомогою Ruby?

URL-адреса є http://somedomain.net/flv/sample/sample.flv.

Я на платформі Windows, і я вважаю за краще не запускати жодної зовнішньої програми.

Найпростішим способом є рішення для платформи:

 #!/usr/bin/env ruby
`wget http://somedomain.net/flv/sample/sample.flv`

Можливо, ви шукаєте:

require 'net/http'
# Must be somedomain.net instead of somedomain.net/, otherwise, it will throw exception.
Net::HTTP.start("somedomain.net") do |http|
    resp = http.get("/flv/sample/sample.flv")
    open("sample.flv", "wb") do |file|
        file.write(resp.body)
    end
end
puts "Done."

Редагувати: Змінено. Спасибі.

Edit2: Рішення, яке зберігає частину файлу під час завантаження:

# instead of http.get
f = open('sample.flv')
begin
    http.request_get('/sample.flv') do |resp|
        resp.read_body do |segment|
            f.write(segment)
        end
    end
ensure
    f.close()
end

Я знаю, що це старе питання, але Google кинув мене сюди, і я думаю, що я знайшов простішу відповідь.

У програмі Railscasts # 179 Райан Бейтс використовував стандартний клас Ruby OpenURI, щоб зробити багато з того, що було запропоновано так:

( Попередження : неперевірений код. Можливо, вам доведеться змінити / налаштувати його.)

require 'open-uri'

File.open("/my/local/path/sample.flv", "wb") do |saved_file|
  # the following "open" is provided by open-uri
  open("http://somedomain.net/flv/sample/sample.flv", "rb") do |read_file|
    saved_file.write(read_file.read)
  end
end

Ось мій файл Ruby http для файлу за допомогою open(name, *rest, &block).

require "open-uri"
require "fileutils"

def download(url, path)
  case io = open(url)
  when StringIO then File.open(path, 'w') { |f| f.write(io) }
  when Tempfile then io.close; FileUtils.mv(io.path, path)
  end
end

Основна перевага тут - це лаконічний і простий, оскільки openце робить велику частину важкого підйому. І не читає всієї відповіді в пам'яті.

openМетод буде текти відповіді> 1KB до Tempfile. Ми можемо використовувати ці знання для реалізації цього методу безоплатного завантаження у файл. Дивіться OpenURI::Bufferреалізацію тут.

Будьте уважні з наданими користувачем інформацією! open(name, *rest, &block)небезпечно, якщо nameнадходить із введення користувача!

Приклад 3 в net / http документації Ruby показує, як завантажити документ через HTTP, а для виведення файлу замість того, щоб просто завантажувати його в пам'ять, замінник ставить з двійковим записом у файл, наприклад, як показано у відповіді Dejw.

Більш складні випадки наведені далі в тому ж документі.

Можна використовувати open-uri, який є одним вкладишем

require 'open-uri'
content = open('http://example.com').read

Або за допомогою net / http

require 'net/http'
File.write("file_name", Net::HTTP.get(URI.parse("http://url.com")))

Розгортання відповіді Dejw (edit2):

File.open(filename,'w'){ |f|
  uri = URI.parse(url)
  Net::HTTP.start(uri.host,uri.port){ |http| 
    http.request_get(uri.path){ |res| 
      res.read_body{ |seg|
        f << seg
#hack -- adjust to suit:
        sleep 0.005 
      }
    }
  }
}

де filenameі urlє рядки.

sleepКоманда хак , який може значно зменшити завантаження процесора , коли мережа є обмежуючим фактором. Net :: HTTP не чекає, поки буфер заповнить буфер (16 кБ в v1.9.2), тому CPU сам займається переміщенням невеликих шматочків. Сон на хвилину дає буферу можливість заповнити записи, а використання процесора порівнянне з рішенням curl, різниця в моєму застосуванні на 4-5 разів. Більш надійне рішення може вивчити хід f.posта налаштувати тайм-аут для орієнтації, скажімо, на 95% розміру буфера - адже саме так я отримав число 0,005 у своєму прикладі.

Вибачте, але я не знаю більш елегантного способу змусити Рубі чекати, коли буфер заповниться.

Редагувати:

Це версія, яка автоматично налаштовує себе на те, щоб утримувати буфер трохи нижче та нижче. Це неелегантне рішення, але воно, здається, настільки ж швидко, і використовувати якнайменше часу процесора, оскільки це вимагає згортання.

Він працює в три етапи. Короткий період навчання з навмисно довгим часом сну встановлює розмір повного буфера. Період краплі швидко скорочує час сну з кожною ітерацією, помножуючи його на більший коефіцієнт, доки він не знайде недостатньо заповнений буфер. Потім, у звичайний період, вона регулюється вгору і вниз меншим фактором.

Мій Рубі трохи іржавий, тому я впевнений, що це можна покращити. Перш за все, немає помилок в обробці. Також, можливо, його можна було б відокремити в об'єкт, подалі від самого завантаження, щоб ви просто зателефонували autosleep.sleep(f.pos)у свою петлю? Ще краще, Net :: HTTP можна змінити, щоб дочекатися повного буфера, перш ніж отримати :-)

def http_to_file(filename,url,opt={})
  opt = {
    :init_pause => 0.1,    #start by waiting this long each time
                           # it's deliberately long so we can see 
                           # what a full buffer looks like
    :learn_period => 0.3,  #keep the initial pause for at least this many seconds
    :drop => 1.5,          #fast reducing factor to find roughly optimized pause time
    :adjust => 1.05        #during the normal period, adjust up or down by this factor
  }.merge(opt)
  pause = opt[:init_pause]
  learn = 1 + (opt[:learn_period]/pause).to_i
  drop_period = true
  delta = 0
  max_delta = 0
  last_pos = 0
  File.open(filename,'w'){ |f|
    uri = URI.parse(url)
    Net::HTTP.start(uri.host,uri.port){ |http|
      http.request_get(uri.path){ |res|
        res.read_body{ |seg|
          f << seg
          delta = f.pos - last_pos
          last_pos += delta
          if delta > max_delta then max_delta = delta end
          if learn <= 0 then
            learn -= 1
          elsif delta == max_delta then
            if drop_period then
              pause /= opt[:drop_factor]
            else
              pause /= opt[:adjust]
            end
          elsif delta < max_delta then
            drop_period = false
            pause *= opt[:adjust]
          end
          sleep(pause)
        }
      }
    }
  }
end

Більше api-дружніх бібліотек, ніж Net::HTTP, наприклад, httparty :

require "httparty"
File.open("/tmp/my_file.flv", "wb") do |f| 
  f.write HTTParty.get("http://somedomain.net/flv/sample/sample.flv").parsed_response
end

У мене виникли проблеми, якщо файл містив німецькі Umlauts (ä, ö, ü). Я можу вирішити проблему, використовуючи:

ec = Encoding::Converter.new('iso-8859-1', 'utf-8')
...
f << ec.convert(seg)
...

якщо ви шукаєте спосіб, як завантажити тимчасовий файл, виконайте завдання та видаліть його, спробуйте цей дорогоцінний камінь https://github.com/equivalent/pull_tempfile

require 'pull_tempfile'

PullTempfile.transaction(url: 'https://mycompany.org/stupid-csv-report.csv', original_filename: 'dont-care.csv') do |tmp_file|
  CSV.foreach(tmp_file.path) do |row|
    # ....
  end
end