wget починає завантажувати, потім зупиняє "не можу записати"

Я використовую wget для дзеркального відображення деяких файлів з одного сервера на інший. Я використовую таку команду:

wget -x -N -i http://domain.com/filelist.txt

-x = Тому що я хочу зберегти структуру каталогу

-N = мітка часу, щоб отримати лише нові файли

-i = Щоб завантажити список файлів із зовнішнього файлу, по одному у кожному рядку.

Невеликі файли, такі як один, який я тестую, є великим завантаженням 326 Кбіт.

Але інший, що становить 5 Гб, завантажує лише 203 Мб, а потім зупиняється (він завжди дає 203 Мбайт або займе кілька кілобайт)

Повідомлення про помилку:

Не вдається записати на шлях / в / файл.zipâ

(Я не впевнений, чому існують дивні персонажі до і після. Я використовую Putty в Windows, і це може чи не може мати щось спільне з цим, тому я залишив їх. Думаю, що не.)

Повна відповідь така: (Я замінив шляхи, ip та доменне ім’я)

--2012-08-31 12: 41: 19-- http://domain.com/filelist.txt Розв’язання домену.com ... MY_IP Підключення до domain.com | MY_IP |: 80 ... підключено. HTTP-запит надісланий, очікуючи відповіді ... 200 ОК Довжина: 161 [текст / звичайна] Файл сервера не новіший, ніж локальний файл âdomain.com / filelist.txtâ

--2012-08-31 12: 41: 19-- http://domain.com/path/to/file.zip Підключення до домену.com | MY_IP |: 80 ... підключено. HTTP-запит надісланий, очікуючи відповіді ... 200 ОК Довжина: 5502192869 (5.1G) [додаток / zip] Розміри не відповідають (локальний 213004288) - отримання.

--2012-08-31 12: 41: 19-- http://domain.com/path/to/file.zip Підключення до домену.com | MY_IP |: 80 ... підключено. HTTP-запит надісланий, очікуючи на відповідь ... 200 ОК Довжина: 5502192869 (5.1G) [додаток / zip] Збереження на: vdomain.com / path / to / file.zipâ

3% [====>
] 213,003,412 8,74М / с за 24 с

Не вдається записати на âdomain.com / path / to / file.zipâ

Здається, це не має ніякого значення, якщо каталог маршрутів вже існує або створений на ходу.

Хтось має уявлення, чому він зупиняється і як я можу це виправити?

Будь-яка допомога з найцікавішим.

EDIT: Я також спробував просто виконати wget, не вводячи файл і перейменувавши файл. Цього разу він завантажує трохи більше 3 Гб, а потім дає те саме, що не може написати помилку.

wget -x -N http://domain.com/path/to/file.zip -O files/bigfile.zip

Ви отримаєте цю помилку, якщо не вистачає місця на диску. запустіть df, і ви побачите, чи каталог у який ви пишете на 100%

Це проблема з довгою URL-адресою. Я теж зіткнувся з цим. Отже, я використав bit.ly і скоротив URL-адресу. Працює як Чарівність!

Я просто додав -до tarкоманді після того, як труби після Wget

я мав

wget https://example.com/path/to/file.tar.gz -O -|tar -xzf -C /path/to/file

потім змінив його на

wget https://example.com/path/to/file.tar.gz -O - | tar -xzvf - -C /path/to/file

Якщо він починає зберігати великий файл і записує на нього 203 МБ, я підозрюю, що у вас є повна файлова система на кінці прийому, або мережеве з'єднання закінчується.

Ви можете використовувати df -h на приймальному сервері, щоб побачити, чи файлова система заповнена

Ознайомтеся з цією відповіддю на питання про час очікування за допомогою wget:

/programming/2291524/does-wget-timeout

Також повторіть спробу передачі, яка не вдалася, і пропустіть опцію -N часової позначки

Також запустіть ulimit -a, щоб побачити, чи є обмеження розміру файлу на приймальному сервері

Нарешті зрозумів це, і це було космічне питання. Проблема з 1and1 хмарним сервером, докладніше про це тут: http://www.mojowill.com/geek/1and1-dynamic-cloud-server-disk-allocation/

Я робив щось подібне до:

wget -x -N -i http://domain.com/filelist.txt

Я отримував:

--2016-12-09 07:44:23--  https://www.example.com/dir/details?abc=123&def=456
Resolving www.example.com (www.example.com)... 1.2.3.4
Connecting to www.example.com (www.example.com)|1.2.3.4|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
details?abc=123&def=456: No such file or directory

Cannot write to ‘details?abc=123&def=456’ (Success).

У моєму еквівалентному файлі filelist.txt у мене була така URL-адреса:

https://www.example.com/dir/details?abc=123&def=456

Тому для налагодження я намагався створити той самий файл, який намагався створити wget:

touch "details?abc=123&def=456"
touch: cannot touch ‘details?abc=123&def=456’: No such file or directory

Віола! Схоже, це ?була проблема, але хорошою практикою було б видалити всі спеціальні символи з імен файлів, уявіть, що &буде робити, якщо не уникнути.

У цій команді я отримував таку ж помилку:

sudo wget -O - https://nightly.odoo.com/odoo.key | apt-key add -

Проблема була sudo для другої команди, і я вирішую її за допомогою:

sudo su