Запитання з тегом «wget»

Я запускаю тисячі та процеси фонових завитків паралельно у наступному скрипті bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done У мене 49Gb Corei7-920 виділений сервер (не віртуальний). Я відслідковую споживання пам'яті та …

14 linux  performance  bash  curl  wget 

Я прийшов sshдо свого сервера і побіг, wget -r -np zzz.aaa/bbb/cccі він почав працювати. Тоді мій зв’язок з Інтернетом (у мене вдома) перервався, і я хвилювався, вважаючи, що wgetце було hupпед, оскільки sshз'єднання було втрачене, і тому термінал загинув. Але тоді я sshдо свого сервера зрозумів, що він все ще …

13 ssh  terminal  wget  signals 

Я хотів би сканувати посилання під www.website.com/XYZ і завантажувати лише посилання, які знаходяться на веб-сайті www.website.com/ABC. Я використовую таку команду wget, щоб отримати потрібні файли: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Це прекрасно працює, коли я використовую wget 1.13.4. Але проблема полягає в тому, що я повинен …

13 command-line  wget 

Я хочу використовувати wget(із сценарію PHP) для завантаження графічних файлів, але не хочу завантажувати файли певного розміру. Чи можна обмежити розмір файлу за допомогою wget? Якщо ні, то який кращий спосіб?

13 files  wget  size 

Я пишу сценарій, який передбачає завантаження та маніпулювання файлом, і я хочу переконатися, що файл не є неповним (через, наприклад, перерване з'єднання), перш ніж працювати над ним.

13 files  wget  curl  download  corruption 

У мене на сервері є сайт, який в основному є купою HTML-сторінок, зображень та звуків. Я втратив пароль до цього сервера і мені потрібно схопити все, що там зберігається. Я можу переходити сторінку за сторінкою і зберігати все, але на сайті є понад 100 сторінок. Я використовую OSX. Я намагався …

13 wget 

Я бігаю wgetтак: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Я отримую купу таких повідомлень: Last-modified header missing -- time-stamps turned off. Я думаю, це означає, що сторінки продовжують завантажуватися, навіть якщо я їх локально. ПРИМІТКА . Я хочу цього зробити так, щоб мені не довелося повторно завантажувати наявні …

13 wget  web 

Я використовую wget, щоб завантажити статичну сторінку HTML. Валідатор W3C повідомляє мені, що сторінка закодована в UTF-8. Але коли я завантажую файл після завантаження, я отримую купу бінарних дурниць. Я на Ubuntu, і я думав, що за замовчуванням кодування було UTF-8? Ось так виглядає мій файл локалів. Чому це відбувається …

12 wget  character-encoding  gzip  http 

Я завантажую дані, розповсюджені між декількома файлами, які не змінюються після опублікування. Тому --timestampingце недостатньо добре, тому що він постійно перевіряє, чи змінився ресурс, що, в моєму випадку, абсолютно безглуздо. --no-clobberпідходили б ідеально. На жаль, це --convert-links чомусь не працює . Були вказані обидва --no-clobber та --convert-посилання, використовуються лише --convert-посилання. …

12 wget  download 

Наприклад, у мене є посилання http://www.abc.com/123/def/ghi/jkl.mno. Я хочу завантажити його за допомогою wgetабо curlі отримати ім'я вихідного файлу як def_ghi_jkl.mno, де частина def_ghiвзята за посиланням. Я вкладу цю wgetкоманду в сценарій для завантаження декількох файлів, щоб вона не могла чітко давати ім'я вихідного файлу.

12 filenames  wget  curl 

Я хочу просто мати можливість досліджувати файлову систему Drobox, без особливого навантаження на процесор, пам'ять, сховище (тобто без збереження копій віддалених файлів локально). Здається, що офіційний клієнт споживає багато повторних ресурсів (і робив би такі непотрібні операції, як синхронізація) - http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Можна просто встановити його (скажімо, з допомогою FUSE, …

12 wget  fuse  dropbox  hosting-services  protocols 

Якщо ви використовуєте розширення дужок wget, ви можете легко отримувати послідовно пронумеровані зображення: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Він витягує перші 10 файлів , пронумерованих 90.jpgв 99.jpgтільки штраф, але 100.jpgі далі повертає 404: Немає запису знайдено помилку ( у мене тільки 100 зображень , що зберігаються на сервері). Ці неіснуючі файли стають …

12 bash  shell-script  wget 

Сторінка wgetman про це говорить у розділі для --random-waitпараметра: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer platform provided …

11 wget  man  documentation 

Я дзвоню URL-адресу з wget: /usr/bin/wget --read-timeout=7200 https://site_url/s У такому випадку Wget виконує запит GET кожні 15 хвилин, незважаючи на встановлений тайм-аут, чому це відбувається? Дзвінок повинен здійснюватися лише один раз, як я можу встановити wget, щоб НЕ повторити? Я знаю, що ви можете встановити, t=nале 0 нескінченно, а 1 …

11 linux  rhel  wget 

wget - це дуже корисний інструмент для швидкого завантаження матеріалів в Інтернеті, але чи можу я використовувати його для завантаження з веб-сайтів хостингу, як-от FreakShare, IFile.it Depositfiles, upload, Rapidshare? Якщо так, то як я можу це зробити?

11 wget  download  hosting-services