Запуск тисячі фонових процесів згортання паралельно в скрипті bash

Я запускаю тисячі та процеси фонових завитків паралельно у наступному скрипті bash

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

У мене 49Gb Corei7-920 виділений сервер (не віртуальний).

Я відслідковую споживання пам'яті та процесор за допомогою topкоманд, і вони знаходяться далеко від меж.

Я використовую ps aux | grep curl | wc -lдля підрахунку кількості поточних процесів згортання . Ця кількість швидко збільшується до 2-4 тисяч, а потім починає постійно зменшуватися.

Якщо я додаю простий синтаксичний аналіз через curping curl для awk ( curl | awk > output), то кількість процесів curl збільшується лише до 1-2 тисяч, а потім зменшується до 20-30 ...

Чому кількість процесів настільки різко зменшується? Де межі цієї архітектури?

Слід чітко відповідати на запитання:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Коротше, якщо вам не потрібен текст котлоагрегату навколо таймінгів:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Якщо ви хочете паралельно запускати 1000, ви отримаєте обмеження (наприклад, ручки файлів). Підвищення ulimit -n або /etc/security/limits.conf може допомогти.

for i in {1..100000}

Є всього 65536 портів. Пропустіть це.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(редагувати: (редагувати: смуга суворо датоване твердження про обмеження ОС та додайте відсутні )echocurl
wait