Як відхилення в часі виконання завдання впливає на простір?

16

Скажімо, у нас є велика колекція завдань та колекція однакових (за рівнем продуктивності) процесорів які повністю працюють у паралельний. Для цікавих сценаріїв ми можемо припустити, що . Кожен потребує певного часу / циклів для завершення після того, як він призначений процесору , і як тільки він призначений, він не може бути перепризначений до завершення (процесори завжди з часом виконують призначені завдання). Припустимо, що кожен займає кількість часу / циклів $\tau_1, \tau_2, ..., \tau_n$ $\rho_1, \rho_2, ..., \rho_m$ $m \leq n$ $\tau_i$ $\rho_j$ $\tau_i$ $X_i$ , не відома заздалегідь, взята з деякого дискретного випадкового розподілу. Для цього питання ми можемо навіть припустити простий розподіл: $P(X_i = 1) = P(X_i = 5) = 1/2$ , і всі $X_i$ попарно незалежні. Тому $\mu_i = 3$ і $\sigma^2 = 4$ .

Припустимо, що статично в момент часу / циклу 0 всі завдання призначаються максимально рівномірно всім процесорам, рівномірно випадково; тому кожному процесору $\rho_j$ призначено $n/m$ завдань (ми можемо так само добре вважати $m | n$ для цілей питання). Ми називаємо makepan часом / циклом, коли останній процесор $\rho^*$ закінчив призначену роботу, закінчує роботу, яку йому було призначено. Перше питання:

Як функція $m$ , $n$ та $X_i$ , що таке простір $M$ ? Зокрема, що таке $E[M]$ ? $Var[M]$ ?

Друге питання:

Припустимо, $P(X_i = 2) = P(X_i = 4) = 1/2$ , і всі $X_i$ попарно незалежні, тому $\mu_i = 3$ і $\sigma^2 = 1$ . Як функція $m$ , $n$ та цих нових $X_i$ , що таке пробіл? Що цікавіше, як воно порівнюється з відповіддю з першої частини?

Деякі прості експерименти з думкою демонструють, що відповідь на останнє полягає в тому, що простір довше. Але як це можна визначити кількісно? Я буду радий надіслати приклад, якщо це або (а) суперечливо або (б) незрозуміло. Залежно від успіху з цим, я опублікую наступне запитання щодо динамічної схеми призначення відповідно до цих самих припущень. Спасибі заздалегідь!

Аналіз легкого випадку: $m = 1$

Якщо $m = 1$ , то всі $n$ завдань заплановані на один і той же процесор. Makepan $M$ - саме час для завершення $n$ завдань повністю послідовно. Тому

\begin{aligned} E [M] & = E [X_{1} + X_{2} + . . . + X_{n}] \\ = E [X_{1}] + E [X_{2}] + . . . + E [X_{n}] \\ = μ + μ + . . . + μ \\ = n μ \end{aligned}

$\begin{align*} E[M] &= E[X_1 + X_2 + ... + X_n] \\ &= E[X_1] + E[X_2] + ... + E[X_n] \\ &= \mu + \mu + ... + \mu \\ &= n\mu \end{align*}$ і

\begin{aligned} V a r [M] & = V a r [X_{1} + X_{2} + . . . + X_{n}] \\ = V a r [X_{1}] + V a r [X_{2}] + . . . + V a r [X_{n}] \\ = σ^{2} + σ^{2} + . . . + σ^{2} \\ = n σ^{2} \end{aligned}

$\begin{align*} Var[M] &= Var[X_1 + X_2 + ... + X_n] \\ &= Var[X_1] + Var[X_2] + ... + Var[X_n] \\ &= \sigma^2 + \sigma^2 + ... + \sigma^2 \\ &= n\sigma^2 \\ \end{align*}$

Мабуть, можливо, можна використати цей результат, щоб відповісти на питання для ; нам просто потрібно знайти вираз (або близьке наближення) для де , випадкова величина з і . Це заголовок у правильному напрямку? $m > 1$ $\max(Y_1, Y_2, ..., Y_m)$ $Y_i = X_{i\frac{n}{m} + 1} + X_{i\frac{n}{m} + 2} + ... + X_{i\frac{n}{m} + \frac{n}{m}}$ $\mu_Y = \frac{n}{m}\mu_X$ $\sigma_Y^2 = \frac{n}{m}\sigma_X^2$

probability-theory scheduling parallel-computing

— Патрік87
джерело

Приємне запитання. Якби тільки не було дедлайну сьогодні…

— Дейв Кларк

8

Як , ми можемо розглядати це через і замість і . Скажімо, - це час, який потрібно -му процесору, щоб закінчити свою роботу. $m = k \times n$ $k$ $n$ $n$ $m$ $T_i$ $i$

З ростом зростає ймовірність того, що = (процесору було призначено лише завдань) для деяких наближається до , тому простір визначається як , наближається до . $n$ $T_i$ $5k$ $T=5$ $i$ $1$ $\mathrm{max}(T_i)$ $E[M]$ $5k$

Для другого сценарію це тому збільшення кількості процесорів робить розділення на 4–2 краще. $4k$

А як щодо - збільшення кількості завдань на один процесор? Збільшення має протилежний ефект, це робить меншою ймовірність наявності процесора з невдалим набором завдань. Зараз я йду додому, але повернусь до цього пізніше. Моя «голова» полягає в тому, що в міру зростання різниця в між 4–2 розщепленням і 5–1 розщепленням зникає, стає однаковим для обох. Тож я б припустив, що 4–2 завжди кращий, за винятком, можливо, для деяких особливих випадків (дуже малих питомих значень і ), якщо навіть це. $k$ $k$ $k$ $E[M]$ $E[M]$ $k$ $n$

Отже, підсумовуючи:

Нижня дисперсія краще, а всі інші рівні.
Зі збільшенням кількості процесорів менша дисперсія стає важливішою.
Зі збільшенням кількості завдань на один процесор менша дисперсія стає менш важливою.

— свиня
джерело

+1 Відмінна інтуїція, і це допомагає уточнити і моє мислення. Таким чином, збільшується кількість процесорів, як правило, збільшується простір за слабкого припущення про масштабування; і збільшується кількість завдань, як правило, зменшується простір при сильному припущенні масштабування (звичайно, це займає більше часу; я маю на увазі співвідношення робота / пробіл покращується). Це цікаві спостереження, і вони здаються правдивими;

— Patrick87

перший виправдовується тим, що

має тенденцію до

для фіксованого

і збільшення

; останнє тим, що

1 - (1 - P (X = 5)^{k})^{n}

$1 - (1 - P(X = 5)^k)^n$

1

$1$

k

$k$

n

$n$

... тому дисперсія не збільшується лінійно як функція

. Це сумісно з вашим мисленням (саме так я інтерпретую те, що ви мали досі)?

V a r [X + X] = V a r [X] + V a r [X] = 2 σ^{2} \leq 4 σ^{2} = 4 V a r [X] = V a r [2 X]

$Var[X + X] = Var[X] + Var[X] = 2\sigma^2 \leq 4\sigma^2 = 4Var[X] = Var[2X]$

k

$k$

— Patrick87

Я не знаю, звідки взялася "горбанка"; воно не відповідає решті евристичних міркувань.

— Андраш Саламон

2

Я вважаю, що евристичні аргументи часто є досить оманливими при розгляді планування завдань (і тісно пов’язаних з ними проблем, як упаковка бін). Можуть статися речі, котрі є інтуїтивно зрозумілими. Для такого простого випадку варто насправді зробити теорію ймовірностей.

Нехай з додатним цілим числом. Припустимо, - це час, необхідний для виконання ї задачі, заданої процесору . Це випадкова величина із середнім та дисперсією . Очікуваний пробіл у першому випадку - $n = km$ $k$ $T_{ij}$ $j$ $i$ $\mu$ $\sigma^2$ Усі суми є iid із середнім та дисперсією , припускаючи, що - всі iid (це сильніше, ніж попарна незалежність).

E [M] = E [max {\sum_{j = 1}^{k} T_{i j} ∣ i = 1, 2, \dots, m}] .

$E[M] = E[\max \left\{\sum_{j=1}^k T_{ij} \mid i=1,2,\dots,m \right\}].$

k μ

$k\mu$

k σ^{2}

$k\sigma^2$

T_{i j}

$T_{ij}$

Тепер, щоб отримати очікування максимуму, потрібно або більше інформації про розподіл, або потрібно встановити межі, що не мають розподілу, такі як:

Пітер Дж. Дауні, без обмежень щодо очікування максимуму при застосуванні планових програм , Дослідження операційних досліджень 9 , 189–2019, 1990 рр. Doi: 10.1016 / 0167-6377 (90) 90018-Z

E [M] \leq k μ + σ \sqrt{k} \frac{n - 1}{\sqrt{2 n - 1}} .

$E[M] \le k\mu + \sigma\sqrt{k}\frac{n-1}{\sqrt{2n-1}}.$

n

$n$

$\sigma^2$ $n$ $k$

$X = \max_{i=1}^m X_i$ $Y = \max_{i=1}^m Y_i$ $X_i$ $Y_i$ $k$ $i$ $x \ge k\mu$

P r [X \leq x] = \prod_{i = 1}^{m} P r [X_{i} \leq x] \leq \prod_{i = 1}^{m} P r [Y_{i} \leq x] = P r [Y \leq x] .

$Pr[X \le x] = \prod_{i=1}^m Pr[X_i \le x] \le \prod_{i=1}^m Pr[Y_i \le x] = Pr[Y \le x].$

E [X]

$E[X]$

E [Y]

$E[Y]$

— Андраш Саламон
джерело