Як максимально збільшити екземпляр продуктивності EC2

Відмова від відповідальності: Я - розробник на передньому кінці у сервері.

Привіт, народ. У мене є екземпляр сервера на EC2, c5d.9xlargeспецифікація якого:

• Система: Ubuntu 18.04
• vCPU: 36 ниток / ядер
• Пам'ять: 72 Гб
• Зберігання: 900 ГБ NVMe SSD
• Виділена пропускна здатність EBS: 7000 Мбіт / с
• Продуктивність мережі: 10 Гбіт / с

Сценарій: я використовую цей сервер для завантаження великих відео (4K, 1+ год) і обробляють їх за допомогою FFMPEG, але порівняно з моїм попереднім сервером UpCloud з 12 ядрами і 48 ГБ оперативної пам’яті, цей сервер EC2 займає в 1,5 рази більше часу для завантаження та обробки , що, на мою думку, не повинно бути так.

Запитання: Як я максимізую ефективність за те, за що я плачу?

У c5d.9xlargeкомплекті є 900 Гб пам’яті екземпляра (він же ефемерне сховище ) - ви використовуєте це для зберігання та обробки файлів? Хоча у вашому екземплярі є деяка виділена пропускна здатність EBS, зберігання на інстанції SSD все одно буде набагато швидше . Я пропоную вам використовувати це для всіх вихідних та тимчасових файлів, а результати зберігати лише в EBS.

Існує декілька застережень із зберіганням примірників, хоча:

1. Ви повинні відформатувати та змонтувати його, перш ніж його можна буде використовувати. Детальну інформацію див. У цій відповіді: Автоматично монтуйте сховище екземплярів SSD на AWS EC2 в Ubuntu 16.04

2. Вміст стирається при зупинці та повторному запуску екземпляра. Він переживає перезавантаження, але не зупиняється / запускається.

Оновлення: за замовчуванням SSD не змонтовано - вам доведеться виконувати кроки у зв'язаному відповіді, щоб скористатися ним. У стандартній конфігурації після завантаження ви будете використовувати EBS, який повільніше, ніж SSD.

Тоді вам доведеться переконатися, що ви його фактично використовуєте - встановіть каталог завантаження , робочий та тимчасовий каталог на цю точку монтування SSD.

Або ще краще - оскільки у вас є 72 ГБ оперативної пам’яті - створіть диск оперативної пам’яті та використовуйте його для тимчасових файлів. Це буде навіть швидше, ніж SSD (якщо файли підходять).

Перш за все ігноруйте швидкість завантаження та оптимізуйте обробку - завантажте файл у EBS та час його обробки, потім завантажте на SSD та час його, а потім на диск RAM та час обробки. Подивіться, наскільки вони відрізняються.

На швидкість завантаження впливатиме багато аспектів, включаючи відстань та затримку між вами та регіоном AWS, до якого ви завантажуєте. Чи використовуєте близький вам AWS регіон?

Знову продуктивність процесора - у вас 36 доступних процесорів, однак кожне ядро може бути повільніше, ніж ядра у попередній 12-ядерній машині. Це залежить від архітектури процесора та тактової частоти. Однак, якщо ви можете паралельно обробити відео на 36 потоків, вам слід краще зупинитися на цьому випадку. Якщо ви покладаєтесь на одну нитку, можливо, ви не отримаєте потрібну продуктивність.

Сподіваюся, що це допомагає :)

Чи є можливість шукати альтернативи? За ціну c5d.9xlarge, навіть якщо ви отримуєте значну знижку, на спеціальному ринку серверів у вас може бути кілька еквівалентних або кращих машин

Використання хмари для подібної проблеми з вертикальним масштабом - це рецепт переплати та, як ви вже бачили, низької продуктивності

Вибачте за невідповідь, але мені не вистачає респондентів для коментарів