Чи можна використовувати AWS для завантаження, зберігання та обчислення?

Існує мій проект, який вимагає, щоб з Інтернету було завантажено близько 1,2 ТБ даних та запущено сценарії, щоб перетворити його на якийсь інший кінцевий результат. Отже, я бачу тут три проблеми:

1. Завантаження: я не можу завантажити цю кількість даних зі свого ноутбука через низьку швидкість завантаження.
2. Зберігання: завантажені файли повинні зберігатися десь. Знову мій ноутбук не має достатньої кількості пам'яті для цього (зважаючи на те, що він може мати можливість завантажувати файли чарівно)
3. Обробка: Після завантаження та зберігання мені потрібно запустити сценарії над файлами, щоб отримати кінцевий результат. Враховуючи величезний розмір входу, це не може зробити мій ноутбук за певний час.

Тому я бачу лише AWS як варіант. Я роздивився деякі пропоновані ними продукти, і з поверхні здається, що обробну частину можна зробити продуктом під назвою EC2 (Еластичні хмарні обчислення), а зберігання може бути виконано продуктом під назвою S3 , масштабований зберігання.

Я не зміг знайти нічого, що відповідало б моїм вимогам до завантаження .

Отже, чи можу я використати вищезазначене рішення для завантаження даних?

Екземпляри EC2 - це в основному звичайні сервери, на яких працює операційна система, що дозволяє не тільки виконувати завдання з обробки даних, але й будь-який інший крок, як завантаження, особливо якщо завантаження є складним завданням.

Ви б налаштували екземпляр EC2, який постійно монтує відро S3 в операційну систему, а потім створить сценарій (наприклад, сценарій оболонки), який регулярно або напіврегулярно завантажує дані і зберігає їх у відрі.

Ще простішим варіантом було б використання AWS Lambda для виконання завантаження в S3 без необхідності закручувати сервер EC2, а це означає, що ви можете робити обробку самостійно, а також уникати необхідності спочатку передавати дані на сервер, а потім на S3 .

Зауважте, що будь-яка операція передачі даних матиме певну ціну, тому обов'язково ознайомтеся з ціновою політикою EC2 та S3 та обчисліть попередні витрати .