У мене виникають проблеми з розумінням мого великого рахунку S3, і я подумав, що прошу тут, перш ніж скидати $ 30 на щомісячну підтримку AWS.

В основному, у мене є екземпляр Amazon EC2, який робить API для різних бірж криптовалют і зберігає відповіді на екземпляр HD. Дзвінки здійснюються кожні 5 хвилин, об'єкти відповідей - близько 100 кб, читаються за допомогою R- сценарію та додаються у файл CSV кожні ~ 8 хвилин. Цей файл CSV синхронізується у відро Amazon S3 приблизно кожні 15 хвилин.

Зазвичай файли CSV становлять 10 Мб або близько 15 криптовалют кожні 15 хвилин. Отож, дивлячись на відро Amazon S3, можливо, максимум використовується 0,5 ГБ місця.

Однак "TimedStorage-ByteHours" читається приблизно в 4 ТБ!

Сервіс Amazon Simple Storage TimedStorage-ByteHrs $ 89,55

$ 0,000 за ГБ - сховище під щомісячним безкоштовним рівнем5 Гб - Місяць 0,00 дол

0,023 долара за ГБ - перші 50 ТБ / місяць зберігання використано 3 893,399 ГБ - Місяць 89,55 дол

Будь-які ідеї?

Швидше за все, у вас включена версія версії S3 - це означає, що старі об'єкти, перезаписані новою версією, не видаляються, а натомість сховані в історії. Для перевірки перейдіть до відра -> Властивості -> Версія .

Ви також можете переглянути старі версії в браузері, як на цьому скріншоті у мене є кілька версій 108c05...jsonфайлу:

Якщо ввімкнено версію, але ви не хочете, Ви можете призупинити її, але пам’ятайте, що вона не видалить старі версії, вам доведеться:

• використовувати AWS-CLI та деякі сценарії (почніть з aws s3api list-object-versions)
• налаштування політики Bucket Lifecycle для закінчення терміну дії старих версій. Це робиться через S3 -> відро -> Управління -> Життєвий цикл -> Додати правило життєвого циклу, а потім на екрані Закінчення заповнити ці дані:

Сподіваюся, що це допомагає :)

Зберігання в нечастому доступі стягує мінімальну плату за 30 днів

1. Перейдіть на сторінку https://s3.console.aws.amazon.com і отримайте список файлів для одного з ваших відра.
2. Зауважте, що кожен файл у відрі має клас зберігання. Вибір класу зберігання знаходиться під вашим контролем і впливає на витрати.

Standardє найдорожчим, тому деякі користувачі використовують infrequent accessнижчу щомісячну плату (~ 50% знижка) за ГБ, що зберігається відповідно до таблиці цін. АЛЕ Infrequent також стягує плату за пошук 0,01 дол. / Гб, тому заощаджує лише на загальних витратах на файли, що зберігаються принаймні один місяць та отримують менше одного разу на місяць. Крім того, на вашому відрі може бути політика життєвого циклу, яка з часом змінює клас зберігання файлів, що може вплинути, коли настає 30-денний мінімальний період зберігання.

У тонкому шрифті infrequent accessє мінімальна плата за кожен день, що зберігається.

Джерело: https://aws.amazon.com/s3/pricing/

Перша виноска, позначена †

† Стандартний нечастий доступ S3 та сховище S3 в одній зоні з нечастотним доступом мають мінімальний розмір об'єкта, який можна оплачувати, 128 КБ. Менші об'єкти можуть зберігатися, але плата за 128 КБ пам’яті. Стандартний нечастий доступ до S3 та зберігання доступу в одній зоні S3 з однією зоною стягуються за мінімальну тривалість зберігання 30 днів. Об’єкти, які видаляються, перезаписуються або переносяться в інший клас зберігання до 30 днів, стягуватимуть звичайну плату за користування плюс номінальну плату за запит на залишок мінімуму 30 днів. Об'єкти, що зберігаються 30 днів або довше, не стягуватимуть мінімальну плату за запит 30 днів

Що дорожче для Amazon S3 та Google Cloud Storage - це плата за мережу, якщо дані надсилаються у загальнодоступний Інтернет, а не зберігаються у хмарі цієї компанії. Мережева плата за одноразове завантаження може легко перевищити плату за зберігання протягом 3-4 місяців. 0,09 дол. США / Гб (жовтень 2018 р.) Для AWS S3 , 0,12 дол. США / Гб для хмарного сховища Google , найнижчий рівень використання.

Digital Ocean має сумісний шар зберігання даних S3 під назвою "Пробіли", який, можливо, варто перевірити. Повідомлялося про деякі помилки, які можуть бути придушені певним чином, але загальна ціна виглядає цікавою, і вона може бути "достатньо хорошою" для деяких застосувань.