Хтось знає, чи існує обмеження на кількість об’єктів, які я можу помістити в відро S3? чи можу я покласти мільйон, 10 мільйонів тощо .. все в одне відро?
Хтось знає, чи існує обмеження на кількість об’єктів, які я можу помістити в відро S3? чи можу я покласти мільйон, 10 мільйонів тощо .. все в одне відро?
Відповіді:
За даними Amazon:
Записуйте, читайте та видаляйте об'єкти, що містять від 0 байт до 5 терабайт даних кожен. Кількість об'єктів, які ви можете зберігати, необмежена.
Джерело: http://aws.amazon.com/s3/details/ станом на 3 вересня 2015 року.
Схоже, ліміт змінився. Ви можете зберегти 5 ТБ для одного об’єкта.
Загальний обсяг даних та кількість об’єктів, які ви можете зберігати, необмежені. Розмір окремих об’єктів Amazon S3 може становити від мінімум 0 байт до максимум 5 терабайт. Найбільший об’єкт, який можна завантажити за один PUT - це 5 гігабайт. Для об’єктів, розмір яких перевищує 100 мегабайт, клієнти повинні розглянути можливість використання функції багатозавантаженого завантаження.
З документів,
Немає обмежень на кількість об’єктів, які можна зберігати в сегменті, і немає різниці в продуктивності, використовуєте ви багато сегментів або лише декілька. Ви можете зберігати всі свої об’єкти в одному сегменті, або можете організувати їх у декілька сегментів.
станом на серпень 2016 року
Хоча ви можете зберігати необмежену кількість файлів / об'єктів в одному сегменті, коли ви переходите до списку "каталогу" у сегменті, це дасть вам лише перші 1000 файлів / об'єктів у цьому сегменті за замовчуванням. Щоб отримати доступ до всіх файлів у такому великому "каталозі", вам потрібно зробити кілька дзвінків до їх API.
Немає обмежень щодо кількості об’єктів, які ви можете зберігати у своєму сегменті S3. AWS заявляє, що має необмежений обсяг пам’яті. Однак є деякі обмеження -
З огляду на це, якщо у вас дійсно багато об’єктів, які потрібно зберігати в сегменті S3, розгляньте випадковий вибір префікса імені об’єкта для підвищення продуктивності.
Коли ваше робоче навантаження являє собою суміш типів запитів, внесіть деяку випадковість до назв ключів, додавши хеш-рядок як префікс до імені ключа. Вводячи випадковість до імен ваших ключів, навантаження вводу-виводу розподілятиметься між кількома розділами індексу. Наприклад, ви можете обчислити хеш MD5 послідовності символів, яку ви плануєте призначити в якості ключа, і додати 3 або 4 символи з хешу як префікс до імені ключа.
Детальніше - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/
- Станом на червень 2018 року
"Ви можете зберігати в сегменті скільки завгодно об’єктів, а також писати, читати та видаляти об’єкти у своєму сегменті. Об’єкти можуть мати розмір до 5 терабайт"
з http://aws.amazon.com/s3/details/ (станом на 4 березня 2015 р.)
@ Acyra - ефективність доставки об'єктів з одного сегмента буде сильно залежати від назв об'єктів у ньому.
Якщо імена файлів були віддалені випадковими символами, їх фізичне розташування буде розподілено далі на апаратному забезпеченні AWS, але якщо ви все назвали 'common-x.jpg', 'common-y.jpg', тоді ці об'єкти будуть зберігатися разом.
Це може сповільнити доставку файлів, якщо ви запитуєте їх одночасно, але недостатньо, щоб турбувати вас, більший ризик пов'язаний із втратою даних або перебоями, оскільки ці об'єкти зберігаються разом, вони будуть втрачені або недоступні разом.