Поліпшення продуктивності S3fs чи альтернатива?

11

Я намагався використовувати s3fs на сервері EC2, але це дуже повільно. Останні 5 годин я витратив на завантаження 100 Мб невеликих файлів.

Чи можу я щось зробити для покращення продуктивності чи це щось пов’язане з S3fs? Якщо ні, то яку альтернативу я можу використати?

amazon-ec2 s3fs

— МБ.
джерело

визначити невеликі файли, 1K? 500байт? 1 МБ?

— thinice

близько ~ 200K ...

— МБ.

Залежно від ваших потреб у сховищі, ви можете просто використовувати EBS, якщо вам не потрібен доступ з інших систем одночасно, і в цьому випадку налаштування віртуального носія за допомогою EBS все ще може бути кращим варіантом.

— Tracker1

7

S3FS може бути не найкращим вибором для великої кількості менших файлів. Також великі витрати на S3FS. Я б запропонував використовувати щось на зразок S3Curl

Ви навіть можете отримати паралельні передачі. Просто пам’ятайте, що це ніколи не буде швидко, як EBS / локальне зберігання.

Якщо вам потрібно мати його як "підйомний" сховище, єдині альтернативи S3FS, про які я знаю, - це S3Backer або s3ql

— толстянка
джерело

1

Я шукаю щось, що можу встановити як файлову систему.

— МБ.

Будь-які думки про s3ql?

— ewwhite

Я спробую S3Backer і S3Sql. Дякую.

— МБ.

5 годин дуже повільно для ~ 500, 200 КБ файлів навіть із S3FS. Щось ще, можливо, враховує, я не знаю жодної настройки S3FS, яка допомогла б

— 1212

6

Я просто орієнтував riofs порівняно з s3fs. Мій тестовий випадок був відносно простим скриптом bash, який працював pngquant на кожному .png, який він знайшов. На тестовому пакеті з ~ 70 зображеннями, з яких ~ 20, де png (поширюється на безліч підкаталогів, що за допомогою програми сповільнює роботу), результати:

s3fs: 3m54
riofs: 15,9s

Тож для цієї тестової шафи ріофи ~ на 15 разів швидші! Установка також була дуже простою, хоча документи дещо стислі.

Що стосується того, що сценарій все-таки зайняв 15,9 секунди: це не дуже ефективно, а також фактично запуск pngquant на png - це інтенсивний процес на процесорі.

— Міло де Вріс
джерело

На жаль, riofs не вдаєтьсяAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

Просто додавання в суміш риофів . Наразі я не бачив жодного орієнтиру, але є питання / запит, який може зробити кожен.

— f01
джерело

2

Я щойно випустив v0.0.1 https://github.com/kahing/goofys, який частково був мотивований проблемами продуктивності в s3fs. Швидкість створення файлів становить 3-6x, час першого байту - 58x. Відгуки Ласкаво просимо!

— кхч
джерело

2

Станом на 2019 рік - рекомендований вибір Goofys. Riotfs деякий час не оновлювався.

— timofey.com

1

Я використовував [1], і це дуже добре. Це багато команд і значно спрощує доступ до aws та s3.

http://timkay.com/aws/

— Аміт
джерело

1

Ласкаво просимо до помилки сервера! Хоча це теоретично може відповісти на питання, бажано було б сюди включити істотні частини відповіді та надати посилання для довідки.

— Скотт Пак

1

Я порівнював s3fs з riofs і майже перемикався через помітно кращі показники. Проблема в тому, що riofs досі не оновлюється до підписів v4, а це означає, що він не працюватиме з відрами Франкфурта чи Китаю s3. За словами власника, зараз триває оновлення. Якщо ви не використовуєте Франкфурт чи Китай, риофи - це кращий варіант.

— Стів
джерело

Не працює і від eu-central-1

— lrkwz

1

Це начебто старе, але може допомогти тим, хто потрапить сюди.

Я використовую aws cli та його робота дуже добре (3 Мб / с)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— маріомол
джерело