Геосервер із відром Amazon s3

У моєму віртуальному екземплярі працює Apache, на якому працює Geoserver, і мені цікаво, чи може каталог даних Geoserver вказувати на відро Amazon S3. Чи можливо це? Як це впливає на продуктивність?

Якщо S3 - це погана настройка для каталогу даних Geoserver, чи є якісь пропозиції щодо додавання великої кількості даних до мого каталогу даних Geoserver? Каталог даних може доходити до 100 ГБ, можливо більше. Потрібно просто отримати сервер з великим жорстким диском або підключитися до більш масштабованого рішення, як відро Amazon S3?

geoserver amazon-s3

— модуліти
джерело

Що таке дані? Я здогадуюсь образності, але ти це виклав плиткою? Можливо, якась база даних для растрового виграшу :-)

— BradHards

Якщо ваші дані є більш растровими і будуть прочитані та оброблені для інтерактивного WMS S3, можливо, це буде повільно. Підказки з минулого досвіду, ви можете подивитися на glusterfs + EBS.

— simogeo

У мене є інтерес використовувати S3 як спільний пакет даних для горизонтально еластично масштабованого флоту GeoServers. Зараз я розслідую використання S3Fuse для монтажу файлової системи для цього. Було б чудово почути про будь-які інші успіхи / невдачі в цій галузі.

— 8bitjunkie

Будь-який досвід у цій темі?

— geogeek

Відповіді:

Вказівка "безпосередньо" на відро S3 (наприклад, використання s3fs) - "ймовірно", погана ідея. наприклад /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS майже напевно є правильним місцем для зберігання даних для доступу до GeoServer.

100 ГБ дуже зручно за стандартами EBS. (Максимальний розмір гучності - 16 Терабайт!)

Я можу запропонувати зберігати вихідні дані в S3, а потім реплікувати у своїх примірниках, якщо потрібно, використовуючи інструменти AWS CLI для синхронізації вмісту папки S3 з вашим локальним екземпляром за допомогою однієї команди. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3, можливо, зайвий, але я вважаю, що це додає гнучкості та зручності.

Побічна примітка: Якщо ви все-таки плануєте використовувати великі багатоядерні екземпляри, і ви знаєте, що об'єм даних, швидше за все, несподівано не зросте, і ви зможете автоматично створити свої екземпляри, ви можете насправді розглянути можливість зберігання екземплярів ("ефемерне сховище" ), оскільки ваші оригінальні дані будуть безпечними у S3, ви можете заощадити на платі за EBS, а зберігання екземплярів у деяких випадках може бути трохи швидше, ніж EBS.

— python1981
джерело

Це вичерпна відповідь. Тут є невелика інформація: borderlessgeo.com/2013/04/…

— Alex Leith

що ви використовуєте для запуску AWS команд з pyQGIS? Processing.call? Здається, boto3 не працює. Він працює в оболонці Osgeo з python2, але не 3 ...

— Лев

Чи можливо це: цього можна легко досягти для даних, які підходять до формату GeoTIFF, використовуючи модуль Geoserver s3 для Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Як це впливає на продуктивність? На це важко відповісти, проте я виявив, що продуктивність приблизно еквівалентна сховища EBS / EFS за частку ціни.

— nstillwell
джерело