Як використовувати AWS S3 CLI для скидання файлів у stdout у BASH?

Question 1

Я запускаю скрипт bash, який пройде шлях до S3 (як вказано командою ls ) і скине вміст усіх об'єктів файлу в stdout. По суті, я хотів би скопіювати, cat /path/to/files/*крім S3, наприклад s3cat '/bucket/path/to/files/*'. Моє перше нахил, що розглядає варіанти, полягає у використанні cpкоманди для тимчасового файлу, а потім catцього.

Хтось пробував це чи подібне або вже існує команда, яку я не знаходжу, яка це робить?

Question 2

скинути вміст усіх файлових об'єктів у stdout.

Ви можете досягти цього, якщо перейдете -до пункту призначення aws s3 cpкоманди. Наприклад, $ aws s3 cp s3://mybucket/stream.txt -.

Що ви намагаєтесь зробити, це щось подібне? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Question 3

Якщо ви використовуєте версію AWS CLI, яка не підтримує копіювання в "-", ви також можете використовувати / dev / stdout:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

Також вам може знадобитися --quietпрапор, щоб запобігти додаванню до результату зведеного рядка, як показано нижче:

завантажити: s3: //mybucket/stream.txt до ../../dev/stdout

Question 4

Ви можете спробувати використовувати s3streamcat , він також підтримує формати bzip, gzip та xz.

Встановити за допомогою

sudo pip install s3streamcat

Використання:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Question 5

Ах ха!

https://pypi.python.org/pypi/s3cat/1.0.8

Я пишу більше символів, щоб задовольнити вимогу щодо довжини.

Question 6

Якщо ви хочете зробити це за допомогою BASH, вам доведеться викликати зовнішню програму, таку як інтерфейс командного рядка AWS (CLI). Він не має еквівалента CAT, тому вам потрібно буде скопіювати файл локально, а потім CAT.

Крім того, ви можете використовувати / писати програму, яка безпосередньо викликає AWS SDK, яка доступна для таких мов, як Python, PHP, Java. За допомогою SDK вміст файлу можна отримати в пам’яті, а потім відправити у stdout.