Завантажте файли та папки з відра Google Storage у локальну папку [закрито]

Який найкращий спосіб завантажити всі файли з Google Cloud Storage?

Погляньте на інструмент gsutil . Ви можете використовувати команду cp з опцією -R(рекурсивно) та -m(багатопотоковість).

gsutil -m cp -R gs://<bucket_name> .

А якщо ви хочете спробувати із загальнодоступним сегментом, спробуйте

gsutil -m cp -R gs://uspto-pair .

Швидкість, надана багатопотоковістю, може бути досить значною:

$ time gsutil cp -R gs://uspto-pair/docs/2010-08-28 .
...

real    0m12.534s

проти

$ time gsutil -m cp -R gs://uspto-pair/docs/2010-08-28 .
...

real    0m3.345s

Для тих, хто хоче уникнути встановлення локальних інструментів, наприклад gsutil, існує спосіб завантажити файли та папки з Google Cloud Storage повністю у браузері:

1. Перейдіть до: https://console.cloud.google.com/storage/browser/BUCKET_NAME
2. Знайдіть папку / файл, який потрібно завантажити.
3. У верхньому правому куті сторінки натисніть значок коду, щоб відкрити Cloud Shell.
4. Створіть тимчасову папку у віртуальній машині Cloud Shell: mkdir Data
5. Скопіюйте дані хмарного сховища у тимчасову Dataпапку:gsutil -m cp -R gs://BUCKET_NAME/FOLDER_OR_FILE_PATH ./Data
6. Скопіюйте дані у zip-файл: zip -r Data.zip Data
7. Завантажте zip-файл, запустивши dl Data.zip, або: відкривши спадне меню "..." на панелі інструментів, натиснувши "Завантажити файл", набравши текст Data.zipі натиснувши "Завантажити".

Як альтернативу крокам 6 та 7 (або якщо вам потрібен файл tar, а не zip):

. . 6б. Натисніть піктограму комп'ютера (або олівець) на панелі інструментів, щоб відкрити провідник середовища Cloud Shell у новій вкладці.
. . 7б. Клацніть правою кнопкою миші Dataпапку в браузері каталогів ліворуч і натисніть "Завантажити". Файл tar буде завантажений на вашу локальну машину, який потім можна витягти за допомогою 7-Zip або подібного.

У разі gsutilвиникнення винятку ( CommandException: Wrong number of arguments for "cp" command.) спробуйте наступне:

gsutil -m cp -R gs://BUCKETNAME ./LOCALFOLDERNAME

У моєму випадку, що спрацювало, це перехід до сегмента в графічному інтерфейсі браузера та клацання лівою кнопкою миші на файлі та "Зберегти файл".
Це, очевидно, страшно для декількох файлів, але ви можете, звичайно, стиснути їх до одного файлу (за допомогою хмарної консолі Google).

дивіться цю тему.

Крім того, якщо у вас немає відра, ви можете створити його , а потім завантажити в нього за допомогою консолі gcloud, наприкладgsutil cp file.tgz gs://<bucket>

Ось, що мені вдалося:

Крок 1: Встановіть gsutil на локальній машині: https://cloud.google.com/storage/docs/gsutil_install?hl=fr

Крок 2: скопіюйте файли з відра на локальну машину за допомогою команди:gsutil cp [-r if repository] gs://[BUCKET_NAME]/[OBJECT_NAME] [OBJECT_DESTINATION_IN_LOCAL]