Як я можу отримати розмір відра Amazon S3?

Я хотів би графікувати розмір відра Amazon S3 (в байтах і # елементів), і я шукаю ефективний спосіб отримати дані.

Інструменти s3cmd надають спосіб отримати загальний розмір файлу за допомогою s3cmd du s3://bucket_name, але я переживаю за його здатність до масштабування, оскільки, схоже, він отримує дані про кожен файл та обчислює власну суму. Оскільки Amazon стягує плату з користувачів у ГБ-місяцях, дивно, що вони не піддають цього значення безпосередньо.

Хоча REST API Amazon повертає кількість елементів у відрі, s3cmd , схоже, не виставляє його. Я міг би зробити, s3cmd ls -r s3://bucket_name | wc -lале це здається рушником.

Бібліотека Ruby AWS :: S3 виглядала багатообіцяючою, але містить лише # елементів відра, а не загальний розмір відра.

Хтось знає про будь-які інші інструменти чи бібліотеки командного рядка (віддайте перевагу Perl, PHP, Python чи Ruby), які надають способи отримання цих даних?

Тепер AWS CLI підтримує --queryпараметр, який приймає вирази JMESPath .

Це означає, що ви можете підсумовувати значення розміру, list-objectsвикористовуючи sum(Contents[].Size)та рахуючи подібні length(Contents[]).

Це можна виконати за допомогою офіційного CLI AWS, як показано нижче, і було представлено у лютому 2014 року

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

Тепер це можна зробити тривіально за допомогою лише офіційного клієнта командного рядка AWS:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

Офіційна документація

Це також приймає префікси шляху, якщо ви не хочете рахувати все відро:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory

Консоль AWS:

Станом на 28 липня 2015 року ви можете отримати цю інформацію через CloudWatch . Якщо вам потрібен графічний інтерфейс, перейдіть до консолі CloudWatch : (Виберіть регіон>) Метрики> S3

Команда AWS CLI:

Це набагато швидше, ніж деякі інші команди, розміщені тут, оскільки він не запитує розмір кожного файлу окремо для обчислення суми.

 aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage

Важливо : у аргументі розмірів потрібно вказати і StorageType, і BucketName, інакше ви не отримаєте результатів. Все , що вам потрібно змінити це --start-date, --end-timeі Value=toukakoukan.com.

Ось сценарій bash, який ви можете використовувати, щоб уникнути необхідності вказувати --start-dateта --end-timeвручну.

#!/bin/bash
bucket=$1
region=$2
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region $region --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage

s3cmd може це зробити:

s3cmd du s3://bucket-name

Якщо ви завантажуєте звіт про використання , ви можете графікувати добові значення для TimedStorage-ByteHrsполя.

Якщо ви хочете, щоб це число було в GiB, просто діліться на 1024 * 1024 * 1024 * 24(це GiB-години за 24-годинний цикл). Якщо ви хочете число в байтах, просто діліться на 24 та графік.

Використання офіційних інструментів командного рядка AWS s3:

aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

Це краща команда, просто додайте наступні 3 параметри --summarize --human-readable --recursiveпісля aws s3 ls. --summarizeне потрібно, хоча приємно торкається загального розміру.

aws s3 ls s3://bucket/folder --summarize --human-readable --recursive

s4cmd - це найшвидший спосіб, який я знайшов (утиліта командного рядка, написана на Python):

pip install s4cmd

Тепер обчислимо весь розмір відра за допомогою декількох ниток:

s4cmd du -r s3://bucket-name

Я використав API S3 REST / Curl, перелічений раніше в цій темі, і зробив це:

<?php
if (!class_exists('S3')) require_once 'S3.php';

// Instantiate the class
$s3 = new S3('accessKeyId', 'secretAccessKey');
S3::$useSSL = false;

// List your buckets:
echo "S3::listBuckets(): ";
echo '<pre>' . print_r($s3->listBuckets(), 1). '</pre>';

$totalSize = 0;
$objects = $s3->getBucket('name-of-your-bucket');
foreach ($objects as $name => $val) {
    // If you want to get the size of a particular directory, you can do
    // only that.
    // if (strpos($name, 'directory/sub-directory') !== false)
    $totalSize += $val['size'];
}

echo ($totalSize / 1024 / 1024 / 1024) . ' GB';
?>

Ви можете використовувати утиліту s3cmd, наприклад:

s3cmd du -H s3://Mybucket
97G      s3://Mybucket/

Таким чином, обмінюючись API та відтворюючи одні й ті самі запити, S3 виробляє весь вміст відра за один запит, і йому не потрібно спускатися в каталоги. Потім результати просто вимагають підсумовувати різні елементи XML, а не повторювати дзвінки. У мене немає відра для зразків, у якому є тисячі предметів, тому я не знаю, наскільки добре він буде масштабуватися, але це здається досить простим.

... Трохи пізно, але найкращий спосіб, який я знайшов, - це за допомогою звітів на порталі AWS. Я зробив клас PHP для завантаження та розбору звітів. З його допомогою ви можете отримати загальну кількість об'єктів для кожного відра, загальний розмір в ГБ або байт-годин і більше.

Перевірте це і дайте мені знати, чи було корисно

AmazonTools

Я рекомендую використовувати Звіт про використання S3 для великих відра , дивіться мою «Як це зробити» В основному вам потрібно завантажити звіт про використання служб S3 за останній день за допомогою Timed Storage - Byte Hrs та проаналізувати його, щоб отримати диск.

cat report.csv | awk -F, '{printf "%.2f GB %s %s \n", $7/(1024**3 )/24, $4, $2}' | sort -n

Документація AWS говорить вам, як це зробити:

aws s3 ls s3://bucketnanme --recursive --human-readable --summarize

Це вихід, який ви отримуєте:

2016-05-17 00:28:14    0 Bytes folder/
2016-05-17 00:30:57    4.7 KiB folder/file.jpg
2016-05-17 00:31:00  108.9 KiB folder/file.png
2016-05-17 00:31:03   43.2 KiB folder/file.jpg
2016-05-17 00:31:08  158.6 KiB folder/file.jpg
2016-05-17 00:31:12   70.6 KiB folder/file.png
2016-05-17 00:43:50   64.1 KiB folder/folder/folder/folder/file.jpg

Total Objects: 7

   Total Size: 450.1 KiB

Для дійсно низькотехнологічного підходу: використовуйте клієнт S3, який може розрахувати розмір для вас. Я використовую передачу Panic's Transmit, натискаю на відро, робимо "Отримати інформацію" та натискаємо кнопку "Обчислити". Я не впевнений, наскільки це швидко чи точно в порівнянні з іншими методами, але, здається, він повертає той розмір, який я очікував.

Оскільки є так багато відповідей, я подумав, що зіткнуся зі своїм. Я написав свою реалізацію в C # за допомогою LINQPad. Скопіюйте, вставте та введіть ключ доступу, секретний ключ, кінцеву точку регіону та ім'я відра, яке потрібно запитувати. Крім того, переконайтеся, що ви додали цілий пакет AWSSDK.

Випробовуючи одне з моїх відра, він дав мені рахунок 128075 і розмір 70,6 ГБ. Я знаю, що це на 99,9999%, тому я хороший з результатом.

void Main() {
    var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
    var stop = false;
    var objectsCount = 0;
    var objectsSize = 0L;
    var nextMarker = string.Empty;

    while (!stop) {
        var response = s3Client.ListObjects(new ListObjectsRequest {
            BucketName = "",
            Marker = nextMarker
        });

        objectsCount += response.S3Objects.Count;
        objectsSize += response.S3Objects.Sum(
            o =>
                o.Size);
        nextMarker = response.NextMarker;
        stop = response.S3Objects.Count < 1000;
    }

    new {
        Count = objectsCount,
        Size = objectsSize.BytesToString()
    }.Dump();
}

static class Int64Extensions {
    public static string BytesToString(
        this long byteCount) {
        if (byteCount == 0) {
            return "0B";
        }

        var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
        var longBytes = Math.Abs(byteCount);
        var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
        var number = Math.Round(longBytes / Math.Pow(1024, place), 1);

        return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
    }
}

Якщо ви хочете отримати розмір від консолі AWS:

1. Перейдіть до S3 та натисніть на назву відра
2. Виберіть вкладку "Управління"

3. Виберіть вкладку " Метрики"

За замовчуванням ви повинні побачити метрику зберігання відра

Я знаю, що це старе питання, але ось приклад PowerShell:

Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}

$A містить розмір відра, і є параметр імені ключа, якщо ви просто хочете розмір певної папки у відрі.

Щоб перевірити всі розміри відра, спробуйте цей скрипт bash

s3list=`aws s3 ls | awk  '{print $3}'`
for s3dir in $s3list
do
    echo $s3dir
    aws s3 ls "s3://$s3dir"  --recursive --human-readable --summarize | grep "Total Size"
done

Ви можете використовувати s3cmd:

s3cmd du s3://Mybucket -H

або

s3cmd du s3://Mybucket --human-readable

Він дає загальну кількість предметів та розмір відра у дуже читабельній формі.

Привіт, є інструмент пошуку метаданих для AWS S3 за адресою https://s3search.p3-labs.com/ . Цей інструмент дає статистику про об’єкти у відрі з пошуком метаданих.

Також це робить Hanzo S3 Tools . Після встановлення ви можете:

s3ls -s -H bucketname

Але я вважаю, що це також підсумовується на стороні клієнта, а не отримується через API AWS.

За програмою Cloudberry можна також перелічити розмір відра, кількість папок та загальну кількість файлів, натиснувши "властивості" праворуч зверху.

Якщо ви не хочете використовувати командний рядок, у Windows та OSX є програма віддаленого керування файлами загального призначення під назвою Cyberduck . Увійдіть у S3 за допомогою пари ключів доступу / секретного ключа, клацніть правою кнопкою миші на каталозі та клацніть Calculate.

Я написав сценарій Bash, s3-du.sh, який буде перераховувати файли у відрі з s3ls та друкувати кількість файлів та розміри, як

s3-du.sh testbucket.jonzobrist.com
149 files in bucket testbucket.jonzobrist.com
11760850920 B
11485205 KB
11216 MB
10 GB

Повний сценарій:

#!/bin/bash

if [ “${1}” ]
then
NUM=0
COUNT=0
for N in `s3ls ${1} | awk ‘{print $11}’ | grep [0-9]`
do
NUM=`expr $NUM + $N`
((COUNT++))
done
KB=`expr ${NUM} / 1024`
MB=`expr ${NUM} / 1048576`
GB=`expr ${NUM} / 1073741824`
echo “${COUNT} files in bucket ${1}”
echo “${NUM} B”
echo “${KB} KB”
echo “${MB} MB”
echo “${GB} GB”
else
echo “Usage : ${0} s3-bucket”
exit 1
fi    

Він має розмір підкаталогу, оскільки Amazon повертає ім'я каталогу та розмір усього його вмісту.

CloudWatch має типову інформаційну панель служби S3 за замовчуванням, яка перераховує її у графіку під назвою "Середній розмір байтів". Я думаю, що це посилання підійде для всіх, хто вже увійшов до консолі AWS:

Наступним способом використовується AWS PHP SDK, щоб отримати загальний розмір відра.

// make sure that you are using correct region (where the bucket is) to get new Amazon S3 client
$client = \Aws\S3\S3Client::factory(array('region' => $region));

// check if bucket exists
if (!$client->doesBucketExist($bucket, $accept403 = true)) {
    return false;
}
// get bucket objects
$objects = $client->getBucket(array('Bucket' => $bucket));

$total_size_bytes = 0;
$contents = $objects['Contents'];

// iterate through all contents to get total size
foreach ($contents as $key => $value) {
   $total_bytes += $value['Size'];
}
$total_size_gb = $total_size_bytes / 1024 / 1024 / 1024;

Це працює для мене ..

aws s3 ls s3://bucket/folder/ --recursive | awk '{sz+=$3} END {print sz/1024/1024 "MB"}'