Amazon S3 kova boyutunu nasıl alabilirim?

Amazon S3 kovasının boyutunu (bayt ve öğe sayısı olarak) grafik haline getirmek istiyorum ve verileri almak için etkili bir yol arıyorum.

S3cmd araçları kullanılarak toplam dosya boyutunu almak için bir yol sağlar s3cmd du s3://bucket_name, ama her dosya hakkında veri getirir ve kendi toplamını hesaplar gibi görünüyor çünkü ölçek kabiliyeti endişeleniyorum. Amazon, kullanıcıları GB Aylarında ücretlendirdiğinden, bu değeri doğrudan göstermemeleri tuhaf görünüyor.

Her ne kadar Amazon'un REST API bir bölümdeki öğelerin sayısını döndürür, s3cmd maruz görünmüyor. Yapabilirim s3cmd ls -r s3://bucket_name | wc -lama bu bir hack gibi görünüyor.

Ruby AWS :: S3 kütüphanesi ümit verici görünüyordu, fakat toplam kepçe boyutunu değil, sadece kepçe öğelerini dolduruyor.

Bu verileri elde etmenin yollarını sağlayan başka herhangi bir komut satırı aracı veya kütüphanesinin (Perl, PHP, Python veya Ruby'yi tercih ediyor) bilgisi olan var mı?

AWS CLI şimdi --querybir JMESPath ifadesi alan parametreyi destekliyor .

Bu, list-objectskullanarak sum(Contents[].Size)ve saymak gibi verilen boyut değerlerini toplayabileceğiniz anlamına gelir length(Contents[]).

Bu, aşağıdaki gibi resmi AWS CLI kullanılarak çalıştırılabilir ve Şubat 2014'te tanıtılmıştır.

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

Bu şimdi sadece resmi AWS komut satırı istemcisiyle önemsiz bir şekilde yapılabilir:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

Resmi belgeler

Ayrıca, tüm kovayı saymak istemiyorsanız yol öneklerini de kabul eder:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory

AWS Konsolu:

İtibariyle Temmuz 2015 28 bu bilgileri alabilirsiniz CloudWatch aracılığıyla . Bir GUI istiyorsanız, CloudWatch konsoluna gidin : (Bölge> Seç) Metrikler> S3

AWS CLI Komutu:

Bu, burada yayınlanan diğer komutlardan bazılarından çok daha hızlıdır, çünkü toplamı hesaplamak için her dosyanın boyutunu ayrı ayrı sorgulamaz.

 aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage

Önemli : Boyutlar argümanında StorageType ve BucketName öğelerini belirtmeniz gerekir, aksi takdirde sonuç alamazsınız. Değiştirmeniz gereken tek şey --start-date, --end-timeve Value=toukakoukan.com.

İşte belirtmek --start-dateve --end-timeel ile kullanmak zorunda kalmamak için kullanabileceğiniz bir bash betiği .

#!/bin/bash
bucket=$1
region=$2
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region $region --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage

s3cmd bunu yapabilir:

s3cmd du s3://bucket-name

Bir kullanım raporu indirirseniz , TimedStorage-ByteHrsalanın günlük değerlerini grafik olarak çizebilirsiniz .

Eğer bu numarayı GiB'de istiyorsanız, sadece bölün 1024 * 1024 * 1024 * 24(24 saatlik bir döngü için GiB saatleri). Sayıyı bayt cinsinden istiyorsanız, 24'e bölün ve grafiği kaldırın.

Resmi AWS s3 komut satırı araçlarını kullanarak:

aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

Bu daha iyi bir komuttur, --summarize --human-readable --recursivesonra sadece aşağıdaki 3 parametreyi ekleyin aws s3 ls. --summarizegerekli değildir ancak toplam boyuta güzel bir dokunuş verir.

aws s3 ls s3://bucket/folder --summarize --human-readable --recursive

s4cmd, bulduğum en hızlı yoldur (Python ile yazılmış bir komut satırı yardımcı programı):

pip install s4cmd

Şimdi birden fazla iş parçacığı kullanarak tüm kova boyutunu hesaplamak için:

s4cmd du -r s3://bucket-name

Bu konuda daha önce listelenen S3 REST / Curl API kullandım ve şunu yaptım:

<?php
if (!class_exists('S3')) require_once 'S3.php';

// Instantiate the class
$s3 = new S3('accessKeyId', 'secretAccessKey');
S3::$useSSL = false;

// List your buckets:
echo "S3::listBuckets(): ";
echo '<pre>' . print_r($s3->listBuckets(), 1). '</pre>';

$totalSize = 0;
$objects = $s3->getBucket('name-of-your-bucket');
foreach ($objects as $name => $val) {
    // If you want to get the size of a particular directory, you can do
    // only that.
    // if (strpos($name, 'directory/sub-directory') !== false)
    $totalSize += $val['size'];
}

echo ($totalSize / 1024 / 1024 / 1024) . ' GB';
?>

S3cmd yardımcı programını kullanabilirsiniz, örneğin:

s3cmd du -H s3://Mybucket
97G      s3://Mybucket/

Bu nedenle, API'de dolaşarak ve aynı sorguları oynayarak, S3 bir kepçenin tüm içeriğini tek bir istekte üretecek ve dizine girmesi gerekmeyecek. Sonuçlar daha sonra sadece çeşitli XML öğeleri yoluyla toplanmayı gerektiriyor ve tekrarlanan çağrılar gerektirmiyor. Binlerce öğeye sahip örnek bir kepçem yok, bu yüzden ne kadar iyi ölçekleneceğini bilmiyorum, ama oldukça basit görünüyor.

... Biraz geç ama en iyi bulduğum yol AWS portalındaki raporları kullanmak. Raporları indirmek ve ayrıştırmak için bir PHP sınıfı yaptım. Bununla beraber her kova için toplam nesne sayısını, GB cinsinden toplam boyutu veya bayt saate ve daha fazlasını elde edebilirsiniz.

Bir göz atın ve yardımcı olup olmadığını bana bildirin

AmazonTools

Ben S3 Kullanımı Raporu'nu kullanmanızı öneririz büyük kova , bkz benim Nasıl o Temel olarak Zamanlı Depolama geçen gün için S3 hizmeti için Kullanım Raporu indirmeniz gerekir almak konusunda - Byte Saat ve disk kullanımını almak için ayrıştırmak.

cat report.csv | awk -F, '{printf "%.2f GB %s %s \n", $7/(1024**3 )/24, $4, $2}' | sort -n

AWS belgeleri size nasıl yapılacağını anlatır:

aws s3 ls s3://bucketnanme --recursive --human-readable --summarize

Bu elde ettiğiniz çıktı:

2016-05-17 00:28:14    0 Bytes folder/
2016-05-17 00:30:57    4.7 KiB folder/file.jpg
2016-05-17 00:31:00  108.9 KiB folder/file.png
2016-05-17 00:31:03   43.2 KiB folder/file.jpg
2016-05-17 00:31:08  158.6 KiB folder/file.jpg
2016-05-17 00:31:12   70.6 KiB folder/file.png
2016-05-17 00:43:50   64.1 KiB folder/folder/folder/folder/file.jpg

Total Objects: 7

   Total Size: 450.1 KiB

Gerçekten düşük teknolojili bir yaklaşım için: sizin için boyutunu hesaplayabilen bir S3 istemcisi kullanın. Panic Transmit kullanıyorum, bir kovaya tıklayın, "Bilgi Al" yapın ve "Hesapla" düğmesine tıklayın. Diğer yöntemlerle olan ilişkisinin ne kadar hızlı veya doğru olduğundan emin değilim, ancak olmasını beklediğim boyutu geri veriyor gibi görünüyor.

Çok fazla cevap olduğundan, kendimle görüşeceğimi düşündüm. Uygulamamı C # dilinde LINQPad kullanarak yazdım. Sorgulamak istediğiniz erişim anahtarını, gizli anahtarı, bölge bitiş noktasını ve kova adını kopyalayın, yapıştırın ve girin. Ayrıca, AWSSDK nuget paketini de eklediğinizden emin olun.

Kovalarımdan birine karşı test ettiğimde bana 128075 sayımı ve 70.6GB büyüklüğünde bir sayı verdi. Bunun% 99.9999 doğru olduğunu biliyorum, bu yüzden sonuçta iyiyim.

void Main() {
    var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
    var stop = false;
    var objectsCount = 0;
    var objectsSize = 0L;
    var nextMarker = string.Empty;

    while (!stop) {
        var response = s3Client.ListObjects(new ListObjectsRequest {
            BucketName = "",
            Marker = nextMarker
        });

        objectsCount += response.S3Objects.Count;
        objectsSize += response.S3Objects.Sum(
            o =>
                o.Size);
        nextMarker = response.NextMarker;
        stop = response.S3Objects.Count < 1000;
    }

    new {
        Count = objectsCount,
        Size = objectsSize.BytesToString()
    }.Dump();
}

static class Int64Extensions {
    public static string BytesToString(
        this long byteCount) {
        if (byteCount == 0) {
            return "0B";
        }

        var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
        var longBytes = Math.Abs(byteCount);
        var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
        var number = Math.Round(longBytes / Math.Pow(1024, place), 1);

        return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
    }
}

Boyutu AWS Konsolundan almak istiyorsanız:

1. S3'e gidin ve kova adına tıklayın
2. "Yönetim" sekmesini seçin

3. Metrikler sekmesini seçin

Varsayılan olarak, kovanın Depolama Metrik değerini görmelisiniz .

Bunun daha eski bir soru olduğunu biliyorum ama işte bir PowerShell örneği:

Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}

$A kepçe boyutunu içerir ve sadece bir kepçe içindeki belirli bir klasörün boyutunu istiyorsanız, bir anahtar ismi parametresi vardır.

Tüm kova boyutunu kontrol etmek için bu bash betiğini deneyin

s3list=`aws s3 ls | awk  '{print $3}'`
for s3dir in $s3list
do
    echo $s3dir
    aws s3 ls "s3://$s3dir"  --recursive --human-readable --summarize | grep "Total Size"
done

Kullanabilirsiniz s3cmd:

s3cmd du s3://Mybucket -H

veya

s3cmd du s3://Mybucket --human-readable

Kepçenin toplam nesnelerini ve boyutunu çok okunabilir bir biçimde verir.

Hey AWS S3 için https://s3search.p3-labs.com/ adresinde bir meta arama aracı var .

Ayrıca Hanzo S3 Araçları bunu yapar. Kurulduktan sonra şunları yapabilirsiniz:

s3ls -s -H bucketname

Ancak bunun müşteri tarafında toplandığına ve AWS API'sinden alınmadığına inanıyorum.

By cloudberry programı sağ kepçenin üstünde "özelliklerini" tıklayarak kova boyutunu, klasörler ve toplam dosyaların miktarını listelemek de mümkündür.

Komut satırını kullanmak istemiyorsanız, Windows ve OSX'te, Cyberduck adlı genel amaçlı bir uzaktan dosya yönetimi uygulaması vardır . Erişim / gizli anahtar çiftinizle S3'e giriş yapın, dizine sağ tıklayın, tıklayın Calculate.

Bash komut dosyası, s3ls ile kovadaki dosyaları listeleyecek s3-du.sh yazıp, dosya sayısını ve boyutunu yazdıracak

s3-du.sh testbucket.jonzobrist.com
149 files in bucket testbucket.jonzobrist.com
11760850920 B
11485205 KB
11216 MB
10 GB

Tam komut dosyası:

#!/bin/bash

if [ “${1}” ]
then
NUM=0
COUNT=0
for N in `s3ls ${1} | awk ‘{print $11}’ | grep [0-9]`
do
NUM=`expr $NUM + $N`
((COUNT++))
done
KB=`expr ${NUM} / 1024`
MB=`expr ${NUM} / 1048576`
GB=`expr ${NUM} / 1073741824`
echo “${COUNT} files in bucket ${1}”
echo “${NUM} B”
echo “${KB} KB”
echo “${MB} MB”
echo “${GB} GB”
else
echo “Usage : ${0} s3-bucket”
exit 1
fi    

Amazon, dizin adını ve tüm içeriğinin boyutunu döndürdüğü için alt dizin boyutunu yapar.

CloudWatch, artık "Ortalama Kova Boyutu Bayt" adlı bir grafikte listeleyen varsayılan bir S3 servis panosuna sahiptir. Bu bağlantının daha önce AWS Konsoluna giriş yapmış herkes için çalışacağını düşünüyorum :

Aşağıdaki şekilde, kepçe toplam boyutunu elde etmek için AWS PHP SDK kullanılır.

// make sure that you are using correct region (where the bucket is) to get new Amazon S3 client
$client = \Aws\S3\S3Client::factory(array('region' => $region));

// check if bucket exists
if (!$client->doesBucketExist($bucket, $accept403 = true)) {
    return false;
}
// get bucket objects
$objects = $client->getBucket(array('Bucket' => $bucket));

$total_size_bytes = 0;
$contents = $objects['Contents'];

// iterate through all contents to get total size
foreach ($contents as $key => $value) {
   $total_bytes += $value['Size'];
}
$total_size_gb = $total_size_bytes / 1024 / 1024 / 1024;

Bu benim için çalışıyor ..

aws s3 ls s3://bucket/folder/ --recursive | awk '{sz+=$3} END {print sz/1024/1024 "MB"}'