Bir kişi, S3'ü adım adım yedeklemek için nasıl verimli bir şekilde kullanabilir?

Rsync'in üst düzeyde nasıl çalıştığını biliyorum, ama iki taraf var. S3 ile konuşacak hiçbir servet yok - peki var, ama temelde sadece HTTP.

Birkaç yaklaşım varmış gibi görünüyor.

s3rsync (ama bu sadece rsync ile s3 arasındaki cıvataları). Basit. Emin bir şey üçüncü tarafa güvenmek istiyorum. Keşke s3 sadece rsync'i destekliyor.

Ayrıca, cıvatalama olmadan s3'ü desteklediğini iddia eden yineleme gibi bazı rsync 'klonları' vardır. Fakat bunu nasıl yapabilir? Yerelde bir dizin dosyası tutuyorlar mı? Bunun nasıl verimli olabileceğinden emin değilim.

Açıkçası s3'ü kullanmak istiyorum çünkü ucuz ve güvenilir, ancak dev bir görüntü dizini yedeklemek gibi, rsync'in aracı olduğu şeyler var.

Buradaki seçenekler neler? Rsync + s3rsync + s3 yerine duplicity + s3 kullanarak ne kaybederim?

Bu soruya son cevap verildiğinden beri yeni bir AWS komut satırı aracı var aws.

Yerel depolama ve s3 arasında senkronize edebilir , rsync benzeri. Örnek kullanım:

aws s3 sync s3://mybucket /some/local/dir/

Sisteminizin python ortamı düzgün ayarlanmışsa, aşağıdakileri kullanarak AWS istemcisini kurabilirsiniz pip:

pip install awscli

S3cmd aracı büyük sahiptir syncseçeneği. Yerel yedeklemeleri eşitlemek için kullanıyorum, şöyle bir şey kullanarak:

s3cmd sync --skip-existing $BACKUPDIR/weekly/ s3://MYBACKUP/backup/mysql/

--skip-existingO çalışmaz araçlar mevcut dosyaları hızlı kopya etmek. Zaten bu isimde bir dosya varsa, hemen atlar ve devam eder. Orada da --delete-removedyerel olarak mevcut değil dosyaları kaldıracak seçenek, ama ben bu kullanmıyorum bu yüzden yerel olarak temizlemiş olduğunu S3 bile olanlar devam etmek istiyorum.

Kimseye ne yapacağını söylemek istemiyorum ama kopya için bir bayrak sallayabilir miyim? veya diğer artımlı yedekleme çözümü. Senkronizasyon çok iyi, fakat gece yedeklerseniz, sorunu iki gün boyunca farketmezseniz ne olur? Cevap: Çok geç, yerel dosyalarınız ve yedekleriniz birbirinizin aynasıdır ve ihtiyacınız olan hiçbir bilgiye sahip değilsiniz. Gerçekten artımlı yedeklemeleri veya anlık görüntüleri göz önünde bulundurmalısınız, böylece zaman içinde belirli bir anı kurtarabilmeniz ve bunu verimli bir şekilde yapabilmek için artımlı yedeklemelere ihtiyacınız vardır. Verilerinizi kaybetmek dünya senaryosunun sonu ise, kopyaları asla bilmediğiniz farklı sağlayıcılarda saklayın, o zaman kaybolabilir, kim bilir hacklenebilir.

Ben kopyalarımı ve s3'ü kullandım, para cezası ama işlem yoğun. Ancak artımlı yedeklemeler yapar. Bir dizini veya belirli bir dosyayı geri yüklemek istediğinizde, en geç Çarşamba günü veya geçen Ocak ayında, aynı bölümdeki diğer dosyaları geri yüklemeden acil bir durumda, artımlı yedeklemelere ve yalnızca ihtiyaç duyduğunuz dosyaları isteyebileceğiniz bir araca ihtiyacınız vardır.

Her x ayda bir dolu, aksi takdirde s3 depolama toplamını düşük tutmak için artan ve silinen bir cronum var, nihayet toplama durumunu yapıyor, böylece her sabah durumla birlikte postalanıyorum. Düzenli olarak göz kulak olmanız gerekir, böylece yedeklemenizin çalışmadığını fark edersiniz.

Yerel imzaları saklamak için önemli yerel geçici boşluk gerekir, bu nedenle temp dir değerini dikkatlice ayarlayın. Bu yedekleme / mnt, / mnt içindeki çeşitli dizinleri hariç tutar. Bu, verileri yedeklemek için iyidir, çünkü sistem bölümleri amazon görüntüleme veya anlık görüntü araçları kullanır.

PHP betiği:

# Duplicity Backups

$exclude  = "--exclude /mnt/ephemeral ".
            "--exclude /mnt/logs ".
            "--exclude /mnt/service ".
            "--exclude /mnt/mail ".
            "--exclude /mnt/mysql ";

$key = "PASSPHRASE=securegpgpassphrase";

$tmp = "/mnt/mytempdir";

system("mkdir -p $tmp");

# Amazon

$aws = "AWS_ACCESS_KEY_ID=xxxxxx ".
       "AWS_SECRET_ACCESS_KEY=xxxxxx ";

$ops = "-v5 --tempdir=$tmp --archive-dir=$tmp --allow-source-mismatch --s3-european-buckets --s3-use-new-style --s3-use-rrs";
$target = " s3://s3-eu-west-1.amazonaws.com/mybucket";

# Clean + Backup

system("$key $aws /usr/bin/duplicity $ops --full-if-older-than 2M $exclude /mnt $target");
system("$key $aws /usr/bin/duplicity $ops remove-older-than 6M --force $target");
system("$key $aws /usr/bin/duplicity $ops cleanup --force --extra-clean $target");
system("$key $aws /usr/bin/duplicity $ops collection-status $target")

S3, nasıl kullanmak istediğinizi tasarlamanız için yeterli esneklik sağlayan genel amaçlı bir nesne depolama sistemidir.

Sorunuzdan rsync ile ilgili sorunlara (indeksleme dışında) ya da karşılaştığınız '3. parti' aracına ilişkin sorunlara emin değilim.

İyi yapılandırılmış çok sayıda dosyanız varsa, alt klasörlerinizde birden fazla s3 senkronizasyonu çalıştırabilirsiniz.

Amazon'daki hoş kişiler, S3 veya EBS'ye büyük dosya aktarımı için taşınabilir sabit disk sürücünüzden bir ithalat / ihracat yapmanızı sağlar - http://aws.amazon.com/importexport/ , ilk yükleme için kullanabilirsiniz.

Amazon s3'ün en iyi uygulamalarını burada görün - http://aws.amazon.com/articles/1904

Farklı araçlara gelince, onları deneyin ve sizin için en uygun olanı görün. Fiyatlandırma ile ilgili olarak, ihtiyaçlarınızı karşılarsa fazlalık fiyatlandırması azaltılır - http://aws.amazon.com/s3/pricing/

Genel öneri - hızlı bir çok çekirdekli işlemci ve iyi bir ağ borusu var.

GÜNCELLEME: S3 üzerinde sağlama toplamından bahseden

S3 ile ilgili olarak veriler anahtar / değer çiftlerinde depolanır ve dizin kavramı yoktur. S3sync sağlama toplamı doğrular (S3 sağlama için bir başlık olarak sağlama toplamı göndermek için bir mekanizma vardır - Content-MD5 başlık). En iyi uygulamalar, Veri Bütünlüğü kısmının detaylı bir şekilde ilişkilendirilmesini sağlar. S3, sağlama toplamı göndermenizi / doğrulamanızı ve almanızı sağlar. Çoğullukla artımlı yedekleme yapan birçok insan var. S3'te çalışan rsync olmasa da, burada bahsettiğim gibi sağlama toplamı yapabilirsiniz.

rsync kanıtlanmış bir araçtır ve modern araçların çoğu aynı algoritmayı veya rsync kütüphanesini kullanır veya harici olarak rsync'i çağırır.

Alternatif olarak minio client aka mc kullanabilirsiniz . 'Mc mirror' komutunu kullanarak işi yaparsınız.

$ mc mirror share/sharegain/ s3/MyS3Bucket/share/sharegain 

• mc: minio istemcisi
• paylaşım / paylaşım: yerel dizin
• s3: https://s3.amazonaws.com için takma ad
• MyS3Bucket: Benim uzaktan S3 kova
• share / sharegain: S3'teki nesnem

Basit bir senaryoyu cronjob olarak yazabilir ve periyodik aralıklarla senkronize tutabilirsiniz.

Umarım yardımcı olur.

Gerçek rsync'in Amazon için uygun olup olmadığından emin değilim.

Anladığım kadarıyla, standart rsync algoritması, müşterinin bir dosyanın her bloğu için karmaları hesapladığı ve sunucunun kopyası için karmaları hesapladığı ve bu karmaları müşteriye gönderdiği anlamına gelir;

Bu, Amazon için birçok sorunun İnternet üzerinden gönderilmesi gereken iki soruna neden olmakta ve aynı zamanda Amazon'un maliyetlerini artıracak tüm bu karmaşaları hesaplamak için işlem gücü gerektirmektedir - bu yüzden muhtemelen bunu üçüncü taraf sağlayıcılara bırakmaktadırlar. bu özellik için ekstra ücret.

Klonlara gelince, hash'leri bir yerde depoladıkları açıktır ve bir yerlerde klona bağlı olarak değişebilir. Karma'ları Amazon'da dosya başına ayrı bir nesne veya Amazon'da depolanan bir veritabanı olarak saklamak veya yerel olarak ve uzaktan saklamak mümkün olabilir.

Her iki şekilde yapmanın avantajları ve dezavantajları vardır. Karma dosyalar ayrı ayrı dosyalarda uzaktan saklanırsa, sürekli olarak onları almak pahalı olabilir. Karmalar uzaktan bir veritabanında saklanırsa, o zaman bu veritabanı genişleyebilir ve bunları sürekli olarak almak ve güncellemek pahalı olabilir. Karma yerel olarak saklanırsa, bu maliyetlerin düşürülmesine yardımcı olur, ancak başka komplikasyonlar ve problemler ortaya çıkarır.

(Tabii ki Amazon'un başka hizmetleri var, bu yüzden Amazon DB'de veri tabanı bulundurmak mümkün olacaktı)

Örnek olarak, yıllar önce bir erken rsync klonu denedim. Bu Amazon'un fiyat yapısını hesaba katmak için yazılmadı ve her bloğun hashını almak için çok sayıda http alır ve Amazon her biri için ücret aldığından, faturamın saklama kısmı keskin bir şekilde düştüğü zaman fırlamıştı.

Rsync + s3rsync + s3 yerine duplicity + s3 kullanarak ne kaybederim?

Rsync ile kaynak dosyaları yedekleme dosyalarınızla karşılaştırdığınızı bildiğiniz gerçeğini kaybedersiniz. İkili kopya ve diğer klonlarla, kaynak dosyalarınızı yedekleme gerçekleştirildiğinde alınan karma ile karşılaştırırsınız. Örneğin, S3'e doğrudan erişmek ve karmasını yeniden hesaplamadan veya karma veritabanını güncellemeden dosyalarından birini değiştirmek mümkün olabilir.

Bu başlıkta belirtilen birçok seçeneği karşılaştırdıktan sonra S3fs için gitmeye karar verdim. S3'ü yerel bir dosya sistemi olarak bağlamanıza izin verir. Daha sonra devam edebilir ve bildiğiniz gibi rsync kullanabilirsiniz.

Bu başlamak için iyi bir öğretici: Amazon S3 ile Rsync

Yazar daha önce belirtilen s3sync'i kullandı, ancak daha sonra S3F'ler ile seçeneğe geçti. Ayrıca, SSHFS aracılığıyla yerel olarak bağlanmış başka yedekleme klasörlerine de sahibim.