Çok büyük klasör yapılarını senkronize etme

İntranetimizde yaklaşık 4.000 klasöre bölünmüş yaklaşık 800.000 dosya içeren bir klasör yapımız var. Bunu DMZ'lerimizdeki küçük bir makine kümesiyle senkronize etmemiz gerekiyor. Yapının derinliği çok sığdır (asla iki seviyeyi geçmez).

Dosyaların çoğu asla değişmez, her gün birkaç bin güncellenmiş dosya ve 1-2 bin yeni dosya vardır. Veriler, kaynak verilerin temizlendiği yerde tutulan geçmiş raporlama verileridir (yani bunlar, kaynak verilerin arşivlediğimiz ve sildiğimiz için yeterince eski olduğu kesinleşmiş raporlardır). Makul bir zaman dilimi içinde olabileceği göz önüne alındığında, günde bir kez senkronizasyon yeterlidir. Raporlar bir gecede oluşturulur ve sabah ilk iş zamanlanmış bir görev olarak senkronize edilir.

Açıkçası, bu kadar az dosya düzenli olarak değiştiğinden, artımlı kopyadan büyük ölçüde yararlanabiliriz. Rsync'i denedik, ancak bu "bina dosyası listesi" işlemini tamamlamak sekiz ila on iki saat kadar sürebilir . Rsync'in yapabildiklerini hızla büyüttüğümüz açıktır (12 saatlik zaman dilimi çok uzun).

Yapıları senkronize etmek için RepliWeb adlı başka bir araç kullanıyorduk ve yaklaşık 45 dakika içinde artımlı bir transfer yapabilir. Bununla birlikte, sınırını aştığımız görülüyor, dosyaların silinmediklerinde sildiğini görmeye başladı (belki de bazı dahili bellek yapısı tükendi, emin değiliz).

Bu türden büyük ölçekli bir senkronizasyon projesinde başka biri var mı? Senkronizasyon için böyle büyük dosya yapılarını işlemek üzere tasarlanmış bir şey var mı?

Dosya sisteminin son değiştirilen zaman damgalarına güvenebiliyorsanız, Rsync'i UNIX / Linux 'find' yardımcı programıyla birleştirerek işleri hızlandırabilirsiniz. 'find', son gün içinde son değiştirilme zamanlarını gösteren tüm dosyaların bir listesini oluşturabilir ve YALNIZCA dosya / dizin listesini kısaltılmış olarak Rsync'e bağlayabilir. Bu, Rsync'in göndericideki her bir dosyanın meta verilerini uzak sunucu ile karşılaştırmasını sağlamaktan çok daha hızlıdır.

Kısacası, aşağıdaki komut SADECE son 24 saat içinde değişen dosya ve dizinler listesinde Rsync'i yürütür: (Rsync diğer dosyaları / dizinleri kontrol etmek için ZORLAYMAZ.)

find /local/data/path/ -mindepth 1 -ctime -0 -print0 | xargs -0 -n 1 -I {} -- rsync -a {} remote.host:/remote/data/path/.

'Bul' komutunu bilmiyorsanız, belirttiğiniz ölçütleri karşılayan dosyaları ve / veya dizinleri arayarak belirli bir dizin alt ağacı aracılığıyla geri çekilir. Örneğin, bu komut:

find . -name '\.svn' -type d -ctime -0 -print

geçerli dizinde (".") başlayacak ve tüm alt dizinleri arayacak ve şunları arayacaktır:

• herhangi bir dizin ("-type d"),
• ".svn" ("-name '.svn'") adlı,
• meta veriler son 24 saat içinde değiştirildi ("-ctime -0").

Standart çıktıda bu ölçütlerle eşleşen her şeyin tam yol adını ("-print") yazdırır. '-Name', '-type' ve '-ctime' seçeneklerine "testler" ve '-print' seçeneğine "eylem" denir. 'Find' için kılavuz sayfasında testlerin ve eylemlerin tam bir listesi bulunur.

Gerçekten akıllı olmak istiyorsanız, bu işlemi hataya dayanıklı ve esnek hale getirmek için '-ctime' yerine 'find' komutunun '-cnewer' testini kullanabilirsiniz. '-cnewer', ağaçtaki her dosya / dizinin meta verilerinin bazı referans dosyalarından daha yakın zamanda değiştirilip değiştirilmediğini test eder. 'Bul' önce NEXT run'ın başvuru dosyasını her çalıştırma başında, 'bul ...' hemen oluşturmak için 'touch' kullanın. rsync ... 'komutu yürütülür. İşte temel uygulama:

#!/bin/sh
curr_ref_file=`ls /var/run/last_rsync_run.*`
next_ref_file="/var/run/last_rsync_run.$RANDOM"
touch $next_ref_file
find /local/data/path/ -mindepth 1 -cnewer $curr_ref_file -print0 | xargs -0 -n 1 -I {} -- rsync -a {} remote.host:/remote/data/path/.
rm -f $curr_ref_file

Bu komut dosyası son çalıştırmanın ne zaman yapıldığını otomatik olarak bilir ve yalnızca son çalıştırmadan bu yana değiştirilen dosyaları aktarır. Bu daha karmaşık olsa da, çalışmama süresini veya başka bir hata nedeniyle işi 24 saatten fazla kaçırmış olabileceğiniz durumlara karşı sizi korur.

Unison'u deneyin , değişiklik listelerini (bina listesi listesi), her sunucuya yerel olarak tutarak, delta hesaplamak için zamanı hızlandırarak ve daha sonra kablo üzerinden gönderilen miktarı azaltarak bu sorunu çözmek için özel olarak tasarlanmıştır.

http://oss.linbit.com/csync2/ bu tür şeyler için tasarlanmıştır, bunu denerdim.

Rsync'de -z anahtarını kullanıyorsanız, onsuz çalıştırmayı deneyin. Bazı nedenlerden dolayı, dosyaların ilk numaralandırılmasını bile hızlandırdığını gördüm.

Sıkıştırma olmayan rsync komutunun -z komutunun çıkarılması, "alıcı dosya listesi" nin çok daha hızlı gitmesini sağladı ve yaklaşık 500 GB aktarmamız gerekiyordu. -Z anahtarı ile bir gün sürmeden önce.