oldukça benzer dosyaların depolanması için farklılıklar?

İş yerinde mysql veritabanlarımızın her gece dökümü yapılır. Günden güne, verinin% 90-95'ine yakın olanının zaman geçtikçe arttığını tahmin ediyorum. (Heck bu noktada bazıları muhtemelen% 99'dur)

Bu dökümler, bir satırın tek bir mysql INSERT ifadesi olduğu yerdir, bu nedenle tek farklar tüm satırlar ve dosyadaki sıralamasıdır. Onları sıralarsam, dosyadan dosyaya gerçek fark çok küçük olurdu.

Bakıyordum ve çıktıyı dökümü sıralamak için herhangi bir yol bulamadım. sortYine de komuttan geçebilirim . Sonra özdeş çizgilerin uzun, uzun blokları olurdu.

Bu yüzden sadece farkları depolamak için bir yol bulmaya çalışıyorum. Bir usta dökümü ile başlayabilirim ve her gece buna karşı farklı olabilirim. Ama farklar her gece daha büyük olurdu. Ya da, bireysel olarak çok küçük olacak olan haddeleme farkları yapabilirim, ancak her gece tüm serinin bir ana farkını bir araya getirmek zorunda kalsam hesaplamak daha uzun ve uzun sürecek gibi görünüyor.

Bu uygulanabilir mi? Hangi araçlarla?

Düzenle mysql yedeklemelerini nasıl yapacağımı sormuyorum. Şu an için mysql unutun. Kırmızı bir ringa balığı. Bilmek istediğim, bir dizi dosyadan bir dizi yuvarlama farkının nasıl yapılacağıdır. Her gece, önceki dosyaya % 99 benzer bir dosya ( mysqldump dosyası olur) alırız . Evet, hepsini gzip ediyoruz. Ancak tüm bu yedekliliği ilk etapta yapmak gereksizdir. Gerçekten ihtiyacım olan önceki gece farkları ... önceki gece sadece% 1 farklı ... vb. Ben sonra bir dizi diffs nasıl yapılır bu yüzden her gece sadece% 1 depolamak gerekir.

İkili diffs saklayabilir İki yedekleme araçlardır rdiff-yedekleme ve iki yüzlülük . Her ikisi de dayanmaktadır librsync, ancak bunun üstünde oldukça farklı davranırlar. Rdiff-backup en son kopya ve ters farkları saklarken, yineleme geleneksel artımlı farkları saklar. İki araç ayrıca farklı bir dizi çevresel özellik sunar.

Son zamanlarda git veritabanı dökümü saklamak çalışıyorum. Veritabanı dökümleriniz gerçekten büyükse bu pratik olmayabilir, ancak benim için ufacık veritabanları (Wordpress siteleri ve benzeri) için çalıştı.

Yedek komut dosyam kabaca:

cd /where/I/keep/backups && \
mysqldump > backup.sql && \
git commit -q -m "db dump `date '+%F-%T'`" backup.sql

Böyle bir şey yapabilirsiniz ( a.sqlhaftalık yedeklemenizle birlikte).

mysqldump > b.sql
diff a.sql b.sql > a1.diff
scp a1.diff backupserver:~/backup/

Fark dosyalarınız hafta sonuna kadar büyüyecek.

Benim önerim olsa sadece gzip ( gzip -9maksimum sıkıştırma için kullanın ). Bunu şu anda yapıyoruz ve orijinal 639MB iken 59MB'lık bir gz dosyası kullanıyoruz.

Veritabanı dökümlerinin boyutuna ve gerçek metin benzerliğine bağlı olarak, takip edebileceğiniz birkaç olası yaklaşım vardır:

1. değiştirilmemiş dökümlerde restic ( https://restic.net/ ) veya borgbackup ( https://borgbackup.readthedocs.io/ ) gibi OP istekleri olarak yuvarlanan bir sağlama toplamı kullanan bir tekilleştirici yedekleme programı uygulayın . Her iki sistem de FUSE aracılığıyla belirli bir yedekleme sürümünün bile monte edilmesine izin verir ve sonsuza kadar artan bir şekilde çalışır.
2. Veritabanı yapısını içerikten ayırın, NCBI adamlarının oldukça büyük genetik veri tabanları için yaptığı gibi. Yani: veritabanı şeması oluşturmak için SQL komut dosyaları (örn. Ftp://ftp.ncbi.nlm.nih.gov/snp/organisms/human_9606_b151_GRCh38p7/database/organism_schema/ gibi ) oluşturmak ve tabloların içeriğini ayrı ayrı depolamak ekleme metni içermeyen açık metin veya sıkıştırılmış ikili biçim ( ftp://ftp.ncbi.nlm.nih.gov/snp/organisms/human_9606_b151_GRCh38p7/database/organism_data/) örneğin sekme veya virgülle ayrılmış değerler olarak. Tabii ki, verileri veri tabanına geri almak, yani yedeklemeden geri yüklemek için tam zamanında ekleme deyimleri oluşturacak ayrı bir içe aktarma rutini gerektirir. DBMS'nizin bir csv dosyası ithalatçısı sunması durumunda, yukarıdaki ek komut dosyasının gereksinimi göz ardı edilebilir. Böylece büzülmüş metin dosyaları tekrar yukarıda belirtilen veya rdiff-backup gibi diğer düzenli yedekleme programlarına beslenebilir.
3. WEKA'nın kullandığı gibi yapı ve içeriğin arff dosyaları gibi bir format kullanarak gevşek bir şekilde birleştirildiği bir çözüm seçin ( https://www.cs.waikato.ac.nz/ml/weka/arff.html ): Yapı ve veri türleri sütunlar dosya başlığında bildirilecek ve ardından gerçek içerik bir kez daha csv benzeri bir biçimde bir @DATA deyimi ile ayrılmış olacaktır. Günümüzde birçok ETL aracı, bir veri tabanı konektörüne ek olarak bir arff okuyucu sunmaktadır. Dosyaların kendileri tekrar düzenli yedekleme programlarına beslenebilir

(Bunu üretimde yapmadım.)

Günde veya haftada bir kez tam yedekleme yapın. Yedek röle günlükleri saatte veya günde bir kez kaydeder.