Buyuk masa
Yapısal Veriler için Dağıtılmış Depolama Sistemi
Bigtable, çok büyük bir boyuta ölçeklenmek üzere tasarlanmış yapılandırılmış verileri yönetmek için dağıtılmış bir depolama sistemidir (Google tarafından oluşturulmuştur): binlerce emtia sunucusundaki petabayt veri.
Google'daki birçok proje, web dizini oluşturma, Google Earth ve Google Finans dahil olmak üzere verileri Bigtable'da depolar. Bu uygulamalar, hem veri boyutu (URL'lerden web sayfalarına uydu görüntülerine kadar) hem de gecikme gereksinimleri (arka uç toplu işlemeden gerçek zamanlı veri sunumuna) açısından Bigtable'a çok farklı talepler getiriyor.
Bu çeşitli taleplere rağmen, Bigtable tüm bu Google ürünleri için başarılı bir şekilde esnek ve yüksek performanslı bir çözüm sağlamıştır.
Bazı özellikler
- hızlı ve son derece büyük ölçekli DBMS
- hem sıra hem de sütun yönelimli veritabanlarının özelliklerini paylaşan seyrek, dağıtılmış çok boyutlu sıralanmış bir harita.
- petabayt aralığına ölçeklendirmek için tasarlanmıştır
- yüzlerce veya binlerce makinede çalışır
- sisteme daha fazla makine eklemek kolaydır ve yeniden yapılandırılmadan otomatik olarak bu kaynaklardan yararlanmaya başlar
- her tablonun birden fazla boyutu vardır (bunlardan biri zaman için alan, sürüm oluşturmaya izin verir)
- tablolar birden çok tablete bölünerek GFS (Google Dosya Sistemi) için optimize edilmiştir - tablonun bölümleri, tabletin boyutu yaklaşık 200 megabayt olacak şekilde seçilen bir satır boyunca bölünür.
Mimari
BigTable ilişkisel bir veritabanı değildir. Birleştirmeleri veya zengin SQL benzeri sorguları desteklemez. Her tablo çok boyutlu seyrek bir haritadır. Tablolar satır ve sütunlardan oluşur ve her hücrenin bir zaman damgası vardır. Farklı zaman damgalarına sahip bir hücrenin birden fazla sürümü olabilir. Zaman damgası, "bu Web sayfasının 'n' sürümlerini seçin" veya "belirli bir tarih / saatten daha eski hücreleri sil" gibi işlemlere izin verir.
Büyük tabloları yönetmek için Bigtable tabloları satır sınırlarına böler ve tablet olarak kaydeder. Bir tablet yaklaşık 200 MB'dir ve her makine yaklaşık 100 tablet kaydeder. Bu kurulum, tek bir tablodaki tabletlerin birçok sunucu arasında yayılmasını sağlar. Aynı zamanda ince taneli yük dengelemesine de izin verir. Bir tablo çok fazla sorgu alıyorsa, diğer tabletleri tutabilir veya meşgul tablosunu o kadar meşgul olmayan başka bir makineye taşıyabilir. Ayrıca, bir makine kapanırsa, bir tablet diğer birçok sunucuya dağıtılabilir, böylece belirli bir makine üzerindeki performans etkisi minimum olur.
Tablolar değişmez SSTables ve kütük kuyruğu (makine başına bir kütük) olarak saklanır. Bir makinenin sistem belleği bittiğinde, Google'a özel sıkıştırma teknikleri (BMDiff ve Zippy) kullanarak bazı tabletleri sıkıştırır. Küçük işlemler yalnızca birkaç tablet içerirken, büyük işlemler tüm tablo sistemini içerir ve sabit disk alanını kurtarır.
Bigtable tabletlerinin yerleri hücrelerde saklanır. Herhangi bir tabletin aranması üç katmanlı bir sistem tarafından gerçekleştirilir. Müşteriler sadece bir tane olan bir META0 tablosuna işaret ederler. META0 tablosu, aranan tabletlerin yerlerini içeren birçok META1 tabletini takip eder. Hem META0 hem de META1, sistemdeki darboğazları en aza indirmek için ön getirme ve önbelleğe alma işlemlerinden yoğun şekilde yararlanır.
uygulama
BigTable, günlük ve veri dosyaları için bir destek deposu olarak kullanılan Google Dosya Sistemi (GFS) üzerine kurulmuştur . GFS, tablo verilerini sürdürmek için kullanılan Google'a özel bir dosya biçimi olan SSTables için güvenilir depolama alanı sağlar.
BigTable'ın yoğun şekilde kullandığı bir diğer hizmet de , yüksek oranda erişilebilir, güvenilir dağıtılmış bir kilit hizmeti olan Chubby'dir . Chubby, istemcilerin bir kilit almasına izin verir, muhtemelen bazı meta verilerle ilişkilendirir ve canlı mesajlarını Chubby'ye geri göndererek yenileyebilir. Kilitler, dosya sistemi benzeri bir hiyerarşik adlandırma yapısında saklanır.
Bigtable sisteminde üç ana sunucu türü vardır :
- Ana sunucular: tabletleri tablet sunucularına atayın, tabletlerin nerede bulunduğunu izler ve görevleri gerektiği gibi yeniden dağıtır.
- Tablet sunucuları: boyut sınırlarını (genellikle 100 MB - 200 MB) aştıklarında tabletler ve bölünmüş tabletler için okuma / yazma isteklerini işleme. Bir tablet sunucusu arızalanırsa, her biri 1 yeni tablet toplayan 100 tablet sunucusu ve sistem kurtarır.
- Kilit sunucuları: Chubby dağıtılmış kilit hizmetinin örnekleri. BigTable'daki birçok eylem, yazma için tabletleri açmak, aynı anda birden fazla etkin Ana öğenin olmamasını ve erişim kontrolü denetimini de içeren kilitlerin edinilmesini gerektirir.
Google'ın araştırma belgesinden bir örnek:
Web sayfalarını depolayan örnek bir tablonun bir dilimi. Satır adı,
tersine çevrilmiş bir URL'dir . İçindekiler sütun ailesi sayfa içeriğini içerir ve tutturucu sütun ailesi , sayfaya başvuran tüm tutturucuların
metnini içerir . CNN'in ana sayfasına hem Sports Illustrated hem de MY-look ana sayfaları referans verir, bu nedenle satır anchor:cnnsi.comve
adında sütunlar içerir
anchor:my.look.ca. Her çapa hücresinin bir sürümü vardır ; içindekiler sütun vardır üç versiyonu damgaları de
t3, t5ve t6.
API
BigTable'a tipik işlemler, tablo ve sütun ailelerinin oluşturulması ve silinmesi, veri yazılması ve bir satırdan sütunların silinmesidir. BigTable bu işlevleri bir API'deki uygulama geliştiricilerine sağlar. İşlemler satır düzeyinde desteklenir, ancak birkaç satır tuşunda desteklenmez.
İşte araştırma belgesinin PDF'sine link .
Burada , Washington Üniversitesi'ndeki bir konferansta Google'ın Jeff Dean'ini gösteren ve Google'ın arka ucunda kullanılan Bigtable içerik depolama sistemini tartışan bir video bulabilirsiniz .
