Google Cloud Bigtable - Google Cloud Datastore

Google Cloud Bigtable ile Google Cloud Datastore / App Engine veri deposu arasındaki fark nedir ve temel pratik avantajlar / dezavantajlar nelerdir? AFAIK Cloud Datastore, Bigtable'ın üzerine inşa edilmiştir.

Datastore deneyimine ve Bigtable belgelerini okumaya dayalı olarak ana farklar şunlardır:

• Bigtable başlangıçta HBase uyumluluğu için tasarlanmıştı, ancak şimdi birden çok dilde istemci kitaplıkları var . Datastore aslında daha çok Python / Java / Go web uygulaması geliştiricilerine (orijinal olarak App Engine) yönelikti
• Bigtable, Datastore'dan "biraz daha IaaS", çünkü "sadece orada" değil, yapılandırılması için bir küme gerektiriyor .
• Bigtable yalnızca bir dizini destekler - "satır anahtarı" (Datastore'daki varlık anahtarı)
  • Bu, Datastore'un dizine eklenen özelliklerinden farklı olarak sorguların Anahtar üzerinde olduğu anlamına gelir
• Bigtable, atomikliği yalnızca tek bir satırda destekler - işlem yoktur
• Bigtable'da mutasyonlar ve silinmeler atomik görünmüyor, Datastore ise okuma / sorgulama yöntemine bağlı olarak nihai ve güçlü tutarlılık sağlıyor.
• Faturalandırma modeli çok farklıdır:
  • Datastore okuma / yazma işlemleri, depolama ve bant genişliği için ücret alır
  • 'Düğümler' , depolama ve bant genişliği için Bigtable ücretleri

Bigtable, yüksek hacimli veri ve analitik için optimize edilmiştir

• Cloud Bigtable , verileri bölgeler veya bölgeler arasında çoğaltmaz (tek bir küme içindeki veriler çoğaltılır ve dayanıklıdır); bu, Bigtable'ın daha hızlı ve daha verimli olduğu ve maliyetlerin çok daha düşük olduğu, ancak daha az dayanıklı olduğu ve varsayılan yapılandırmada mevcut olduğu anlamına gelir.
• HBase API'yi kullanır - kilitlenme riski veya öğrenilecek yeni paradigmalar yoktur
• Açık kaynaklı Büyük Veri araçlarıyla entegredir, yani Bigtable'da depolanan verileri müşterilerin kullandığı çoğu analitik araçta (Hadoop, Spark, vb.)
• Bigtable, tek bir Satır Anahtarı tarafından dizine eklenir
• Bigtable tek bir bölgede

Cloud Bigtable, genellikle karmaşık arka uç iş yükleriyle daha büyük veri ihtiyaçları olan daha büyük şirketler ve kuruluşlar için tasarlanmıştır.

Datastore, uygulamalara yüksek değerli işlem verileri sunmak için optimize edilmiştir

• Cloud Datastore , çoğaltma ve veri senkronizasyonuyla son derece yüksek kullanılabilirliğe sahiptir
• Datastore, çok yönlülüğü ve yüksek kullanılabilirliği nedeniyle daha pahalıdır
• Veri deposu, eşzamanlı çoğaltma nedeniyle verileri daha yavaş yazıyor
• Datastore, işlemler ve sorgular etrafında çok daha iyi işlevselliğe sahiptir (ikincil dizinler mevcut olduğundan)

Bigtable ve Datastore son derece farklı. Evet, veri deposu Bigtable'ın üzerine inşa edilmiştir, ancak bu onu böyle bir şey yapmaz. Bu, bir arabanın tekerleklerin üzerine yapıldığını söylemek gibidir ve bu nedenle bir araba tekerleklerden çok da farklı değildir.

Bigtable ve Datastore, verilerin nasıl değiştirildiği konusunda çok farklı veri modelleri ve çok farklı anlamlar sağlar.

Temel fark, Datastore'un varlık grupları olarak bilinen verilerin alt kümelerinde SQL-veritabanı benzeri ACID işlemleri sağlamasıdır (GQL sorgu dili SQL'den çok daha kısıtlayıcıdır). Bigtable kesinlikle NoSQL'dir ve çok daha zayıf garantilerle birlikte gelir.

Gazeteleri okursanız, BigTable olan bu ve Datastore olduğunu Megastore . Datastore, BigTable'ın yanı sıra çoğaltma, işlem ve dizindir. (ve çok daha pahalıdır).

Yukarıdaki tüm cevapların yanı sıra Coursea Google Cloud Platform Büyük Veri ve Makine Öğreniminin Temelleri'nde verilenleri özetlemeye çalışacağım.

+---------------------+------------------------------------------------------------------+------------------------------------------+--+
|      Category       |                             BigTable                             |                Datastore                 |  |
+---------------------+------------------------------------------------------------------+------------------------------------------+--+
| Technology          | Based on HBase(uses HBase API)                                   | Uses BigTable itself                     |  |
| ----------------    |                                                                  |                                          |  |
| Access Mataphor     | Key/Value (column-families) like Hbase                           | Persistent hashmap                       |  |
| ----------------    |                                                                  |                                          |  |
| Read                | Scan Rows                                                        | Filter Objects on property               |  |
| ----------------    |                                                                  |                                          |  |
| Write               | Put Row                                                          | Put Object                               |  |
| ----------------    |                                                                  |                                          |  |
| Update Granularity  | can't update row ( you should write a new row, can't update one) | can update attribute                     |  |
| ----------------    |                                                                  |                                          |  |
| Capacity            | Petabytes                                                        | Terbytes                                 |  |
| ----------------    |                                                                  |                                          |  |
| Index               | Index key only (you should properly design the key)              | You can index any property of the object |  |
| Usage and use cases | High throughput, scalable flatten data                           | Structured data for Google App Engine    |  |
+---------------------+------------------------------------------------------------------+------------------------------------------+--+

Bu resmi de kontrol edin:

Dikkate alınması gereken görece küçük bir nokta, Kasım 2016 itibarıyla, bigtable python istemci kitaplığı hala Alpha sürümündedir , bu da gelecekteki değişikliğin geriye dönük uyumlu olmayabileceği anlamına gelir. Ayrıca, bigtable python kitaplığı, App Engine'in standart ortamıyla uyumlu değildir. Esnek olanı kullanmalısınız.

Bu, diğer hizmetlerle birlikte Google Cloud Bigtable ve Google Cloud Datastore arasındaki başka bir temel farklar kümesi olabilir. Aşağıdaki resimde gösterilen içerik de doğru hizmeti seçmenize yardımcı olabilir.

Cloud Datastore is a highly-scalable NoSQL database for your applications.
Like Cloud Bigtable, there is no need for you to provision database instances.
Cloud Datastore uses a distributed architecture to automatically manage
scaling. Your queries scale with the size of your result set, not the size of your
data set.
Cloud Datastore runs in Google data centers, which use redundancy to
minimize impact from points of failure. Your application can still use Cloud
Datastore when the service receives a planned upgrade.

 Choose Bigtable if the data is:
Big
● Large quantities (>1 TB) of semi-structured or structured data
Fast
● Data is high throughput or rapidly changing
NoSQL
● Transactions, strong relational semantics not required
And especially if it is:
Time series
● Data is time-series or has natural semantic ordering
Big data
● You run asynchronous batch or real-time processing on the data
Machine learning
● You run machine learning algorithms on the data
Bigtable is designed to handle massive workloads at consistent low latency
and high throughput, so it's a great choice for both operational and analytical
applications, including IoT, user analytics, and financial data analysis.

Datastore, uygulamaya daha hazırdır ve özellikle mikro hizmetler için geniş bir hizmet yelpazesi için uygundur.

Datastore'un altında yatan teknoloji Big Table'dır, bu yüzden Big Table'ın daha güçlü olduğunu hayal edebilirsiniz.

Datastore günde 20K ücretsiz işlemle gelir, SIFIR maliyetle güvenilir DB'ye sahip bir sunucu barındırmayı bekleyebilirsiniz.

Bu Datastore ORM kitaplığına da göz atabilirsiniz, birçok harika özellikle birlikte gelir https://www.npmjs.com/package/ts-datastore-orm