Yüksek alım oranlarına sahip hizmetler, yeterli sabit diski yeterince hızlı nasıl kurar?

Amazon, Facebook ve Google, günlük PB'ler olmasa da TB'leri almalıdır; bu, düzenli bir sunucu oluşturabileceğiniz şekilde sürekli olarak yeni sabit diskleri ve kabloları yeni raflara taktıkları anlamına gelir mi, yoksa farklı bir teknoloji kullanılıyor mu? toplu olarak sürücüleri bağlamak için?

Bunlardan herhangi birinin gerçekten bir sunucuya donanım kurup kurmadığını bilmiyorum. Geri içinde 2008 MS mühürlü ve onlar sadece bir kamyon ve fiş güç / ağ bağlantılarından boşaltma gerektiğini sunucuların konteynerleri nakliye önceden kablolu teslim sunucularını alarak, veri merkezlerini inşa etmeye başladı. 08 yapısı, en yeni veri merkezleri için geleneksel bir konteyner karışımı ve geleneksel olsa da, hava koşullarına dayanıklı ve ayrı binaların içine yerleştirilmesi gerekmeyen özel bir prefabrik tasarıma geçti.

Hem HP hem de IBM , dağıtmak için yalnızca güç / veri bağlantılarına ihtiyaç duyan sunucularla dolu önceden oluşturulmuş kaplarla benzer paketler satar.

Google, bu büyük veri yığınlarını depolamak için dahili olarak geliştirdikleri çeşitli teknolojilere sahiptir. Bu teknolojileri kullanarak, herhangi bir kesinti olmadan kamyon kümelerine sabit diskler ekleyebilirler, ancak evet, yine de bunu yapan insanlara ihtiyaçları var.

Google Blog'dan bildiğim kadarıyla iki ana bölüm, gerçekten büyük ölçeğe kadar ölçeklenebilen dağıtılmış bir dosya sistemi olan Google Dosya Sistemi'dir : Google Dosya Sistemi

Google Dosya Sistemi'nin üstünde bir çeşit Anahtar Değerli veritabanı olan ve aynı zamanda büyük ölçeklerde ölçeklenen Büyük Tablo var : Büyük Tablo

Yüksek kullanılabilirliği garanti etmek için her şey birçok kez gereksizdir, çoğu durumda 3 kereden fazladır.

Bu kesinlikle doğru. Bir keresinde, Facebook veri merkezlerinin ortalama bir günde sabit disklerle ve rafa monte sunucularla dolu üç traktör römorku eklediğini hatırlıyorum. Tabii ki, depolamayı ölçeklenebilir ve yedek yapmak için karmaşık şemalara sahiptirler. Örneğin Google'ın GFS'si var . Facebook'un her biri iki Wal-Marts'tan daha büyük ve mevcut merkezlerinden dört kat daha büyük bir planlanan yeni bir veri merkezi var.

4 raf ünitesine 180 TB disk sığabilecek yeni nesil Açık Hesaplama depolama çözümleriyle, PB gerçekten büyük bir alan değildir: günde 1PB eklemek, bu tür sunucuları günde 5 adet raflamak anlamına gelir, büyük bir sorun değil. Daha da iyisi, bunlar yaklaşık 10 bin dolar olabilir, bu da TB başına 60 dolardan daha az ödediğiniz anlamına gelir.

Yani evet, teknoloji hepimizi bankayı kırmayan bir fiyata yapmak için kullanılabilir.

Ancak, daha büyük şirketlerin her zaman daha iyi bir anlaşma sağladığını ve çok miktarda depolama alanı satın almak için büyük sözleşmeler imzaladığını unutmayın. Yıl boyunca küçük gönderiler alabilirler, ancak bir seferde sadece 1PP sipariş ettikleri gibi değil.

İşte BackBlaze'den bunu nasıl yaptıklarıyla ilgili ilginç bir blog yazısı (muhtemelen Google veya Facebook kadar disklere ihtiyaç duymuyorlar, ancak yine de bir lt) ve Tayland'da sabit disk oluşturan seller olduğunda ne yapmaları gerekiyor? pahalı ve daha zor:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/