Cihazların Fiber Kanal kumaşına doğru yerleştirilmesi


10

Fiber kanal kumaşımız için bir çift yeni 8Gb anahtar alıyoruz. Birincil veri merkezimizdeki bağlantı noktalarımız tükendiğinden bu iyi bir şeydir ve iki veri merkezimiz arasında en az bir 8Gb ISL'nin çalışmasına izin verecektir.

İki veri merkezimiz fiber ilerledikçe yaklaşık 3.2 km uzaklıktadır. Birkaç yıldır sağlam 4Gb hizmeti alıyoruz ve 8Gb'yi de sürdürebileceğine dair umutlarım var.

Şu anda bu yeni anahtarları kabul etmek için kumaşımızı nasıl yeniden yapılandıracağımı anlıyorum. Nedeniyle maliyet kararlarına birkaç yıl biz edilir önce değil tamamen ayrı çift döngü kumaş çalışan. Tam yedekliliğin maliyeti, bir anahtar arızasının beklenmedik arıza sürelerinden daha pahalı olarak görülüyordu. Bu karar zamanımdan önce verildi ve o zamandan beri işler pek gelişmedi.

Bu fırsatı, bir anahtar arızası (veya FabricOS yükseltmesi) karşısında kumaşımızı daha esnek hale getirmek için kullanmak istiyorum.

İşte bir düzen için ne düşündüğümün bir diyagramı. Mavi öğeler yeni, kırmızı öğeler (yeniden) taşınacak mevcut bağlantılardır.

FibreCannel digramı
(kaynak: sysadmin1138.net )

Kırmızı oklu çizgi geçerli ISL anahtar bağlantısıdır, her iki ISL de aynı anahtardan gelmektedir. EVA6100 şu anda ISL'ye sahip 16/4 anahtarların ikisine de bağlı. Yeni anahtarlar, uzak mesafeli DC'de iki anahtar bulundurmamızı sağlayacak, uzun menzilli ISL'lerden bazıları yeni anahtara geçiyor.

Bunun avantajı, her anahtarın başka bir anahtardan 2 atlamadan fazla olmaması ve EVA-çoğaltma ilişkisinde olacak iki EVA4400'ün birbirinden 1 atlama olmasıdır. Grafikteki EVA6100, muhtemelen başka bir EVA4400 ile değiştirilecek daha eski bir cihazdır.

Grafiğin alt yarısı, sunucularımızın çoğunun bulunduğu yerdir ve kesin yerleşim hakkında bazı endişelerim var. Oraya ne gerekiyor:

  • 10 VMWare ESX4.1 ana bilgisayar
    • EVA6100'deki kaynaklara erişir
  • 4 Tek bir başarısızlık kümesindeki Windows Server 2008 sunucuları (dosya sunucusu kümesi)
    • Hem EVA6100 hem de uzak EVA4400 üzerindeki kaynaklara erişir
  • 2 İkinci bir devir kümesinde Windows Server 2008 sunucuları (Blackboard içeriği)
    • EVA6100'deki kaynaklara erişir
  • 2 MS-SQL veritabanı sunucusu
    • EVA6100'deki kaynaklara erişir ve gecelik DB dışa aktarma EVA4400'e gider
  • 1 LTO4 teyp sürücüsüne sahip 1 LTO4 teyp kitaplığı. Her sürücü kendi fiber portunu alır.
    • Yedekleme sunucuları (bu listede değil) onlara biriktirir

Şu anda ESX kümesi, VM'leri alan için kapatmaya başlamadan önce 3'e, belki 4'e kadar tolere edebilir. Mutlu bir şekilde, her şey MPIO açık.

Mevcut 4Gb ISL bağlantıları, fark ettiğim doygunluğa yaklaşmadı. Bu iki EVA4400'ün kopyalanmasıyla değişebilir, ancak ISL'lerden en az biri 8Gb olacaktır. Performansa baktığımda EVA4400-A'dan çıkıyorum Çoğaltma trafiğinde bile 4Gb hattını geçmekte zorlanacağımızdan çok eminim.

4 düğümlü dosya sunma kümesinde SAN1SW4'te iki düğüm ve SAN1SW1'de iki düğüm olabilir, bu da her iki depolama dizisini de bir adım attıracaktır.

10 ESX düğümü biraz kafa karıştırıcıyım. Üçü SAN1SW4, üçü SAN1SW2 ve dörtü SAN1SW1 üzerinde bir seçenektir ve mizanpajla ilgili diğer fikirleri duymakla çok ilgilenirim. Bunların çoğunda çift bağlantı noktalı FC kartları var, bu yüzden birkaç düğümü iki kez çalıştırabilirim. Hepsi değil , tek bir anahtarın her şeyi öldürmeden başarısız olmasına izin vermek için yeterli.

İki MS-SQL kutusunun SAN1SW3 ve SAN1SW2'yi kullanmaları gerekir, çünkü birincil depolarına yakın olmaları gerekir ve db-export performansı daha az önemlidir.

LTO4 sürücüler şu anda SW2'de ve ana flamalarından 2 atlamada, bu yüzden bunun nasıl çalıştığını zaten biliyorum. Bunlar SW2 ve SW3'te kalabilir.

Grafiğin alt yarısını tamamen bağlı bir topoloji yapmamayı tercih ediyorum çünkü kullanılabilir port sayımızı 66'dan 62'ye düşürecek ve SAN1SW1% 25 ISL'ler olacak. Ama bu şiddetle tavsiye edilirse o rotaya gidebilirim.


Güncelleme: Yararlı olacak bazı performans numaraları. Onlara sahiptim, sadece bu tür bir sorun için yararlı olduklarını aradım.

Yukarıdaki grafikteki EVA4400-A aşağıdakileri yapar:

  • İş günü boyunca:
    • Dosya sunucusu kümesi ShadowCopy anlık görüntüleri sırasında (yaklaşık 15-30 saniye sürer) I / O ops ortalama 1000'in altında 4500'e yükselir.
    • MB / s, ShadowCopies sırasında 70 MB ve 200 MB'a kadar çıkıntılarla genellikle 10-30MB aralığında kalır.
  • Gece boyunca (yedeklemeler) gerçekten hızlı pedal çevirdiği zamandır:
    • I / O ops ortalama 1500 civarındadır ve DB yedeklemeleri sırasında 5500'e kadar yükselir.
    • MB / s çok değişir, ancak birkaç saat boyunca yaklaşık 100MB çalışır ve SQL dışa aktarma işlemi sırasında etkileyici bir 300MB / s'yi 15 dakika pompalar.

EVA6100, ESX kümesi, MSSQL ve tüm Exchange 2007 ortamına ev sahipliği yaptığı için çok daha meşgul.

  • Gün boyunca I / O ops ortalama yaklaşık 2000 (yaklaşık daha fazla veritabanı işlemleri) kadar sık ​​sık ani ve ortalama 20-50MB / s arasında MB / s ile yaklaşık 2000. MB / s, dosya sunma kümesindeki ShadowCopy anlık görüntüleri sırasında (~ 240MB / s) gerçekleşir ve bir dakikadan az sürer.
  • Gece 01:00 ile 05:00 arasında çalışan Exchange Online Defrag, I / O Ops hattını 7800'de (bu sayıda iğ ile rastgele erişim için kanat hızına yakın) ve 70 MB / sn pompalar.

Herhangi bir öneriniz için teşekkür ederiz.


Kaç tane sistem kullanacağınızı biliyor musunuz? "Tipik" departman Oracle tabanlı bir sistem için ~ 20Mbps görüyoruz.
Simon Catlin

@Simon Oracle içeriklerimiz tamamen başka bir ortamda. Şu anda 6 sunucu uzun menzilli ISL'lerde konuşuyor, bunlardan sadece 4 tanesi sürekli yapıyor; diğer ikisi günde 1-2 kez büyük patlamalar yaparlar. Bu EVA'nın verimi, normal yedeklemeler sırasında 150MB'a kadar piklerle ve SQL dışa aktarma sırasında 320MB'a kadar (yaklaşık 15 dakika sürer) ortalama 15-30MBps'dir.
sysadmin1138

Yanıtlar:


6

gecikme için üzgünüm.

Neye ve neye ulaşmak istediğinize bir göz attım, birkaç düşüncem vardı, önce güzel bir resim ...

alternatif metin

  • Şu anda siteler arasında 8Gbps bağlantı kullanmanın bir anlamı yok - bunun nedeni, uzak 4400'deki 4Gbps bağlantı noktaları ile kısıtlanmış olmanız, zaten istikrarlı bir 4Gbps'ye sahip olmanız artı mevcut bant genişliği gerçek kullanım gereksiniminden çok daha yüksek - bugün, 24x8 anahtarlardan birini oraya atmak israf gibi görünüyor. Uzak sitedeki 16x4Gb anahtarlarından ikisini kullanırdım.
  • Ana 'çekirdek' anahtarlarınız olarak yeni 24x8 anahtarları kullanmak cazip olurdu - trafiğinizin çoğu sunucudan 6100'e ve yeni kutu çok daha hızlı olacak. Bu şekilde, yeni anahtar daha büyük arabelleklere ve daha düşük gecikmeye sahip olduğundan, küçük, küçük performans performansları görmelisiniz, ayrıca 6100'ü takas ettiğinizde olduğu gibi hangi sunucuları istediğiniz zaman ve 8 Gb'ye taşıyacağınızı seçebilirsiniz. 4600'lerin yerel 8Gb portları var ama bu henüz resmi değil;)).
  • Daha sonra tasarımın iki seçeneğimiz olduğu bir bölüme giriyoruz; iki 16x4Gb 'orta anahtarı' saklamak veya atmak için - tamamen port sayısına göre. Temel olarak 24x8 anahtarları temel kutular olarak kullandıysanız, yalnızca 3 yedek portunuz vardır (18 sunucu için 18, artı 6100'e 2 ve kullanılan 21'e eşit bir ISL bağlantısı kullanacağınız için). Sen couldyerel 4400'ü 24x8 anahtarlarına bağlayın, bant sürücüleriniz için tam olarak 1 bağlantı noktası bırakın, ancak bu sizi sıfır boş bağlantı noktasına bırakır. Yapmak isteyeceğim şey, iki 16x4Gb 'orta anahtarı' yerel 4400 ve teyp sürücülerini işlemek için ikincil yerel anahtarlar olarak kullanmak ya da dilerseniz site içi ISL bağlantılarını işlemek - muhtemelen bağlantı noktalarınız olsa da 24x8Gb anahtarlarında ücretsiz olarak isterseniz doğrudan oradan yapabilirsiniz - Ben gerçekten çok benzer oldukları için her ikisini de göstermedim.

Bu benim düşüncelerim - her yerde yapılması gereken ince ayarlar var ama genel fikirlerim var - herhangi bir açıklama ile bana geri dönmekten çekinmeyin.


Bütçe Ghods istekli, umuyoruz 6100 değiştirmek için etrafında almak zaman biz de uzak sitede birkaç ESX sunucuları koymak mümkün olacak. Ben 6100 sonrası dizi uzak sitede bir çoğaltma ortağı olduğunu fark güçler beklemek mükemmel mutluyum ve şey olduğunu ve 8Gb siteler arası ISL için bu proje kadar bekleyin. İşe geri döndüğümde, bu yeni ESX kutularının 6100 yerine ne kadar olası olduğunu insanlarla konuşmam gerekiyor.
sysadmin1138

1
Kahve içip düşündükten sonra bazı yorumlarım var. Hedeflerimden biri anahtar arızalarını (veya yeniden başlatmayı) ele almakta daha iyi olmaktır, bu olduğunda doğrusal topo kırılır. Birkaç ISL bunu düzeltir. 24 / 8'leri tek bir sitede tutmak çok iyi bir fikir. Lezzetli 4600.
sysadmin1138
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.