Amazon s3 kovalı Geoserver


13

Sanal sunucumda Geoserver çalıştıran Apache var ve Geoserver veri dizininin Amazon S3 grubuna işaret edip edemeyeceğini merak ediyorum. Mümkün mü? Bu performansı nasıl etkiler?

S3, Geoserver'ın veri dizini için kötü bir kurulumsa, Geoserver veri dizinime büyük miktarda veri eklemek için herhangi bir öneriniz var mı? Veri dizini, GB'ların 100'üne kadar, muhtemelen daha fazlasına ulaşabilir. Sadece büyük bir sabit sürücüye sahip bir sunucu almalı mıyım yoksa Amazon S3 kovası gibi daha ölçeklenebilir bir çözüme mi bağlanmalıyım?


Veriler nedir? Görüntüleri sanırım, ama döşediniz mi? Belki raster kazanmak için bazı veritabanı :-)
BradHards

1
Verileriniz raster ise ve etkileşimli WMS S3 için okunacak ve işlenecekse yavaş yavaş olabilir. Geçmiş deneyimlerden ipuçları, glusterfs + EBS'ye bakmak isteyebilirsiniz.
simogeo

1
S3'ü yatay olarak elastik olarak ölçeklenebilir bir GeoServers filosu için paylaşılan bir veri grubu olarak kullanmakla ilgileniyorum. Şu anda bunun için bir dosya sistemi monte etmek için S3Fuse kullanımını araştırıyorum. Bu alandaki diğer başarıları / başarısızlıkları duymak harika olurdu.
8bitjunkie

Bu konuda deneyiminiz var mı?
geogeek

Yanıtlar:


10

Bir S3 kovasına "doğrudan" işaret etmek (örneğin, s3fs kullanmak) kötü bir fikirdir. örneğin, /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS, GeoServer'ın erişimi için verileri saklamak için neredeyse kesinlikle doğru yerdir.

100 GB, EBS standartlarına göre çok yönetilebilir. (Maksimum hacim boyutu 16 Terabayttır!)

S3 klasörünün içeriğini tek bir komutla yerel örneğinizle senkronize etmek için AWS CLI araçlarını kullanarak orijinal verileri S3'te depolayıp sonra örneklerinize gerektiği gibi çoğaltabilirsiniz. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 tartışmalı bir şekilde gereksiz, ancak esneklik ve rahatlık kattığını düşünüyorum.

Yan not: Yine de büyük çok çekirdekli örnekleri kullanmayı planlıyorsanız ve veri hacminin beklenmedik şekilde artmadığını ve örneklerinizi otomatik olarak oluşturabiliyorsanız, örnek depolamayı ("geçici depolama") kullanmayı düşünebilirsiniz. ) orijinal verileriniz S3'te güvenli olacağından, EBS ücretlerinden tasarruf edebilirsiniz ve örnek depolama alanı bazı durumlarda EBS'den biraz daha hızlı olabilir.


1
Bu kapsamlı bir cevap. Sınırsız burada biraz bilgi var: boundlessgeo.com/2013/04/…
Alex Leith

pyQGIS'ten AWS komutlarını başlatmak için ne kullanıyorsunuz? Processing.call? boto3 çalışmıyor gibi görünüyor. Osgeo kabuğunda python2 ile çalışır, ancak 3 değil ...
Leo

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.