Php5 + MySQL saniyede 200 istek üzerine nasıl ölçeklendirilir?

Performans için ana sayfamı değiştiriyorum, şu anda 3.14.by'de yaklaşık 200 istek / saniye işlemektedir.

Garip bir şekilde, bazı VPS ve özel Atom 330 sunucusunda sayılar hemen hemen aynı.

Sunucu yazılımı şöyledir: Apache2 + mod_php prefork 4 childs (burada farklı sayıları denedim), php5, APC, nginx, PHP oturumları depolaması için memcached.

MySQL, kullanılabilir RAM'in yaklaşık% 30'unu tüketecek şekilde yapılandırılmıştır (VPS'de ~ 150Mb, özel sunucuda 700Mb)

Görünüşe bakılırsa, bir yerlerde daha yükseğe çıkmama izin vermeyen bir darboğaz var mı? (yani 6 SQL'den daha az yapmanın daha hızlı olacağını biliyorum, ancak sqld önbelleğe alınmış sorgular nedeniyle en fazla% birkaç fazla yediği için bu sınırlayıcı bir faktör gibi görünmüyor)

Herkes önceden apache2 tekme ve sadece nginx + php bırakmanın çok daha hızlı olduğunu test etti mi?

Biraz daha kıyaslama

Small 40-byte static file: 1484 r/s via nginx+apache2, 2452 if we talk to apache2 directly. 
Small "Hello world" php script: 458 r/s via ngin+apache2.

Güncelleme: Görünüşe göre, darboğaz önbellekteki verilerde MySQL performansı. Tek SQL içeren sayfa 354req / sn, 6 SQL - 180 req / sn gösterir. Sence burada ne ayarlayabilirim? (MySQL için 100-200 Mb çatabilirim)

[client]
port        = 3306
socket      = /var/run/mysqld/mysqld.sock

[mysqld_safe]
socket      = /var/run/mysqld/mysqld.sock
nice        = 0

[mysqld]
default-character-set=cp1251
collation-server=cp1251_general_cs

skip-character-set-client-handshake

user        = mysql
pid-file    = /var/run/mysqld/mysqld.pid
socket      = /var/run/mysqld/mysqld.sock
port        = 3306
basedir     = /usr
datadir     = /var/lib/mysql
tmpdir      = /tmp
skip-external-locking

bind-address        = 127.0.0.1

key_buffer      = 16M
max_allowed_packet  = 8M
thread_stack        = 64K
thread_cache_size   = 16
sort_buffer_size    = 8M
read_buffer_size    = 1M

myisam-recover      = BACKUP
max_connections        = 650
table_cache            = 256
thread_concurrency     = 10

query_cache_limit       = 1M
query_cache_size        = 16M

expire_logs_days    = 10
max_binlog_size         = 100M

[mysqldump]
quick
quote-names
max_allowed_packet  = 8M

[mysql]
[isamchk]
key_buffer      = 8M

!includedir /etc/mysql/conf.d/

Açıkçası, deneyebileceğiniz çok şey var. En iyi seçeneğiniz, dizinleri (bunlar için günlükleri etkinleştir) kullanmayan sorgular ve optimize edilmemiş diğer sorgular için günlüklerinizi takip etmektir. Yıllar boyunca performansla ilgili seçeneklerin büyük bir listesini derledim, bu yüzden bilgileriniz için buraya küçük bir alt küme ekledim - umarım yardımcı olur. İşte deneyebileceğiniz şeyler için bazı genel notlar (henüz yapmadıysanız):

MySQL

• query_cache_type = 1 - önbellek SQL sorguları açık. 2 olarak ayarlanırsa, sorgular yalnızca SQL_CACHE ipucu iletilirse önbelleğe alınır. Tip 1'de olduğu gibi, SQL_NO_CACHE ipucu ile belirli bir sorgu için önbelleği devre dışı bırakabilirsiniz
• key_buffer_size = 128M (varsayılan: 8M) - MyISAM tablo dizinleri için bellek arabelleği. Adanmış sunucularda, key_buffer_size değerini sunucudaki toplam bellek miktarının en az dörtte birine, ancak yarısından fazlasını değil olarak ayarlamayı hedefleyin
• query_cache_size = 64M (varsayılan: 0) - sorgu önbelleğinin boyutu
• back_log = 100 (varsayılan: 50, maks: 65535) - Bekleyen bağlantı isteklerinin kuyruğu. Yalnızca kısa sürede çok sayıda bağlantı olduğunda önemlidir
• join_buffer_size = 1M (varsayılan: 131072) - tam tablo taramaları yaparken kullanılan bir arabellek (dizin yok)
• table_cache = 2048 (varsayılan: 256) - max_user_connections, en ağır SQL sorgunuzun içerdiği maksimum JOIN sayısıyla çarpılmalıdır. "Open_tables" değişkenini yoğun zamanlarda kılavuz olarak kullanın. Ayrıca "open_tables" değişkenine de bakın - "open_tables" a yakın olmalıdır
• query_prealloc_size = 32K (varsayılan: 8K) - ifadelerin ayrıştırılması ve yürütülmesi için kalıcı bellek. Karmaşık sorgularınız varsa artırın
• sort_buffer_size = 16M (varsayılan: 2M) - sıralamada yardımcı olur (ORDER BY ve GROUP BY işlemleri)
• read_buffer_size = 2M (varsayılan: 128K) - Sıralı taramalara yardımcı olur. Çok sayıda ardışık tarama varsa artırın.
• read_rnd_buffer_size = 4M - MyISAM tablosunun sıralamadan sonra okumayı hızlandırmasına yardımcı olur
• max_length_for_sort_data - sıralama dosyasındaki satır işaretçisi yerine depolanacak satır boyutu. Rastgele tablo okumalarını önleyebilir
• key_cache_age_threshold = 3000 (varsayılan: 300) - anahtar önbelleği sıcak bölgede tutma süresi (ısınmaya indirgenmeden önce)
• key_cache_division_limit = 50 (varsayılan: 100) - daha sofistike bir önbellek tahliye mekanizması (iki seviye) sağlar. En alt seviye için saklanacak yüzdeyi belirtir. delay_key_write = ALL - anahtar arabelleği, her dizin güncelleştirmesindeki tablo için değil, yalnızca tablo kapatıldığında temizlenir. Bu, tuşlara çok fazla yazıyor, ancak bu özelliği kullanırsanız, sunucuyu --myisam-recover = BACKUP, FORCE seçeneğiyle başlatarak tüm MyISAM tablolarının otomatik denetimini eklemelisiniz.
• memlock = 1 - bellekteki kilit işlemi (takas giriş / çıkışını azaltmak için)

Apaçi

• yumurtlama yöntemini değiştirme (örneğin, mpm olarak)
• mümkünse günlükleri devre dışı bırak
• AllowOverride None - mümkün olduğunda .htaccess'i devre dışı bırakın. Kullanılmadığı takdirde .htaccess dosyalarını aramak için apache'yi durdurur, böylece bir dosya arama isteği kaydeder
• SendBufferSize - İşletim sistemi varsayılanına ayarla. Sıkışık ağlarda, bu parametreyi normalde indirilen en büyük dosyanın boyutuna yakın ayarlamanız gerekir
• KeepAlive Kapalı (varsayılan Açık) - ve ağ bağlantılarını düzgün bir şekilde kapatmak için lingerd'yi yükleyin ve daha hızlı
• DirectoryIndex index.php - Dosya listesini olabildiğince kısa ve mutlak tutun.
• Seçenekler FollowSymLinks - Apache'deki dosya erişim işlemini basitleştirmek için
• Mod_rewrite veya en azından karmaşık normal ifadeler kullanmaktan kaçının
• ServerToken = eşya

PHP

• variable_order = "GPCS" (Ortam değişkenlerine ihtiyacınız yoksa)
• register_globals = Kapalı - güvenlik riski olmanın yanı sıra performans etkisi de vardır
• İnclude_path komutunu olabildiğince az tutun (fazladan dosya sistemi aramalarını önler)
• display_errors = Kapalı - Hata göstermeyi devre dışı bırak. Tüm üretim sunucuları için önemle önerilir (bir sorun olması durumunda çirkin hata mesajları göstermez).
• magic_quotes_gpc = Kapalı
• magic_quotes _ * = Kapalı
• output_buffering = Açık
• Mümkünse günlüğe kaydetmeyi devre dışı bırak
• expose_PHP = Off
• register_argc_argv = Kapalı
• always_populate_raw_post_data = Kapalı
• php ilk olarak arayacağı php.ini dosyasını yerleştirin.
• session.gc_divisor = 1000 veya 10000
• session.save_path = "N; / path" - Büyük siteler için kullanmayı düşünün. Oturum dosyalarını alt dizinlere böler

OS Tweaks

• Kullanılan sabit diskleri -o noatime seçeneğiyle bağlayın (erişim süresi yok). Bu seçeneği / etc / fstab dosyasına da ekleyin.
• En iyi sonuçların ne olduğunu görmek için / proc / sys / vm / swappiness (0'dan 100'e kadar) ayarını yapın
• RAM Diskleri Kullan - mount --bind -ttmpfs / tmp / tmp

Darboğaz CPU değilse, IO - ağ veya disk. Yani .. Ne kadar GÇ gittiğini görmelisin. (10mbps yarı dubleks bağlantıda değilseniz, ancak otomatik algılama işini doğru yapmıyorsa anahtarı kontrol etmeye değer olmadığı sürece) ağını düşünmezdim.

Bu, özellikle VPS'lerde büyük bir faktör olabilecek disk IO'sunu bırakır. Disklere göz atmak için sar veya iostat kullanın, ardından diskiniz yoğun bir şekilde kullanılıyorsa Google'a nasıl daha fazla ayrıntı bulacağınız.

Nginx ( memcached ) veya Vernik ile önbellekleme içine bakmak istiyorum .

En azından SaveTheRbtz gibi Nginx ile statik dosyaları sunucu gerekir.

Sunucu sorunlu görünmediğinden, belki de yük üreteci olabilir. Birkaç makinede çalıştırmayı deneyin.

Bana Apache'nin izin verdiği maksimum bağlantı sayısına ulaşıyormuş gibi geliyor. Apache yapılandırmanıza bir göz atın. G / Ç veya bellek gibi başka bir sınıra bağlı değilseniz, sunucu sınırını ve maksimum istemcileri artırmak yardımcı olacaktır. Mpm_prefork_module veya mpm_worker_module için mevcut olan değerlere bakın ve ihtiyaçlarınıza göre ayarlayın.

ServerLimit 512
MaxClients 512

Bu yük bir araç veya gerçek dünya yükleri tarafından mı oluşturuldu?

Memcached'ı kontrol etmek isteyebilirsiniz. Uygulamada gecikmeye neden olan yüksek bağlantı oranlarında sorunlar gördüm.

Bir yük jeneratörü kullanıyorsanız, küçük bir statik sayfaya bastığınızda ne elde edersiniz?

Yükler sırasında ağ yığınını TIME_WAIT koşulları açısından kontrol etmek isteyebilirsiniz. Belki de bağlantı kuyruğunuzu dolduruyorsunuzdur.

Bakabileceğiniz yaklaşık 100 neden ve öğe daha var, ancak daha fazla bilgi olmadan, sadece bu noktada tahminler atıyorum.

Bunun gibi zaman sorunlarının yüzde 99'u veritabanına geri dönecektir. Öncelikle isabet endekslerinizin olduğundan emin olun. Bu işe yaramazsa, yapabileceğiniz her şeyi önbelleğe almaya başlayın.

Veritabanını web uygulamalarınıza bağlı tutmak için (mümkünse) bir bağlantı havuzu kullanmanızı öneririm (her istekte yeniden bağlantı kurmanıza gerek yoktur). Bu çok büyük bir hız farkı yaratabilir.

Ayrıca, tüm sorgularınızı EXPLAIN ile analiz etmeye çalışın (ve neden sorgularınızı SHOW PROFILE ile profillendirmiyorsunuz?).