MySQL SEÇİM TABLOSU OLUŞTURMADAN

10

Aşağıdaki (kukla) sorguyu çalıştırıyorum

CREATE TABLE large_temp_table AS 
    SELECT a.*, b.*, c.* 
    FROM a
    LEFT JOIN b ON a.foo = b.foo
    LEFT JOIN c ON a.bar = c.bar

Sorgunun çalıştırılması 10 dakika sürer. Tablo a, b veya c'deki değerleri çalışırken güncellemeye çalışmak, yukarıdaki sorgunun önce bitmesini bekler. Bu kilitten kaçınmak istiyorum (veri tutarlılığı ilgi çekici değildir). Bunu nasıl başarabilirim?

Kullanımı: MySQL 5.1.41 ve InnoDB Tabloları

ps İŞLEM İZOLASYON DÜZEYİNİ AYARLANMIŞ OKUYUN; davranışta değişiklik olmaz

Güncelleme Sorgu yürütülürken, SHOW ENGINE INNODB STATUS çıktısı aşağıdaki gibidir (Burada amaç için çok yavaş bir sorgu yaptım)

=====================================
120323 15:26:29 INNODB MONITOR OUTPUT
=====================================
Per second averages calculated from the last 8 seconds
----------
SEMAPHORES
----------
OS WAIT ARRAY INFO: reservation count 1470, signal count 1468
Mutex spin waits 0, rounds 7525, OS waits 112
RW-shared spins 803, OS waits 364; RW-excl spins 1300, OS waits 959
------------
TRANSACTIONS
------------
Trx id counter 0 3145870
Purge done for trx's n:o < 0 3141943 undo n:o < 0 0
History list length 22
LIST OF TRANSACTIONS FOR EACH SESSION:
---TRANSACTION 0 0, not started, OS thread id 2958192640
MySQL thread id 7942, query id 69073 localhost root
SHOW ENGINE INNODB STATUS
---TRANSACTION 0 3145869, ACTIVE 20 sec, OS thread id 2955325440, thread declared inside InnoDB 343
mysql tables in use 1, locked 1
6 lock struct(s), heap size 1024, 162 row lock(s)
MySQL thread id 7935, query id 69037 localhost root Copying to tmp table
CREATE TABLE 1_temp_foo AS
                       SELECT SQL_NO_CACHE
                           a.*
                       FROM
                           crm_companies AS a
                       LEFT JOIN users b ON a.zipcode = b.uid
                       LEFT JOIN calc_base_materials c ON a.zipcode = c.material_id
                       LEFT JOIN calc_base_material_langtext d ON a.zipcode = d.material_id
                       LEFT JOIN crm_people e ON a.zipcode = e.telephone1_number
                       ORDER BY a.country, a.name1
--------
FILE I/O
--------
I/O thread 0 state: waiting for i/o request (insert buffer thread)
I/O thread 1 state: waiting for i/o request (log thread)
I/O thread 2 state: waiting for i/o request (read thread)
I/O thread 3 state: waiting for i/o request (write thread)
Pending normal aio reads: 0, aio writes: 0,
ibuf aio reads: 0, log i/o's: 0, sync i/o's: 0
Pending flushes (fsync) log: 0; buffer pool: 0
27579 OS file reads, 613 OS file writes, 392 OS fsyncs
0.00 reads/s, 0 avg bytes/read, 0.00 writes/s, 0.00 fsyncs/s
-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 1, free list len 5, seg size 7,
0 inserts, 0 merged recs, 0 merges
Hash table size 34679, node heap has 9 buffer(s)
0.00 hash searches/s, 0.00 non-hash searches/s
---
LOG
---
Log sequence number 1 2030837110
Log flushed up to   1 2030837110
Last checkpoint at  1 2030837110
0 pending log writes, 0 pending chkp writes
231 log i/o's done, 0.00 log i/o's/second
----------------------
BUFFER POOL AND MEMORY
----------------------
Total memory allocated 21060366; in additional pool allocated 1048576
Dictionary memory allocated 2897304
Buffer pool size   512
Free buffers       0
Database pages     503
Modified db pages  0
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages read 36022, created 166, written 504
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
Buffer pool hit rate 1000 / 1000
--------------
ROW OPERATIONS
--------------
1 queries inside InnoDB, 0 queries in queue
1 read views open inside InnoDB
Main thread id 2957578240, state: waiting for server activity
Number of rows inserted 2022, updated 7, deleted 13, read 528536
0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 8.00 reads/s
----------------------------
END OF INNODB MONITOR OUTPUT
============================

Güncelleme 2

Sorgu INNODB DURUMU çalışırken b, c veya d'yi güncellemeye çalışırken aşağıdaki gibidir:

=====================================
120323 16:12:58 INNODB MONITOR OUTPUT
=====================================
Per second averages calculated from the last 27 seconds
----------
SEMAPHORES
----------
OS WAIT ARRAY INFO: reservation count 2959, signal count 2957
Mutex spin waits 0, rounds 27587, OS waits 426
RW-shared spins 1321, OS waits 516; RW-excl spins 2578, OS waits 1855
------------
TRANSACTIONS
------------
Trx id counter 0 3145998
Purge done for trx's n:o < 0 3145994 undo n:o < 0 0
History list length 0
LIST OF TRANSACTIONS FOR EACH SESSION:
---TRANSACTION 0 0, not started, OS thread id 2958602240
MySQL thread id 7990, query id 69621 localhost root
SHOW INNODB STATUS
---TRANSACTION 0 3145997, ACTIVE 35 sec, OS thread id 2955325440, thread declared inside InnoDB 227
mysql tables in use 1, locked 0
MySQL thread id 7984, query id 69594 localhost root Copying to tmp table
CREATE TABLE 1_temp_foo AS
                       SELECT SQL_NO_CACHE
                           a.*
                       FROM
                           crm_companies AS a
                       LEFT JOIN users b ON a.zipcode = b.uid
                       LEFT JOIN calc_base_materials c ON a.zipcode = c.material_id
                       LEFT JOIN calc_base_material_langtext d ON a.zipcode = d.material_id
                       LEFT JOIN crm_people e ON a.zipcode = e.telephone1_number
                       ORDER BY a.country, a.name1
Trx read view will not see trx with id >= 0 3145998, sees < 0 3145998
--------
FILE I/O
--------
I/O thread 0 state: waiting for i/o request (insert buffer thread)
I/O thread 1 state: waiting for i/o request (log thread)
I/O thread 2 state: waiting for i/o request (read thread)
I/O thread 3 state: waiting for i/o request (write thread)
Pending normal aio reads: 0, aio writes: 0,
ibuf aio reads: 0, log i/o's: 0, sync i/o's: 0
Pending flushes (fsync) log: 0; buffer pool: 0
54447 OS file reads, 1335 OS file writes, 509 OS fsyncs
0.00 reads/s, 0 avg bytes/read, 0.00 writes/s, 0.00 fsyncs/s
-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 1, free list len 5, seg size 7,
584 inserts, 584 merged recs, 4 merges
Hash table size 34679, node heap has 1 buffer(s)
0.00 hash searches/s, 0.00 non-hash searches/s
---
LOG
---
Log sequence number 1 2060137545
Log flushed up to   1 2060137545
Last checkpoint at  1 2060137545
0 pending log writes, 0 pending chkp writes
338 log i/o's done, 0.00 log i/o's/second
----------------------
BUFFER POOL AND MEMORY
----------------------
Total memory allocated 20799534; in additional pool allocated 1047808
Dictionary memory allocated 2897304
Buffer pool size   512
Free buffers       0
Database pages     511
Modified db pages  0
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages read 70769, created 661, written 3156
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
Buffer pool hit rate 1000 / 1000
--------------
ROW OPERATIONS
--------------
1 queries inside InnoDB, 0 queries in queue
2 read views open inside InnoDB
Main thread id 2957578240, state: waiting for server activity
Number of rows inserted 2022, updated 66643, deleted 13, read 626517
0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 7.59 reads/s
----------------------------
END OF INNODB MONITOR OUTPUT
============================

Ve gerçek açık işlem listesi var

İşlem listesi

mysql  locking  ctas 
— clops
kaynak

Yanıtlar:

10

Bu sorguyu SHOW INNODB STATUS\G

CREATE TABLE 1_temp_foo AS 
                   SELECT SQL_NO_CACHE 
                       a.* 
                   FROM 
                       crm_companies AS a 
                   LEFT JOIN users b ON a.zipcode = b.uid 
                   LEFT JOIN calc_base_materials c ON a.zipcode = c.material_id 
                   LEFT JOIN calc_base_material_langtext d ON a.zipcode = d.material_id 
                   LEFT JOIN crm_people e ON a.zipcode = e.telephone1_number 
                   ORDER BY a.country, a.name1

Bu sorgu bana sürüngenleri veriyor çünkü aklınıza gelmemiş olabilecek üç şeyi birleştiriyor:

  • InnoDB, ilk öncülünüze dayanmaktadır: Using: MySQL 5.1.41 and InnoDB Tables
  • MyISAM de işin içinde. MyISAM neden dahil? TÜM İÇ SICAKLIK TABLOLARI MyISAM !!! Sonuçta ortaya çıkan birleşim geçici tablo doldurulduğunda InnoDB'ye dönüştürülmesi gereken bir MyISAM tablosudur. MyISAM tabloları için varsayılan kilit seviyesi nedir? Tablo Seviyesi Kilitleme.
  • Yeni oluşturulan bir tablonun oluşturulması gerektiğinden DDL devreye girer. Bu yeni tablo, geçici tablo doldurulup InnoDB'ye dönüştürülüp son olarak yeniden adlandırılıncaya kadar gösterilmez 1_temp_foo.

Kayda değer başka bir yan etkisi daha vardır. Ne zaman yaparsın

CREATE TABLE tblname AS SELECT ...

Sonuçta ortaya çıkan tabloda dizin yok.

Kilitleme sorununu atlamak için yararlı bulabileceğiniz bir şey var. Tabloyu önce ayrı bir sorgu olarak yapmayı, sonra doldurmayı içerir. Geçici tablonuzu yapmak için iki seçenek vardır:

SEÇENEK # 1 : Aynı mizanpaj ile tablo oluşturmayı deneyin

CREATE TABLE 1_temp_foo LIKE crm_companies;

Bu, tabloyu 1_temp_fooorijinal tabloyla aynı dizinlere ve depolama motoruna sahip olacak şekilde oluşturur crm_companies.

SEÇENEK # 2 : Tabloyu yalnızca aynı depolama motoruyla oluşturmaya çalışın, ancak dizin oluşturmayın.

CREATE TABLE 1_temp_foo SELECT * FROM crm_companies WHERE 1=2;
ALTER TABLE 1_temp_foo ENGINE=InnoDB;

Tabloyu oluşturduktan sonra (hangi yolu seçerseniz seçin), artık tabloyu şu şekilde doldurabilirsiniz:

INSERT INTO 1_temp_foo
SELECT SQL_NO_CACHE a.*                   
FROM                   
    crm_companies AS a                   
    LEFT JOIN users b ON a.zipcode = b.uid                   
    LEFT JOIN calc_base_materials c ON a.zipcode = c.material_id                   
    LEFT JOIN calc_base_material_langtext d ON a.zipcode = d.material_id                   
    LEFT JOIN crm_people e ON a.zipcode = e.telephone1_number                   
    ORDER BY a.country, a.name
;

Şimdi, bu sorgu tekrarlanabilir okumalar için veri elde etmek amacıyla satır düzeyinde kilitler üretmelidir. Başka bir deyişle, bu işlemsel bir sorgudur.

UYARI

SEÇENEK # 2 SEÇENEK # 1'den daha avantajlıdır

  • Avantaj # 1 : crm_companies herhangi bir yabancı anahtar kısıtlaması varsa, SEÇENEK # 1 gerçekten mümkün değildir. Basitlik için SEÇENEK # 2'yi seçmeniz gerekir.
  • Avantaj # 2 : SEÇENEK # 2, kullanıcı tanımlı dizini olmayan bir tablo oluşturduğundan, tablo SEÇENEK # 1 ile yapılmış olandan daha hızlı yüklenmelidir.
— RolandoMySQLDBA
kaynak
2

İşlem yalıtım düzeyini OKULULDUĞUNU OKU (veya YETKİLMEDİ OKU) olarak ayarlamaya ek olarak, ikili günlük biçiminizin KARIŞIK veya SATIR olarak ayarlanması gerekir. STATEMENT tabanlı çoğaltma, her şeyin "güvenli" olduğundan emin olmak için bu tür bir ifadeyi kilitler. Ayrıca geçici olarak innodb_locks_unsafe_for_binlog = 1 ayarlayabilirsiniz , ancak bu şekilde senkronize olmayan bir köle ile sonuçlanabilir.

SET binlog_format = ROW;
CREATE TABLE ... SELECT ...
— Aaron Brown
kaynak
Ne yazık ki bu da işe yaramıyor :(
— Mart'ta
1
CREATE TABLE ifadesi çalışırken SHOW ENGINE INNODB STATUS çıktısı nedir?
— Aaron Brown
1
Ayrıca, UNCOMMITTED yerine READ COMMITTED kullandığınızdan emin olun. 5.1.47 bugs.mysql.com/bug.php?id=48607
— Aaron Brown
1
Bu garip. Yabancı anahtarlar var mı? Satırı güncellemeye çalışırken INNODB STATUS gönderebilir misiniz? Bunu MySQL'in daha yeni bir sürümünde denediniz mi? (benim tahminim 5.1.41 kullanıyorsunuz çünkü dağıtımınızla birlikte geliyor?)
— Aaron Brown
1
Kullanıcı tablonuzun InnoDB olduğundan emin misiniz? Güncelleme SHOW ENGINE INNODB STATUS çıktısında görünmüyor ve işlem listesinde normalde MyISAM tablolarının bir sonucu olan Kilitli olarak görünüyor. @ RolandoMySQLDBA'nın cevabının sorununuzu çözdüğüne sevindim, ancak burada başka bir şey olduğunu düşünüyorum.
— Aaron Brown
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.