Büyük bir veri kümesini MySQL veritabanına (veya genel olarak herhangi bir veritabanına) eklemenin en iyi yolu nedir?

Bir PHP projesinin bir parçası olarak, bir MySQL veritabanına bir satır eklemek zorunda. Açıkçası bunu yapmaya alışkınım, ancak bu bir sorguda 90 sütuna eklenmesini gerektiriyordu. Ortaya çıkan sorgu korkunç ve yekpare görünüyor (özellikle PHP değişkenlerimi değerler olarak ekleyerek):

INSERT INTO mytable (column1, colum2, ..., column90) 
VALUES
('value1', 'value2', ..., 'value90')

ve bunu doğru şekilde yapmayacağımdan endişeliyim. Ayrıca her şeyi yazmak ve test kodunu yazmak da korkutucu derecede sıkıcı olacak kadar uzun (sıkıcı) bir zaman aldı.

Profesyoneller bu sorguları hızlı bir şekilde yazmaya ve test etmeye nasıl gidiyor? Süreci hızlandırabilmemin bir yolu var mı?

Joe, son yorumun çok açıkladı. Bence asıl sorun veri tasarımı. Belge biçimi değiştiğinde yeni sütunlara ihtiyaç duyulabilir ve deneyimimde belge biçimleri sık sık değişme eğilimindedir. Rapor başına tek bir satır içeren 90 sütunlu bir tablo yerine, rapor verilerini dört sütunlu bir tabloda depolardım: rapor_kimliği, biçim_kimliği, alan_adı, alan_değeri. Her rapor, rapordaki her alan değeri için bir tane olmak üzere 90 satırla temsil edilir. Bu, kodunuzu önemli ölçüde basitleştirmelidir.

Genel olarak, büyük bir veri kümesini SQL veritabanına yüklemenin en hızlı yolu yerel toplu yükleme arabirimini kullanmaktır. Bildiğim kadarıyla, her SQL dbms en az bir tane var.

MySQL belgeleri: Toplu Yükleyiciyi Kullanma

Ben ise var SQL INSERT deyimleri içine sekme veya virgülle ayrılmış dosyayı açmak için, ben giriş dosyasını okumak ve çıkış dosyası yazmak için awk kullanın. Awk hakkında gerçekten özel bir şey yok; en iyi bildiğim metin işleme dili. Aynı sonuçları Perl, Python, Ruby, Rexx, Lisp ve benzerlerine kod yazarak da alabilirsiniz.

Sütun adlarını kolayca bir Excel e-tablosuna alabiliyorsanız, çeşitli sorgular ve DML ifadeleri için kod üretmek üzere Excel makroları yazabilir, ardından değerleri başka bir sütuna yapıştırabilir ve ekleme / güncelleme ifadeniz sizin için otomatik olarak oluşturulur. Manuel olarak yazmak bunu yapmanın çok yavaş bir yoludur, bu nedenle mevcut araçlarınızı kullanarak hileler bulabileceğinize bakın. Birçok geliştirici odaklı metin editörleri, bu gibi tekrarlayan işleri daha hızlı ve daha kolay hale getirmek için makroları kaydetme ve saklama yeteneğine de sahiptir.

Bir csv dosyanız varsa , verileri içe aktarmak için LOAD DATA INFILE ... öğesini kullanabilirsiniz.

'INSERT' sorgularını kullanmanız gerekiyorsa, toplu ekleme yapmak işlemi hızlandıracaktır. Her satır için bir 'INSERT' sorgusu çalıştırmak yerine, satırları gruplandırın, 100 deyin ve sorguyu çalıştırın. Bunun gibi bir şey:

INSERT INTO theTable (col1, col2, col3,....., col89, col90) 
VALUES
(val11, val12, val13, ........, val189, val190),
(val21, val22, val23, ........, val289, val290),
.......
......
(val101, val102, val103, ........, va1089, val1090);

Çok sütunlu sorgu verilerini MySQL DB'ye yazmanın etkili bir yolu, bu verileri JSON veya YAML biçimine dönüştürmek ve tek bir birim olarak eklemektir. "90 sütunlu bir tablo için bir insert yaz" ı "bir sütunlu bir tabloya bir insert yaz" olarak değiştirir.

Bu yaklaşımda, her şeyin temel bileşenlerine bölünmesi gerekmez ve tek veri sadece 1 sütunda saklanır.

MySQL ile insertifadeler için alternatif sözdizimi kullanabilirsiniz :

insert into table
        set column1 = value1
          , column2 = value2
          , column3 = value3

Öznitelik listesi biçim değiştiğinde değişebileceğinden, senaryonuz bir NoSQL çözümü için çok uygun görünüyor. MySQL dışında başka seçenekleri de değerlendirdiniz mi? DynamoDB / MongoDB / Cassandra'yı araştırın - bu daha uygun olabilir.

Php ve mysql kullanarak veritabanına veri eklemek için daha etkili bir yolu var. Veri eklemek için LOAD COMMAND'ı kullanabiliriz. Verileri oldukça hızlı ekler.

Bunun için fputcsv()işlev kullanarak verilerinizle düz bir dosya (örneğin .csv dosyası kullandım) oluşturun . Ardından LOAD komutunu kullanarak veri ekleyin. Sözdizimi aşağıdakine benzer bazı şeyler:

LOAD DATA LOCAL INFILE "C:/downloads/local/my_data_file.csv"
INTO TABLE  my_data
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES;

Takip etmeyi dene. Benim için çalıştı.

Form adları veritabanı sütun adlarına eşit olmalıdır

Değerleri aşağıdaki gibi alın:

foreach ($_GET as $formName => $value) {
    $sql = mysql_query("UPDATE table_name SET $formName = '$value' WHERE ID= $id");
}

Önce foreach döngüsünden önce bir kimlik girmeniz gerekir. yaparak bir sonraki kimliği alabilirsiniz:

SELECT MAX(id) FROM .....

kimliğe 1 ekleyin ve ekleyin.