Postgres: Henüz yoksa INSERT

Bir postgres veritabanına yazmak için Python kullanıyorum:

sql_string = "INSERT INTO hundred (name,name_slug,status) VALUES ("
sql_string += hundred + ", '" + hundred_slug + "', " + status + ");"
cursor.execute(sql_string)

Ancak bazı satırlarım aynı olduğundan, aşağıdaki hatayı alıyorum:

psycopg2.IntegrityError: duplicate key value  
  violates unique constraint "hundred_pkey"

'Bu satır zaten yoksa' INSERT 'SQL deyimini nasıl yazabilirim?

Önerilen böyle karmaşık ifadeler gördüm:

IF EXISTS (SELECT * FROM invoices WHERE invoiceid = '12345')
UPDATE invoices SET billed = 'TRUE' WHERE invoiceid = '12345'
ELSE
INSERT INTO invoices (invoiceid, billed) VALUES ('12345', 'TRUE')
END IF

Ama öncelikle, bu ihtiyacım olan şey için aşırıya kaçıyor mu ve ikincisi, bunlardan birini basit bir dize olarak nasıl yürütebilirim?

Postgres 9.5 (2016-01-07 tarihinden beri piyasaya sürüldü) INSERT için ON CONFLICT yan tümcesi olarak da bilinen bir "upert" komutu sunuyor :

INSERT ... ON CONFLICT DO NOTHING/UPDATE

Eşzamanlı işlemi kullanırken karşılaşabileceğiniz ince sorunların birçoğunu çözer, diğer bazı cevaplar önermektedir.

'Bu satır zaten yoksa' INSERT 'SQL deyimini nasıl yazabilirim?

PostgreSQL'de koşullu INSERT yapmanın güzel bir yolu var:

INSERT INTO example_table
    (id, name)
SELECT 1, 'John'
WHERE
    NOT EXISTS (
        SELECT id FROM example_table WHERE id = 1
    );

CAVEAT Bu yaklaşım eş zamanlı yazma işlemleri için% 100 güvenilir değildir . Arasında çok küçük bir yarış durumu vardır SELECTiçinde NOT EXISTSanti-yarı katılmak ve INSERTkendisi. Bu koşullar altında başarısız olabilir .

Bir yaklaşım, tüm verilerinizi eklemek için kısıtlanmamış (benzersiz dizinler olmadan) bir tablo oluşturmak ve ekinizi yüz tablonuza yapmak için bundan farklı bir seçim yapmak olacaktır.

Yüksek seviye olurdu. Örnekte üç sütunun da farklı olduğunu varsayıyorum, bu nedenle adım3 için NOT EXITS birleşimini yalnızca yüz tablosundaki benzersiz sütunlara katılmak için değiştirin.

1. Geçici tablo oluştur. Dokümanlara buradan bakın .

   CREATE TEMPORARY TABLE temp_data(name, name_slug, status);

2. Geçici tabloya veri ekle.

   INSERT INTO temp_data(name, name_slug, status); 

3. Geçici tabloya herhangi bir dizin ekleyin.

4. Ana tabla parçasını yapın.

   INSERT INTO hundred(name, name_slug, status) 
       SELECT DISTINCT name, name_slug, status
       FROM hundred
       WHERE NOT EXISTS (
           SELECT 'X' 
           FROM temp_data
           WHERE 
               temp_data.name          = hundred.name
               AND temp_data.name_slug = hundred.name_slug
               AND temp_data.status    = status
       );

Ne yazık ki, PostgreSQLne destekliyor ne MERGEde ON DUPLICATE KEY UPDATE, bu yüzden iki ifadeyle yapmanız gerekecek:

UPDATE  invoices
SET     billed = 'TRUE'
WHERE   invoices = '12345'

INSERT
INTO    invoices (invoiceid, billed)
SELECT  '12345', 'TRUE'
WHERE   '12345' NOT IN
        (
        SELECT  invoiceid
        FROM    invoices
        )

Bir işleve sarabilirsiniz:

CREATE OR REPLACE FUNCTION fn_upd_invoices(id VARCHAR(32), billed VARCHAR(32))
RETURNS VOID
AS
$$
        UPDATE  invoices
        SET     billed = $2
        WHERE   invoices = $1;

        INSERT
        INTO    invoices (invoiceid, billed)
        SELECT  $1, $2
        WHERE   $1 NOT IN
                (
                SELECT  invoiceid
                FROM    invoices
                );
$$
LANGUAGE 'sql';

ve sadece ara:

SELECT  fn_upd_invoices('12345', 'TRUE')

Değerleri - Postgres'te kullanabilirsiniz:

INSERT INTO person (name)
    SELECT name FROM person
    UNION 
    VALUES ('Bob')
    EXCEPT
    SELECT name FROM person;

Bu sorunun bir süre önce olduğunu biliyorum, ama bunun birisine yardımcı olabileceğini düşündüm. Bunu yapmanın en kolay yolunun bir tetikleyici olduğunu düşünüyorum. Örneğin:

Create Function ignore_dups() Returns Trigger
As $$
Begin
    If Exists (
        Select
            *
        From
            hundred h
        Where
            -- Assuming all three fields are primary key
            h.name = NEW.name
            And h.hundred_slug = NEW.hundred_slug
            And h.status = NEW.status
    ) Then
        Return NULL;
    End If;
    Return NEW;
End;
$$ Language plpgsql;

Create Trigger ignore_dups
    Before Insert On hundred
    For Each Row
    Execute Procedure ignore_dups();

Bu kodu bir psql isteminden yürütün (veya sorguları doğrudan veritabanında yürütmek istiyorsunuz). Ardından Python'dan normal şekilde ekleyebilirsiniz. Örneğin:

sql = "Insert Into hundreds (name, name_slug, status) Values (%s, %s, %s)"
cursor.execute(sql, (hundred, hundred_slug, status))

@Thomas_Wouters'ın daha önce de belirtildiği gibi, yukarıdaki kodun dizeyi birleştirmek yerine parametrelerden yararlandığını unutmayın.

WITH sorgu kullanarak kullanarak PostgreSQL koşullu INSERT yapmanın güzel bir yolu var:

WITH a as(
select 
 id 
from 
 schema.table_name 
where 
 column_name = your_identical_column_value
)
INSERT into 
 schema.table_name
(col_name1, col_name2)
SELECT
    (col_name1, col_name2)
WHERE NOT EXISTS (
     SELECT
         id
     FROM
         a
        )
  RETURNING id 

Bu tam olarak karşılaştığım problem ve versiyonum 9.5

Ve aşağıdaki SQL sorgusu ile çözdüm.

INSERT INTO example_table (id, name)
SELECT 1 AS id, 'John' AS name FROM example_table
WHERE NOT EXISTS(
            SELECT id FROM example_table WHERE id = 1
    )
LIMIT 1;

Bu sürüm> = 9.5 ile aynı sorunu olan birine yardımcı olacağını umuyoruz.

Okuduğunuz için teşekkürler.

EKLE .. VAR OLMAYAN YERLER iyi bir yaklaşımdır. Ve yarış koşulları "zarf" işlemiyle önlenebilir:

BEGIN;
LOCK TABLE hundred IN SHARE ROW EXCLUSIVE MODE;
INSERT ... ;
COMMIT;

Kurallarla kolaydır:

CREATE RULE file_insert_defer AS ON INSERT TO file
WHERE (EXISTS ( SELECT * FROM file WHERE file.id = new.id)) DO INSTEAD NOTHING

Ama eşzamanlı yazmalarla başarısız oluyor ...

En upvotes ile yaklaşım (John Doe'dan) bir şekilde benim için çalışıyor ama benim durumumda beklenen 422 satırdan sadece 180 alıyorum. Yanlış bir şey bulamadım ve hiç hata yok, bu yüzden farklı bir şey aradım basit yaklaşım.

IF NOT FOUND THENSonra kullanmak SELECTbenim için mükemmel çalışıyor.

( PostgreSQL Belgelerinde açıklanmıştır )

Belgelerden örnek:

SELECT * INTO myrec FROM emp WHERE empname = myname;
IF NOT FOUND THEN
  RAISE EXCEPTION 'employee % not found', myname;
END IF;

psycopgs imleç sınıfı rowcount özelliğine sahiptir .

Bu salt okunur öznitelik, son yürütme * () tarafından üretilen (SELECT gibi DQL ifadeleri için) veya etkilenen (UPDATE veya INSERT gibi DML ifadeleri için) satır sayısını belirtir.

Böylece önce UPDATE ve INSERT komutlarını ancak rowcount 0 ise deneyebilirsiniz.

Ancak, veritabanınızdaki etkinlik düzeylerine bağlı olarak, UPDATE ve INSERT arasında bir yarış koşuluna varabilirsiniz; burada başka bir işlem geçici olarak bu kaydı oluşturabilir.

"Yüz" sütununuz birincil anahtar olarak tanımlanmış görünüyor ve bu nedenle durum benzersiz değil benzersiz olmalıdır. Sorun, verilerinizle değil.

Birincil anahtarı kullanmak için seri türü olarak bir kimlik eklemenizi öneririm

Satırlarınızın çoğunun aynı olduğunu söylerseniz, birçok kez kontrol etmeye son vereceksiniz. Onları gönderebilirsiniz ve veritabanı ON CONFLICT yan tümcesi ile ekleyip eklemeyeceğini aşağıdaki gibi belirler

  INSERT INTO Hundred (name,name_slug,status) VALUES ("sql_string += hundred  
  +",'" + hundred_slug + "', " + status + ") ON CONFLICT ON CONSTRAINT
  hundred_pkey DO NOTHING;" cursor.execute(sql_string);

PostgreSQL ve HSQLDB'de çalışan SQL bulmaya çalışırken benzer bir çözüm arıyordum. (HSQLDB bunu zor yapan şeydi.) Örneğinizi temel alarak, başka yerde bulduğum biçim budur.

sql = "INSERT INTO hundred (name,name_slug,status)"
sql += " ( SELECT " + hundred + ", '" + hundred_slug + "', " + status
sql += " FROM hundred"
sql += " WHERE name = " + hundred + " AND name_slug = '" + hundred_slug + "' AND status = " + status
sql += " HAVING COUNT(*) = 0 );"

Burada bir tablename, sütunlar ve değerler verilen, postgresql için upert eşdeğerini üreten genel bir python işlevi var.

ithalat json

def upsert(table_name, id_column, other_columns, values_hash):

    template = """
    WITH new_values ($$ALL_COLUMNS$$) as (
      values
         ($$VALUES_LIST$$)
    ),
    upsert as
    (
        update $$TABLE_NAME$$ m
            set
                $$SET_MAPPINGS$$
        FROM new_values nv
        WHERE m.$$ID_COLUMN$$ = nv.$$ID_COLUMN$$
        RETURNING m.*
    )
    INSERT INTO $$TABLE_NAME$$ ($$ALL_COLUMNS$$)
    SELECT $$ALL_COLUMNS$$
    FROM new_values
    WHERE NOT EXISTS (SELECT 1
                      FROM upsert up
                      WHERE up.$$ID_COLUMN$$ = new_values.$$ID_COLUMN$$)
    """

    all_columns = [id_column] + other_columns
    all_columns_csv = ",".join(all_columns)
    all_values_csv = ','.join([query_value(values_hash[column_name]) for column_name in all_columns])
    set_mappings = ",".join([ c+ " = nv." +c for c in other_columns])

    q = template
    q = q.replace("$$TABLE_NAME$$", table_name)
    q = q.replace("$$ID_COLUMN$$", id_column)
    q = q.replace("$$ALL_COLUMNS$$", all_columns_csv)
    q = q.replace("$$VALUES_LIST$$", all_values_csv)
    q = q.replace("$$SET_MAPPINGS$$", set_mappings)

    return q


def query_value(value):
    if value is None:
        return "NULL"
    if type(value) in [str, unicode]:
        return "'%s'" % value.replace("'", "''")
    if type(value) == dict:
        return "'%s'" % json.dumps(value).replace("'", "''")
    if type(value) == bool:
        return "%s" % value
    if type(value) == int:
        return "%s" % value
    return value


if __name__ == "__main__":

    my_table_name = 'mytable'
    my_id_column = 'id'
    my_other_columns = ['field1', 'field2']
    my_values_hash = {
        'id': 123,
        'field1': "john",
        'field2': "doe"
    }
    print upsert(my_table_name, my_id_column, my_other_columns, my_values_hash)

Çözüm basit, ama hemen değil.
Bu talimatı kullanmak istiyorsanız, db'de bir değişiklik yapmanız gerekir:

ALTER USER user SET search_path to 'name_of_schema';

bu değişikliklerden sonra "INSERT" doğru şekilde çalışacaktır.