CSV dosyasında başlıklarla birlikte CSV dosyasından PostgreSQL tablosuna nasıl kopyalanır?

Bir CSV dosyasını Postgres tablosuna kopyalamak istiyorum. Bu tabloda yaklaşık 100 sütun var, bu yüzden mecbur kalmazsam onları yeniden yazmak istemiyorum.

\copy table from 'table.csv' delimiter ',' csv;Komutu kullanıyorum ama bir tablo oluşturmadan alıyorum ERROR: relation "table" does not exist. Boş bir tablo eklersem hata almam ama hiçbir şey olmuyor. Bu komutu iki veya üç kez denedim ve çıktı veya mesaj yoktu, ancak PGAdmin aracılığıyla kontrol ettiğimde tablo güncellenmedi.

Yapmaya çalıştığım gibi başlıkları içeren bir tabloyu içe aktarmanın bir yolu var mı?

Bu işe yaradı. İlk satırda sütun adları vardı.

COPY wheat FROM 'wheat_crop_data.csv' DELIMITER ';' CSV HEADER

Python kitaplığıyla pandas, bir csv dosyasından kolayca sütun adları oluşturabilir ve veri türlerini çıkarabilirsiniz.

from sqlalchemy import create_engine
import pandas as pd

engine = create_engine('postgresql://user:pass@localhost/db_name')
df = pd.read_csv('/path/to/csv_file')
df.to_sql('pandas_db', engine)

if_existsParametresi, örneğin değiştirmek veya varolan bir tabloya ekleme ayarlanabilir df.to_sql('pandas_db', engine, if_exists='replace'). Bu, ek girdi dosyası türleri için de işe yarar, buradaki ve buradaki belgeler .

İzinsiz terminal tarafından alternatif

NOTLAR de pg dokümantasyon söz hakkından

Yol, istemcinin çalışma dizinine değil, sunucu işleminin çalışma dizinine (normalde kümenin veri dizini) göre yorumlanacaktır.

Yani, gerally, kullanmak psqlveya herhangi bir istemci, yerel bir sunucuda bile, problemleriniz var ... Ve eğer diğer kullanıcılar için COPY komutunu ifade ediyorsanız, örn. Github README'de okuyucunun sorunları olacaktır ...

İstemci izinleriyle göreli yolu ifade etmenin tek yolu STDIN kullanmaktır ,

STDIN veya STDOUT belirtildiğinde, veriler istemci ve sunucu arasındaki bağlantı yoluyla iletilir.

burada hatırlandığı gibi :

psql -h remotehost -d remote_mydb -U myuser -c \
   "copy mytable (column1, column2) from STDIN with delimiter as ','" \
   < ./relative_path/file.csv

Bu işlevi bir süredir sorunsuz kullanıyorum. Sadece csv dosyasında bulunan sayı sütunlarını sağlamanız yeterlidir ve ilk satırdan başlık adlarını alacak ve sizin için tabloyu oluşturacaktır:

create or replace function data.load_csv_file
    (
        target_table  text, -- name of the table that will be created
        csv_file_path text,
        col_count     integer
    )

    returns void

as $$

declare
    iter      integer; -- dummy integer to iterate columns with
    col       text; -- to keep column names in each iteration
    col_first text; -- first column name, e.g., top left corner on a csv file or spreadsheet

begin
    set schema 'data';

    create table temp_table ();

    -- add just enough number of columns
    for iter in 1..col_count
    loop
        execute format ('alter table temp_table add column col_%s text;', iter);
    end loop;

    -- copy the data from csv file
    execute format ('copy temp_table from %L with delimiter '','' quote ''"'' csv ', csv_file_path);

    iter := 1;
    col_first := (select col_1
                  from temp_table
                  limit 1);

    -- update the column names based on the first row which has the column names
    for col in execute format ('select unnest(string_to_array(trim(temp_table::text, ''()''), '','')) from temp_table where col_1 = %L', col_first)
    loop
        execute format ('alter table temp_table rename column col_%s to %s', iter, col);
        iter := iter + 1;
    end loop;

    -- delete the columns row // using quote_ident or %I does not work here!?
    execute format ('delete from temp_table where %s = %L', col_first, col_first);

    -- change the temp table name to the name given as parameter, if not blank
    if length (target_table) > 0 then
        execute format ('alter table temp_table rename to %I', target_table);
    end if;
end;

$$ language plpgsql;

Sen kullanabilirsiniz d6tstack sizin için tablo oluşturur ve bir ) hızlı pd.to_sql daha ( o yerli DB ithalat komutları kullanması nedeniyle. Postgres'in yanı sıra MYSQL ve MS SQL'i de destekler.

import pandas as pd
df = pd.read_csv('table.csv')
uri_psql = 'postgresql+psycopg2://usr:pwd@localhost/db'
d6tstack.utils.pd_to_psql(df, uri_psql, 'table')

Ayrıca, birden çok CSV'yi içe aktarmak, veri şeması değişikliklerini çözmek ve / veya db'ye yazmadan önce pandalarla ön işlem yapmak (örneğin tarihler için) için kullanışlıdır, örnekler not defterinde daha fazla aşağıya bakın

d6tstack.combine_csv.CombinerCSV(glob.glob('*.csv'), 
    apply_after_read=apply_fun).to_psql_combine(uri_psql, 'table')