OpenStreetMap PostGIS sorgulamasını hızlandırma

Osmoz şemasını kullanarak bir PostGIS veritabanına (PostgreSQL 8.3 / PostGIS 1.3.3) yüklenen Hollanda için OpenStreetMap verilerine sahibim . Bu, tüm etiketlerin bir hstore alanında saklandığı anlamına gelir . Osmozun geometri alanında oluşturduğu GIST endeksine ek olarak, etiketler alanında ek bir GIST indeksi oluşturdum.

Hem uzamsal bir kısıtlama hem de etiketler alanında bir kısıtlama kullanarak sorgulamaya çalışırken, istediğimden daha yavaş olduğunu düşünüyorum. Bunun gibi bir sorgu:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

78 kayıt döndürmek 22 saniye sürer.

Bu tabloda yaklaşık 53 milyon kayıt var.

Bunu önemli ölçüde hızlandırmanın bir yolu var mı? Ben hstore PostgreSQL 9 önemli ölçüde daha iyi uygulandığını duydum, yükseltme yardımcı olur mu?

Yöntemlerden biri, ilgilendiğiniz etiketleri sorgulamak ve bu kayıtları yeni bir tabloya yerleştirmektir. O zaman yeni tabloyu sadece 53 milyon kayıt yerine sorgulamanız gerekir. Veritabanınızı güncel tutmaya çalışıyorsanız, OSM'den her yeni veri aldığınızda bu sorguyu çalıştırabilirsiniz.

Hstore sütununuz için bir dizin oluşturmayı deneyebilirsiniz,

CREATE INDEX nodes_tags_idx ON nodes USING GIST(tags)

ve ardından ?sorguyu yalnızca bu satırlarla sınırlamak için işleci kullanın:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326));

St_within ve _st_within işlevleri hızlarıyla bilinmemektedir. && operatörü geometri yerine bbox'ı kontrol edeceğinden yardımcı olabilir

Aşağıdakileri deneyebilirsiniz:

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n 
  INNER JOIN users AS u ON n.user_id = u.id 
  WHERE tags ? 'man_made'
  AND tags->'man_made'='surveillance' 
  AND geom && ST_SetSRID('BOX3D(4 52,5 53)'::box3d,4326);

Performansla ilgili daha fazla ipucu için: http://postgis.refractions.net/docs/ch06.html

Sorgunuzla ilgili sorun tags->'man_made'='surveillance'yan tümcedir. Bu, Postgres'i hstore etiketlerini genişletmeye zorlar ve dizinin kullanılmasına izin vermez. Bunu @>(içerir) kullanarak yeniden yazarsanız , dizin kullanımına izin verir.

Bir dikdörtgeni sorguladığınız için &&ST_Within yerine kullanabilirsiniz . ST_Within değerlendirmek o kadar karmaşık değil ve ST_Within dolaylı olarak bir &&kontrol yapar, çünkü bu küçük bir kazanç olacaktır .

Ek bir hız artışı, etiketlerde GIST dizini yerine bir GIN dizini kullanmak olacaktır. GIN dizinlerinin oluşturulması daha uzun sürer, ancak daha hızlıdır.

Sorgunun tamamı

SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n INNER JOIN users AS u ON n.user_id = u.id WHERE tags @> hstore('man_made', 'surveillance') AND geom && ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326);

Belirli bir etiketi çok fazla sorgulayacağınızı biliyorsanız, üzerinde kısmi bir dizin oluşturabilirsiniz CREATE INDEX ON nodes ( tags->'man_made' ) WHERE (tags->'man_made' IS NOT NULL);.

Bu, WHERE koşulunun tags->'man_made'='surveillance'dizini kullanmasına izin verecektir . Ne yazık ki, bu dizin @>sorgulara yardımcı olamaz ve GIN veya GIST dizinleri tags->'foo'sorgulara yardımcı olamaz , bu nedenle sorguları sahip olduğunuz dizinlerle eşleştirmeniz gerekir.

bunun yerine şunu deneyin:

N.geom, n.tags, n.tstamp, u.name SEÇİMİ düğümlerden AS n INNER JOIN kullanıcıları AS u ON olarak n.user_id = u.id NEREDE etiketleri @> 'man_made => surveillance' :: hstore AND ST_Within (geom , ST_GeomFromText ('POLYGON ((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))', 4326));