Olası RDBMS herhangi birini kullanarak bir veritabanı oluşturmak istiyorum. Yaklaşık 150 sütunlu bir tablo olacaktır. Amaç, diğer bazı nesnelerin en yakın komşu araştırmasını yapmaktır. Yani 150 boyutlu uzayda bir NNS.

Zaten L1 veya L2 mesafeleri gibi bazı bariz yöntemleri kullanmaya çalıştım, ancak elbette birçok satır içeren tablolar için çok zaman alıyor. Ayrıca KD-ağacına (test etmedim not) ve PG-Strom'a bakmaya çalıştım ama çok boyutlu veriler için iyi bir çözüm değiller.

Matematik yöntemlerini (KD ağacı gibi) veya teknoloji yöntemlerini (PG-Strom gibi) kullanarak bir şekilde açıklanan aramanın hızını artırabilir miyim?

NNS hızını artırmak için izin herhangi bir RDBMS kullanmaya çalışacağım. Ancak MySQL ve PostgreSQL benim için en uygun DBMS.

PostgreSQL 9.6 kullanarak cube

Önce küp uzantısını yükleyin

CREATE EXTENSION cube;

Şimdi 50 boyutta 100.000 noktaya sahip n boyutlu bir alan yaratacağız. Ayrıca bir GIST endeksi ekleyeceğiz.

CREATE TEMP TABLE space_nd
AS
  SELECT i, cube(array_agg(random()::float)) AS c
  FROM generate_series(1,1e5) AS i
  CROSS JOIN LATERAL generate_series(1,50)
    AS x
  GROUP BY i;

CREATE INDEX ON space_nd USING gist ( c );
ANALYZE space_nd;

Şimdi tek bir nokta oluşturacağız ve <->operatörü Eucledian mesafesini kullanarak en yakın noktayı bulmak için kullanacağız.

WITH points AS (
  SELECT cube(array_agg(random()::float)) AS c
  FROM generate_series(1,50)
    AS x
)
SELECT i,
  pg_typeof(space_nd.c),
  pg_typeof(points.c),
  cube_distance(space_nd.c, points.c)
FROM space_nd
CROSS JOIN points
ORDER BY space_nd.c <-> points.c
LIMIT 5;

PostgreSQL 9.6+, diğer mesafe operatörlerini destekler cube. Bunların tümü oluşturduğumuz GIST dizinini kullanabilir. Yani,

a <-> b float8  Euclidean distance between a and b.
a <#> b float8  Taxicab (L-1 metric) distance between a and b.
a <=> b float8  Chebyshev (L-inf metric) distance between a and b.

Bir uyarı olduğunu söyledi,

İnsanların bir şeyleri kırmasını zorlaştırmak için , küplerin boyutlarında 100'lük bir sınır vardır. Daha büyük bir şeye ihtiyacınız varsa, cubedata.h dosyasında ayarlanır.

150 boyut istersiniz. Bu küçük bir komplikasyon oluşturabilir.

İlk olarak boyut küçültmeyi gerçekleştirmeyi düşünün (örn. Temel Bileşen Analizi).

Daha sonra, daha yüksek performansa sahip az sayıda boyutta NN yapıyorsunuz.

Gerekirse postgres içinde PCA gerçekleştirmek için Pl / R kullanabilirsiniz.

FLANN ve OpenCV'ye bir göz atın .

Ne yazık ki bunun bir RDBMS sistemine entegrasyonunun farkında değilim. Ancak, örneğin kimyasal yapı bilgilerinin Posgres ile entegrasyonu vardır. Prensip olarak bu yapılabilir.

Https://github.com/a-mma/AquilaDB adresine bir göz atın , Özellik Vektörlerini JSON Meta Verileri ile birlikte depolamak için bir vektör veritabanıdır. RDBMS'nizle birlikte saklayın ve veriler arasında çapraz referansı korumak için meta verileri kullanın.