300.000 adresi anında nasıl kodlayabilirsiniz?

Haritada gösterilecek 300.000 adrese sahip bir veritabanım var. Tüm adresi coğrafi olarak kodlarsam, benim için çok pahalı olacağını biliyorum. Bu yüzden bir adres (özellik adresi) bir kullanıcı seçtiğinde veritabanını aramak ve daha sonra adresi coğrafi kodlamak ve daha sonra eşlemek için adresi anında / gerçek zamanlı olarak coğrafi kodlamak mümkün olup olmadığını merak ediyordum diğer özellikler.

Bir kodu, konsepti veya herhangi bir şeyi paylaşabilmeniz gerçekten güzel olurdu. Bu arada arka ucum Joomla tarafından desteklenen mysql'de.

Mehul, adres doğrulama sektöründe SmartyStreets adlı bir şirketle çalışıyordum. Orada çok sayıda coğrafi kodlama hizmeti var, ancak sadece birkaç tanesi ihtiyacınız olan hacimde toplu işlemeyi destekleyecek. (Google ve diğerleri, API'lerinin toplu olarak kullanılmasına veya sonuçların depolanmasına / önbelleğe alınmasına izin vermez.)

MySQL veritabanınıza gidip adresleri içeren tablonuzun dışa aktarımını gerçekleştirirseniz, bunu örneğin bir CSV dosyası olarak kaydedin. Daha sonra SmartyList web aracını veya komut satırı aracını kullanarak işleyebilirsiniz . Dediğim gibi, orada birkaç hizmet var, ama sanırım adreslerin varlığını da doğrulayan bir şey isteyeceksiniz (bu nedenle coğrafi kodlamanın nedeni) - adres yanlış veya eksikse, coğrafi kodlama sonuçları da . Bunu sadece birkaç servis yapıyor.

LiveAddress, USPS tarafından CASS Sertifikalı bir hizmettir . Orada birkaç araştırma kadar yapmak, ama bir şey istiyorum "anında" / hızlı ve ucuz bu yüzden tekrar LiveAddress öneririz. Sadece adresi doğrulamakla kalmayacak, daha sonra istediğiniz enlem / boylam bilgisini ve coğrafi kodlama sonuçlarının kesinliğini de sağlayacaktır. Her şey web tabanlıdır ve hiçbir zaman on milyonlarca kaydı işleyecektir ( bu soruyu referans olarak bakın ).

Kullanıcılar etkileşimde bulunurken adresleri coğrafi olarak kodlamanız gerekiyorsa, LiveAddress'in hemen hemen her şeye ekleyebileceği bir API sürümü de vardır ve aynı zamanda anında toplu işlemeyi destekler, ancak bir kerelik değil bir abonelik olarak ödenir ödeme.

Python'u beğendiyseniz , GDAL Python bağları veya Fiona ile birlikte GeoPy API'sini kullanabilir ve adresleri bir nokta şekil dosyasına dönüştürmek için böyle çok basit bir komut dosyası oluşturabilirsiniz.

Bu, 'address_to_geocode' adlı bir dosyayı coğrafi olarak konumlandırarak my_output klasöründe 'my_output.shp' adlı bir çıktı şekli dosyası oluşturur:

import os
from geopy import geocoders
from osgeo import ogr, osr

def geocode(address):
    g = geocoders.GoogleV3()
    place, (lat, lng) = g.geocode(address)
    print '%s: %.5f, %.5f' % (place, lat, lng)
    return place, lat, lng

def parse_file(filepath, output_shape):
    # create the shapefile
    drv = ogr.GetDriverByName("ESRI Shapefile")
    if os.path.exists(output_shape):
        drv.DeleteDataSource(output_shape)
    ds = drv.CreateDataSource(output_shape)
    # spatial reference
    sr = osr.SpatialReference()
    sr.ImportFromProj4('+proj=longlat +ellps=WGS84 +datum=WGS84 +no_defs')
    lyr = ds.CreateLayer(output_shape, sr, ogr.wkbPoint)
    # fields
    featDefn = lyr.GetLayerDefn()
    fld_id = ogr.FieldDefn('id', ogr.OFTInteger)
    fld_address = ogr.FieldDefn('ADDRESS', ogr.OFTString)
    fld_address.SetWidth(255)
    lyr.CreateField(fld_id)
    lyr.CreateField(fld_address)
    print 'Shapefile %s created...' % ds.name
    # read text addresses file
    i = 0
    f = open(filepath, 'r')
    for address in f:
        try:
            print 'Geocoding %s' % address
            place, lat, lng = geocode(address)
            point = ogr.Geometry(ogr.wkbPoint)
            point.SetPoint(0, lng, lat)
            feat = ogr.Feature(lyr.GetLayerDefn())
            feat.SetGeometry(point)
            feat.SetField('id', i)
            feat.SetField('ADDRESS', address)
            lyr.CreateFeature(feat)
            feat.Destroy()
            i = i + 1
        except:
            print 'Error, skipping address...'

parse_file('addresses_to_geocode', 'my_output')

Dosyanın, örneğin tek bir adres için yalnızca bir satırı olması gerekir:

Via Benedetto Croce 112, Rome, Italy
Via Aristide Leonori 46, Rome, Italy
Viale Marconi 197, Rome, Italy

Burada Google API kullanıyorum, ancak GeoPy ile Yahoo !, GeoNames veya MapPoint gibi farklı API'lara geçmek çok basit .

Sorununuzu çözmek için başka bir seçenek, veri kümenizi füzyon tablolarına aktarmak ve adres alanını konum olarak ayarlamak olacaktır. Ardından noktaları otomatik olarak kodlar. Tamamlandığında, verileri KML olarak dışa aktarabilirsiniz.

Ya da alternatif olarak, 50.000 kayıt sınırına sahip yahoo geocoder'ı kullanmak için bir php betiği yazabilirsiniz, bu yüzden er ya da geç tüm noktalarınız veritabanınızda coğrafi kodlanmış olacaktır.

Umarım bu yardımcı olmuştur!

bugüne kadar kullandığım en iyi ve en kolay geocoder https://pypi.python.org/pypi/geocoder/1.8.0 bing haritaları, google haritaları, OSM vb.

Sorunuza en iyi cevap olmayabilir, ancak BatchGeo'yu deneyebilirsiniz. Ücretsiz sürüm, çok fazla acı çekmenizi sağlar, ancak yine de işim için yeterince iyiydi. Yine de, pro sürümünü satın aldık.

KML dosyasından koordinat almanın hilesi daha sonra ArcGIS'e aktarmaktır.

Google coğrafi kodlama web hizmetini kullanan geopy'yi başarıyla kullanıyorum. 24 saatte 2k noktaya kadar mükemmel çalışır.

Matej, Thats çünkü Google API günde 2.5k çekmeye izin veriyor.
Geo çözümü hakkında, toplu iş henüz desteklenmediği için, coğrafi python kodunu incelememden, her yeni bir kordinat istediğinde bağlantıyı açtığı görülüyor, 300k muhtemelen sonsuza kadar sıkışacak (muhtemelen hata 400 ile).
Poligonlar ile oynamak hile yapmalıdır, ancak 1 ülke veya n ülke ise 'Oyun alanı' alanınıza bağlıdır.
1 ülke için çokgenler oldukça iyi çalışmalıdır.
N ülke için çözüm işe yaramaz, çünkü başka bir ülke eklediğinizde koleksiyon daha uzun sürer. Bunu yapmak için en iyi yaklaşım tembel yüktür.
=> çokgen fikriyle başlayın, başka bir ülkedeki her şey, verileri tutmak için büyük bir veritabanı tablosu oluşturun, sonunda ihtiyacınız olan verileri tutacağınızı varsayalım.

PHP - MySQL ile yapmak istiyorsanız işte benim için çalışan bir çözüm:

<script type="text/javascript" charset="utf-8">

    var customIcons = {
      restaurant: {
        icon: 'http://labs.google.com/ridefinder/images/mm_20_blue.png',
        shadow: 'http://labs.google.com/ridefinder/images/mm_20_shadow.png'
      },
      bar: {
        icon: 'http://labs.google.com/ridefinder/images/mm_20_red.png',
        shadow: 'http://labs.google.com/ridefinder/images/mm_20_shadow.png'
      },
      club:
      {
        icon: 'http://labs.google.com/ridefinder/images/mm_20_yellow.png',
        shadow: 'http://labs.google.com/ridefinder/images/mm_20_shadow.png' 
      },
      church:
      {
        icon: 'http://labs.google.com/ridefinder/images/mm_20_green.png',
        shadow: 'http://labs.google.com/ridefinder/images/mm_20_shadow.png' 
      }
    };

      function initialize() 
      {
        var mapOptions = {
          center: new google.maps.LatLng(37.976178, 23.735881),
          zoom: 7,
          mapTypeId: google.maps.MapTypeId.roadmap
        };
        var map = new google.maps.Map(document.getElementById("map-canvas"),
            mapOptions);
        <?php header("content-type: text/html;charset=utf-8");
        $getpoints = "SELECT lat, lng, name, address, type FROM markers";
        $getpoints .= $filter;

        if(!$result = $con->query($getpoints)){
        die('There was an error running the query 
        [' . $con->error . ']');
        }

        else 
        {
            while ($row = $result->fetch_assoc()) 
            {
                $thematic = "'$row[type]'";
                $name = "'$row[name]'";
                $map_address = "$row[address]";

                $url = "http://maps.googleapis.com/maps/api/geocode/json?sensor=false&address=".urlencode($map_address);
                $lat_long = get_object_vars(json_decode(file_get_contents($url)));

                // pick out what we need (lat,lng)
                $lat_long = $lat_long['results'][0]->geometry->location->lat . "," . $lat_long['results'][0]->geometry->location->lng;

                echo "var myLatlng1 = new google.maps.LatLng($lat_long); 
                var icon = customIcons[$thematic] || {};
                var marker1 = new google.maps.Marker({ 
                position: myLatlng1, 
                map: map,
                icon: icon.icon,
                title: '$map_address'
                });";           
            }
        }       

        ?>    
      }

      google.maps.event.addDomListener(window, 'load', initialize);
    </script>

Bu coğrafi kodlama API'sını deneyin . Küçük kullanım için ücretsizdir ancak daha fazlasını isterseniz ödeme yaparsınız. Ancak ucuz ve bu kadar kolay işleyebilir, ben ayda milyonlarca iş.

Verilerinizi bir metin dosyası (her satıra bir kayıt) olarak kaydedebilir ve bu hizmeti kullanarak coğrafi olarak toplu olarak kodlayabilirsiniz: http://geocode.xyz/batch (çoğu avrupa ülkesi için çalışır)

veya REST / JSON API'sına erişmek için kendi kodunuzu yazabilirsiniz: http://geocode.xyz/api (sınırsız arama için ücretsizdir)

Harita İşaretleme araçlarını kullanma (Harita işaretleme | Toplu Coğrafi Kodlama Aracı ( http://www.mappointing.com/ )) Bu araçta Google harita ücretsiz API anahtarını kullanarak verileri işleyebilirsiniz. Ve ayrıca bu araç Mesafe hesaplama ve Yer arama aracı sağlar.