Dizeleri ayrıştırmak için makine öğrenme teknikleri?

Çok fazla adres dizgim var:

1600 Pennsylvania Ave, Washington, DC 20500 USA

Onları bileşenlerine göre ayrıştırmak istiyorum:

street: 1600 Pennsylvania Ave
city: Washington
province: DC
postcode: 20500
country: USA

Ancak elbette veriler kirli: birçok ülkede birçok dilde geliyor, farklı şekillerde yazılmış, yazım hataları var, eksik parçalar var, fazladan önemsiz şeyler var.

Şu anda yaklaşımımız bulanık gazete eşleştirme ile birleştirilmiş kurallar kullanmak, ancak makine öğrenme tekniklerini araştırmak istiyoruz. Denetimli öğrenme için eğitim verilerini etiketledik. Asıl soru, bu nasıl bir makine öğrenmesi problemi? Gerçekten kümelenme, sınıflandırma veya gerileme gibi görünmüyor.

En yakınımda bulabildiğim en yakın şey, her bir simgeyi sınıflandırmak olacaktır, ancak o zaman hepsini aynı anda sınıflandırmak istersiniz; ve gerçekten bir dizgiyi tokenize etmenin birçok yolu var, ve her birini denemek ve en iyisini seçmek istiyorsunuz.

Öyleyse: adresleri ayrıştırmak için hangi makine öğrenme tekniklerini keşfedebilirim?

Bu, bir dizi jetona sahip olduğunuz ve her biri için bir sınıflandırma yapmak istediğiniz bir dizi etiketleme sorunu olarak görülebilir . Sorunu çözmek için gizli Markov modellerini (HMM) veya koşullu rasgele alanları (CRF) kullanabilirsiniz. Mallet adlı bir açık kaynak paketinde HMM ve CRF'nin iyi uygulamaları var .

Örnekte, girişi aşağıdaki biçime dönüştürmelisiniz. Ayrıca, ekstra özellikler üretmelisiniz.

1600 STREET
Pennsylvania STREET
Ave STREET
, OUT
Washington CITY
, OUT
DC PROVINCE
20500 POSTCODE
USA COUNTRY

Bir adresin geçerli veya geçersiz olup olmadığını doğrulamak için benzer bir sorunu çözmek zorunda kaldım.

Adres genellikle "1600 Pennsylvania Ave, Washington DC, 20500" yapısına sahiptir.

Gibi bir dize

“2000 basamaktan düştüm ve Washington DC'de Pennsylvania Ave'ye ulaştım.”

geçerli bir adres değil.

Bu, SVM, Yapay Sinir Ağları vb. Gibi sınıflandırma teknikleriyle çözülebilir.

Fikir, bir anahtar özellikler seti tanımlamaktır. Bunlardan bazıları olabilir:

1) Sokak adı geçerli bir blok numarasıyla mı başlıyor? ABD blok numaralarının çoğu ya sayılardır (örneğin 1200) veya tek bir harfle (120A) izleyen bir sayı veya tek bir harften sonra bir sayıdır (örneğin S200).

2) Adres iyi biçimlendirilmişse, cadde adları cadde için Ave, Drive için Dr, Boulevard için Blvd gibi son eklerle biter. ABD sokak eki listesini USPS sitesinden elde etmek mümkündür.

3) Sokak adresi alanındaki kelimelerin sayısı da ilginç bir özellik olabilir. Çok fazla kelime varsa, muhtemelen geçerli bir adres değil. Örneğin yukarıdaki örneğe bakınız.

4) Adres alanı içinde blok numarası ile sokak eki arasında kaç kelime var?

Bunlar bir öğrenme algoritmasını eğitmek için kullanılabilir ve elde edilen model verilen bir adresin geçerli olup olmadığını doğrulamak için kullanılabilir.

Bu, kendi çözümünüzü gerektirmeyen bir keskidir: ters coğrafi kodlama. Bu size ya temiz veriler verebilir ya da aslında tüm işleri sizin için yapabilir.

Örneğin, işte geocode3Google’ı kullanan SSC’den bazı Stata kodları . Sanırım bu Fuzzy Gazetteer'e benziyor . İlk adres oldukça dağınık, ikincisi temiz, üçüncüsü yabancı. Başka bir yazılım da bununla başa çıkabilir.

clear
set obs 3
gen address =""
replace address = "Big Foot Museum in Felton CA" in 1
replace address = "1600 Pennsylvania Ave, Washington, DC 20500 USA" in 2 
replace address = "ул. Ильинка, д. 23 103132, Москва, Россия" in 3
geocode3, address(address)
gen coord = string(g_lat) + "," + string(g_lon)
geocode3, reverse coord(coord)

Bu oldukça iyi çalışıyor:

. list r_addr , clean noobs

                                                                             r_addr  
                                      121 San Lorenzo Avenue, Felton, CA 95018, USA  
    1600 Pennsylvania Avenue Northwest, President's Park, Washington, DC 20500, USA  
                                         ulitsa Ilyinka, 23, Moscow, Russia, 101000  

Kremlin'in oldukça farklı bir formatı var.

Bu iki yönlü LSTM sınıflandırmasıyla çözülecek bir problem gibi gözüküyor. Örneğin, her bir karakteri bir kategori olarak etiketlersiniz.

cadde: 1 şehir: 2 il: 3 posta kodu: 4 ülke: 5

1600 Pennsylvania Ave, Washington, DC 20500 USA
111111111111111111111, 2222222222, 33 44444 555

Şimdi, sınıflandırıcınızı bu etiketlere göre eğitin. Boom!