Bir bilgisayarın, kullanıcı tarafından sağlanan örneklerle bir düzenli ifadeyi "öğrenmesi" mümkün müdür?

Bir bilgisayarın, kullanıcı tarafından sağlanan örneklerle bir düzenli ifadeyi "öğrenmesi" mümkün müdür?

Netleştirmek için:

• Ben do not normal ifadeler öğrenmek istiyorum.
• Bir kullanıcı tarafından etkileşimli olarak sağlanan örneklerden düzenli ifadeyi "öğrenen" bir program yaratmak istiyorum, örneğin bir metinden bölümler seçerek veya başlangıç ​​veya bitiş işaretlerini seçerek.

Mümkün mü? Google’ın kullanabileceği algoritmalar, anahtar kelimeler vb. Var mı?

DÜZENLEME : Cevaplar için teşekkür ederim, ancak bu özelliği sağlayan araçlarla ilgilenmiyorum . Makaleler, öğreticiler, kaynak kodu, algoritma adları gibi teorik bilgiler arıyorum, böylece kendim için bir şeyler yaratabilirim.

Hesaplamalı Öğrenme Teorisine Giriş kitabı , sonlu bir otomatı öğrenmek için bir algoritma içerir. Her normal dil, sonlu bir otomata eşdeğer olduğundan, bir program tarafından bazı düzenli ifadeleri öğrenmek mümkündür. Kearns ve Valiant , sonlu bir otomat öğrenmenin mümkün olmadığı bazı durumlar gösteriyor. Bununla ilgili bir problem, bir karakter dizisini tanımlayabilen olasılıksal otomatlar olan gizli Markov Modellerini öğrenmektir . Programlama dillerinde kullanılan çoğu modern "normal ifadeler" aslında normal dillerden daha güçlüdür ve bu nedenle bazen öğrenmesi daha zordur.

Evet, mümkün, örneklerden normal ifadeler oluşturabiliriz (metin -> istenen ayıklamalar). Bu, işi yapan, çalışan bir çevrimiçi araçtır: http://regex.inginf.units.it/

Regex Generator ++ çevrimiçi aracı, bir GP arama algoritması kullanarak sağlanan örneklerden bir normal ifade oluşturur. GP algoritması, daha yüksek performans ve daha basit çözüm yapısına (Occam's Razor) yol açan çok amaçlı bir uygunluk tarafından yönlendirilir. Bu araç, Machine Lerning Lab, Trieste Univeristy (Università degli studi di Trieste) tarafından yapılan demostatif bir uygulamadır. Video eğitimi bakınız burada .

Bu bir araştırma projesidir, bu yüzden burada kullanılan algoritmalar hakkında okuyabilirsiniz .

Seyretmek! :-)

Örneklerden anlamlı bir normal ifade / çözüm bulmak, ancak ve ancak sağlanan örnekler sorunu iyi açıklarsa mümkündür. Bir çıkarma görevini açıklayan bu örnekleri düşünün, biz belirli ürün kodlarını arıyoruz; örnekler metin / çıkarma çiftleridir:

"The product code is 467-345A" -> "467-345A"
"The item 789-345B is broken"  -> "789-345B"

Örneklere bakan (insan) bir adam şunu söyleyebilir: "öğe kodları \ d ++ - 345 [AB] gibi şeylerdir"

Ürün kodu daha izin verici olduğunda, ancak başka örnekler vermediğimizde, sorunu iyi anlamak için kanıtlarımız yok. İnsan tarafından oluşturulan çözümü \ d ++ - 345 [AB] aşağıdaki metne uygularken başarısız olur:

"On the back of the item there is a code: 966-347Z"

Eşleşmenin ne olduğunu ve neyin istenen eşleşme olmadığını daha iyi açıklamak için başka örnekler vermelisiniz: --ie:

"My phone is +39-128-3905 , and the phone product id is 966-347Z" -> "966-347Z"

Telefon numarası bir ürün kimliği değildir, bu önemli bir kanıt olabilir.

Hiçbir bilgisayar programı, yalnızca geçerli eşleşmeler listesine dayalı olarak anlamlı bir düzenli ifade oluşturamaz . Size nedenini göstereyim.

Bilgisayarın aşağıdakileri oluşturması durumunda 111111 ve 999999 örneklerini sağladığınızı varsayalım:

1. Tam olarak bu iki örnekle eşleşen bir normal ifade: (111111|999999)
2. 6 aynı basamakla eşleşen bir normal ifade (\d)\1{5}
3. 6 birler ve dokuzlarla eşleşen bir normal ifade [19]{6}
4. Herhangi bir 6 basamakla eşleşen bir normal ifade \d{6}
5. Yukarıdaki üçten herhangi biri, kelime sınırları ile, ör. \b\d{6}\b
6. İlk üçten herhangi biri, öncesinde veya sonrasında bir rakam gelmez, ör. (?<!\d)\d{6}(?!\d)

Gördüğünüz gibi, örnekleri bir normal ifadeye genelleştirmenin birçok yolu vardır. Bilgisayarın öngörülebilir bir normal ifade oluşturmasının tek yolu, tüm olası eşleşmeleri listelemenizi istemektir . Daha sonra bu eşleşmelerle tam olarak eşleşen bir arama modeli oluşturabilir.

Tüm olası eşleşmeleri listelemek istemiyorsanız, daha yüksek düzeyde bir açıklamaya ihtiyacınız vardır. Normal ifadelerin tam olarak sağlamak için tasarlandığı şey budur. 6 basamaklı sayılardan oluşan uzun bir liste sağlamak yerine, programa "herhangi bir altı basamakla" eşleşmesini söyleyin. Normal ifade sözdiziminde bu, \ d {6} olur.

Normal ifadeler kadar esnek olan üst düzey bir açıklama sağlamanın herhangi bir yöntemi de normal ifadeler kadar karmaşık olacaktır. RegexBuddy gibi tüm araçların yapabileceği, üst düzey açıklamayı oluşturmayı ve test etmeyi kolaylaştırmaktır. Doğrudan düzenli ifade sözdizimini kullanmak yerine, RegexBuddy, düz İngilizce yapı taşlarını kullanmanızı sağlar. Ancak sizin için üst düzey tanımlamayı yaratamaz çünkü örneklerinizi ne zaman genellemesi gerektiğini ve ne zaman genellememesi gerektiğini sihirli bir şekilde bilemez.

Normal bir ifade oluşturmak için kullanıcı tarafından sağlanan kılavuzlarla birlikte örnek metni kullanan bir araç oluşturmak kesinlikle mümkündür. Böyle bir aracı tasarlamanın zor kısmı, kullanıcının ihtiyaç duyduğu yol gösterici bilgileri, aracı normal ifadelerden daha zorlaştırmadan ve aracı genel düzenli ifadelerle veya basit normal ifadelerle sınırlamadan nasıl istemesidir.

Evet, kesinlikle "mümkün"; İşte sözde kod:

string MakeRegexFromExamples(<listOfPosExamples>, <listOfNegExamples>)
{
   if HasIntersection(<listOfPosExamples>, <listOfNegExamples>)
     return <IntersectionError>

   string regex = "";
   foreach(string example in <listOfPosExamples>)
   {
      if(regex != "")
      {
         regex += "|";
      }
      regex += DoRegexEscaping(example);
   }
   regex = "^(" + regex + ")$";

   // Ignore <listOfNegExamples>; they're excluded by definition

   return regex;
}

Sorun, bir örnek listesiyle eşleşen sonsuz sayıda normal ifade olmasıdır. Bu kod, kümedeki en basit / en aptal normal ifadeyi sağlar, temelde olumlu örnekler listesindeki herhangi bir şeyle eşleşir (ve olumsuz örnekler dahil hiçbir şey dahil değildir).

Sanırım asıl zorluk, tüm örneklerle eşleşen en kısa normal ifadeyi bulmak olacaktır, ancak o zaman bile, kullanıcının ortaya çıkan ifadenin "doğru olan" olduğundan emin olmak için çok iyi girdiler sağlaması gerekir.

Terimin "indüksiyon" olduğuna inanıyorum. Düzenli bir dilbilgisi oluşturmak istiyorsunuz.

Sonlu bir dizi örnekle (olumlu veya olumsuz) bunun mümkün olduğunu sanmıyorum. Ancak, doğru hatırlıyorsam, danışılabilecek bir Oracle varsa yapılabilir. (Temel olarak, programın içeriği olana kadar kullanıcıya evet / hayır soruları sormasına izin vermeniz gerekir.)

Bu siteyle biraz oynamak isteyebilirsiniz, oldukça havalı ve bahsettiğiniz şeye benzer bir şey yapıyor gibi görünüyor: http://txt2re.com

Prolog'a dayanan bu gibi problemlere adanmış bir dil var. Buna progol denir .

Diğerlerinin de belirttiği gibi, temel fikir, yapay zeka çevrelerinde genellikle ILP ( tümevarımlı mantık programlama ) olarak adlandırılan tümevarımlı öğrenmedir .

İkinci bağlantı, konu hakkında daha fazla bilgi edinmek istiyorsanız, birçok yararlı kaynak materyal içeren ILP hakkındaki wiki makalesidir.

@ Yuval doğru. Hesaplamalı öğrenme teorisine veya "tümevarımlı çıkarım" a bakıyorsunuz.

Soru düşündüğünüzden daha karmaşıktır, çünkü "öğrenmek" in tanımı önemsiz değildir. Yaygın bir tanım, öğrencinin istediği zaman cevaplar verebilmesidir, ancak sonunda ya cevapları tükürmeyi bırakmalı ya da her zaman aynı cevabı söylemelidir. Bu, sonsuz sayıda girdi varsayar ve programın ne zaman karara varacağına dair kesinlikle hiçbir ipucu vermez. Ayrıca, kararına ne zaman ulaştığını bilemezsiniz çünkü daha sonra yine de farklı bir şey çıktı verebilir.

Bu tanıma göre, normal dillerin öğrenilebilir olduğundan oldukça eminim. Diğer tanımlara göre, o kadar değil ...

Google ve CiteSeer üzerinde biraz araştırma yaptım ve şu teknikleri / belgeleri buldum:

• Limitte dil tanımlama
• Muhtemelen yaklaşık olarak doğru öğrenme

Ayrıca Dana Angluin'in "Sorgulardan ve karşı örneklerden düzenli setleri öğrenme" ümit verici görünüyor, ancak bir PS veya PDF sürümünü bulamadım, yalnızca alıntılar ve seminer makaleleri.

Görünüşe göre bu teorik düzeyde bile zor bir problem.

Bir kişinin düzenli bir ifadeyi öğrenmesi mümkünse, o zaman bir program için temelde mümkündür. Ancak, bu programın öğrenilebilmesi için doğru şekilde programlanması gerekecektir. Neyse ki, bu oldukça sınırlı bir mantık alanıdır, bu nedenle bir programa nesneleri veya bunun gibi bir şeyi görebilmeyi öğretmek kadar karmaşık olmaz.