İngilizce dili bir dizi dilbilgisi kuralları kullanılarak genelleştirilebilir mi?

Programlama dillerinde, geçerli ifadelerin ve ifadelerin yapımını düzenleyen bir dizi dilbilgisi kuralı vardır. Bu kurallar, kullanıcı tarafından yazılan programların ayrıştırılmasına yardımcı olur.

İngilizce'deki herhangi bir ifadeyi (yerel ayara özgü) doğru bir şekilde ayrıştırabilen ve AI tabanlı projelerde kullanılmak üzere uygulanabilecek işlevsel olarak eksiksiz bir dilbilgisi kuralları seti olabilir mi?

Çevrimiçi olarak çok sayıda NLP Araç Seti olduğunu biliyorum, ancak bu kadar etkili değiller. Çoğu, bazen bir ifadenin çeşitli bölümleri arasında bazı karmaşık korelasyonları çıkartamayan özel kümeler kullanılarak eğitilir.

Başka bir deyişle, bir bilgisayarın İngilizce olarak yazılmış, yetişkin bir İngilizce konuşan insan tarafından ayrıştırılmış gibi iyi yazılmış bir cümleyi ayrıştırması mümkün ise, soruyorum.

DÜZENLEME: Basit dilbilgisi kuralları kullanılarak temsil edilemezse, genelleştirmek için ne tür bir anlamsal yapı kullanılabilir?

EDIT2: Bu makale , doğal dillerde bağlam-zayıflığın olmadığını kanıtlamaktadır. Çok karmaşık olsa bile bir çözüm arıyorum.

İngilizce'deki herhangi bir ifadeyi (yerel ayara özgü) doğru bir şekilde ayrıştırabilen ve AI tabanlı projelerde kullanılmak üzere uygulanabilecek işlevsel olarak eksiksiz bir dilbilgisi kuralları seti olabilir mi?

Ayrıştırın evet, büyük olasılıkla hayır.

Neden ?

Seslerden nasıl anlam çıkardığım konusundaki anlayışım doğrultusunda 2 tamamlayıcı strateji var:

Gramer Kuralları: İletişimi kolaylaştırmak için sözcükleri sıralamak için kural tabanlı bir sistem, burada anlam ayrık seslerin etkileşiminden ve bağımsız anlamlarından türetilmiştir, böylece bir cümleyi kural kitabına dayalı olarak ayrıştırabilirsiniz.

EG "Bu bir zaferdi" : ayrıştırıcı karşılık gelen anlamı olan bir zamiri ( Bu ) çıkarır (belirli bir kişi veya şey); karşılık gelen anlamı olan bir fiil ( oldu ); ( a ) ve burada bazı ayrıştırma problemleri ile başlıyoruz, ayrıştırıcı ne çıkarır, bir isim veya belirsiz bir makale? Bu yüzden dilbilgisi kural kitabına danışırız ve anlamına (herhangi birinden belirsiz bir makale) razı oluruz, bir sonraki kelimeyi ayrıştırmanız ve buna değinmeniz gerekir, ancak şimdilik bunun üzerinde parlaklaşalım ve son olarak ( isim) (bu bir fiil de olabilir, ancak dilbilgisi kural kitabı sayesinde şu anlama gelen bir isme yerleştik: (zafer, fetih), bu yüzden sonunda (anlamlara katılmak):

Zaferden belirli bir şey oldu. Yeterince yakın ve ben birkaç kural üzerinde parlıyorum, ama mesele bu değil, diğer strateji:

Sözcük sözlüğü (veya sözcük sözlüğü) Kelimelerin veya seslerin belirli bir anlamla ilişkilendirildiği yerler. Burada anlam, bir veya daha fazla kelime veya sesden birim olarak türetilir. Bu, sorunu bir ayrıştırıcıya tanıtır, çünkü hiçbir şey ayrıştırmamalıdır.

EG "Non Plus Ultra" Ve böylece AI ayrıştırıcısı, bu ifadenin ayrıştırılamayacağını ve bunun yerine anlamla eşleşeceğini kabul edecektir:

En yüksek nokta veya doruk noktası

Sözcüksel birimler, kendilerinin ilk örneğin bir parçası olabilmeleri için başka bir sorunu ortaya çıkarırlar ve böylece özyineleme ile sonuçlanırsınız.

bir bilgisayarın İngilizce konuşan yetişkin bir cümleyi İngilizce konuşan yetişkin bir insan tarafından ayrıştırılmış gibi ayrıştırması mümkün mü?

Mümkün olabileceğine inanıyorum, gördüğüm çoğu örnek gramer kural kitabı veya sözlük kısmı ile etkili bir şekilde ilgileniyor, ancak her ikisinin bir kombinasyonunun farkında değilim, ancak programlama açısından olabilir.

Ne yazık ki bu sorunu çözseniz bile, AI'nız şeyleri tam anlamıyla anlamıyor, aksine size çok ayrıntılı eşanlamlılar sunuyor, ek olarak bağlam (yorumlarda belirtildiği gibi) dilbilgisi ve sözlük stratejileri için bir rol oynuyor.

Basit dilbilgisi kuralları kullanılarak temsil edilemezse, genelleştirmek için ne tür bir anlamsal yapı kullanılabilir?

Hem gramer kurallarının hem de sözlüğün olduğu ve her ikisinin de AI'ya özgü bağlam ve deneyime bağlı olarak değişebileceği ve etkilenebileceği karma bir kural ve bu nesnelerle başa çıkmak için bir sistem bir yol olabilir.

İngilizcenin resmi bir tanımı olmadığı için cevabın en katı anlamda "hayır" olduğundan eminim. Yani, hiç kimse İngilizceyi kontrol edemez ve herkesin uyması gereken resmi bir dilbilgisi yayınlamaz. İngilizce, deneyimsel bir süreçle oluşturulur ve çelişkileri ve kusurları vardır, ancak insan zihninin olasılıksal doğası, bunlar üzerinde çalışmamıza izin verir.

Örneğin, bu "cümle":

Bu cümle fiil yok

Teknik olarak bu bir cümle değildir, çünkü bir fiili yoktur. Peki bunun ne anlama geldiğini anlamada herhangi bir sorun var mı? Şüpheli. Bunun için resmi bir kural bulmaya çalışın. Ve bu sadece bir örnek.

Şimdi, vakaların% 90'ını kapsayan ve çoğu pratik kullanım için "yeterince iyi" olan resmi bir dilbilgisi bulabilir misiniz? Muhtemelen, belki de muhtemelen. Ama% 100'e ulaşmanın mümkün olmadığından eminim.

Bunun iki yönlü, dairesel bir sorun olduğu sonucuna vardık: yapı bağlam olmadan çıkartılamaz, ancak yapıyı bilmek de bağlamı çıkarmaya yardımcı olur. İşte karmaşık çözümünüz: cümledeki kelimelerin birleşimi (kombinatorik ve arama sorunu) tarafından belirlenen bağlamla başlayın, oradan yapınızı belirleyin veya "ayrıştırın" (bu adımda bazılarını filtreleyebilirsiniz) önemsiz kelimeler veya en azından bunlara daha az ağırlık atayın), bağlama geri dönün, ayrıştırmaya geri dönün ve anlama gelene kadar devam edin. Böylece, yinelemeli, yinelemeli indirgeme ile tüm problem çözülebilir.

Tüm eski yorumlara kesinlikle katılmıyorum. Yanlış oldukları için değil, kasıtsız olsalar da - kasıtsız da olsa yanıltıcı oldukları için.

Örneğin: Eğer bu problemlere akademik bir konumdan bakarsanız, problemler her zaman aşılmaz görünecektir. Çünkü her şey soğuk olarak değerlendirilir ve diğer her şeye ayrı olarak hesaplanır.

Cevap ağırlıklı olarak kelime ilişkilendirmede yatmaktadır . Dijital kitapların geniş bir veritabanını işleyebilen, o kelimeyle ilişkili her kelimeyi ve tüm kelimeleri kaydetmek için bir program yazmanız gerekir. Artı her ilişkili kelime ve ilişkili noktalama işaretleri ile tüm istatistiksel bilgiler.

Bu size bir AI'nin birkaç şeye karar verebileceği temeli verecektir:

1. Belirli bir cümlenin yapısının doğru olup olmadığı.
2. Yapı kötüyse, söylenenlerin bağlamını ve niyetini belirlemek için olasılık nedir.
3. Çok yönlü bir kelimenin (Triumph) doğru anlamı ve uygulaması, olasılıklara göre - istatistiklere göre.
4. Bir konuşmanın nereye gideceğini belirlemek.
5. Doğru dilbilgisi ve noktalama işaretleri ne olmalıdır.

Sonuç olarak, aranacak iki şey var: İlişki ve olasılık.

Bir dil modelini dijital olarak veri tabanına alırken, kelime ve cümle "dizeleri" olasılığı oluşur, böylece herhangi bir cümledeki dil yapısının her varyasyonu, bir metin örneği yazılmadan önce, sırasında ve sonrasında belirlenebilir. Dil modeli kalıpları üzerindeki bu samimi kontrol, "özne" ve "nesne" gibi hassas bileşenlerin kodla kolayca belirlenebileceği anlamına gelir.