Alaycılığı tespit etmek için bir senaryo nasıl öğretilir? [kapalı]

Şu anda verilen cümleleri eşleştiren ve maç noktalarına göre önceden tanımlanmış bir yanıt veren eğlenceli bir komut dosyası oluşturuyorum. Canlı yayınlara dayalı bazı bilgileri almasını, görevleri çalıştırmasını, fıkra anlatmasını veya sadece onunla sohbet etmesini isteyebilirsiniz.

Zaten kötü amaçlı yazılımlar, büyük harf kilidi veya her ikisi için yerleşik algılama var. Programın bir kız adı var ve mantık terimleriyle, kız gibi bir kız olmaya mümkün olduğunca yakın yapmaya çalıştım (örneğin: herkes, kız gibi genç kızların bir soruya cevap vermek, elbette şaka yapmak için 700ms aldığını biliyor). İşte size küçük bir örnek:

Müşteri: SORUNUNUZ NEDİR?
Kiku: BENİMLE YAPILAN TONU KULLANMAYIN!
Müşteri: #### you
Kiku: neden benim için bu kadar kaba davranıyorsun: /

Ancak, gerçekten alaycı özellik eklemek istiyorum. Yani alaycı bir şey yazarsanız, onu algılar ve buna göre cevap verir. Şimdi bu zor bir kısım, Senaryoyu nasıl öğretirsiniz, alaycılık nedir?

Bana göre daha spesifik. Bugün kullanılan en yaygın alaycı kelimeler nelerdir? Ya da bu istatistiği nasıl edinebilirim? Komut dosyasının verilen ifadenin içeriğini anlamasını nasıl sağlayabilirim?

GÜNCELLEME

Bu soru hype çok şey alıyor gibi, ben şeyler biraz daha temizlenmelidir düşünüyorum. Bir senaryoyu alaycılığı tam olarak tespit etmenin temelde imkansız olduğu çok açıktır. En azından makul bir konu. Ancak, bir miktar olası alaycılığın tespit edilebileceğine inanıyorum.

Şu anda bunu yaptım, senaryom çok sınırlı bir alaycılığı tespit edebilir. Bazı yaygın alaycı kelimeleri önceden tanımladım (ancak, yalnız işe yaramazlar.) Örneğin: her neyse, evet, doğru ve harika gibi. Ve sonra ilk, büyük harf ve alıntı gibi basit şeyler eşleşir: THANKS you are so smartveya oh you are so "SMART".

Komut dosyalarının ana işlevi, görevler yapmak veya bilgi almak olduğundan ve sözlerden sonra kastettiğiniz şey olup olmadığını soracaktır. Sonra özel bir değişken olarak "teşekkürler" ekleyerek düşündüm. Yani yeah thanksya whatever thanksda olası alaycılığı tetikleyecek ve senaryo size şunu soracaktır: "Alaycılığı algılayabilir miyim?" En iyi bahsiniz "üzgünüm" demek olacaktır, aksi takdirde bir uyarı noktası ekler ve sınıra ulaşılırsa - sizi görmezden gelmeye başlar.

Bu çok basit algoritmalar aslında işe yaradığından, bu fikrin bir sürü ayarı ve ince ayarından sonra bir geleceği vardır. Ancak, daha akıllı biri aynı fikri akılda tutarak açık kaynaklı bir yazılım yapar. Daha sonra bu özellik web üzerindeki birçok işleve bağlanabilir. Müşteri hizmetleri muhtemelen en fazla yararı sağlayacaktır, ancak bu tür bir yazılım "işaretlenebilir" içeriği tespit etmek için de kullanılabilir.

Tam bir doğal dil işleme sisteminiz ve IBM Watson sistemi ile ilgili bir gerçekler veritabanınız varsa, bazı ifadeleri mümkün olduğunca alay konusu olarak işaretleyebilirsiniz. Örneğin, "Annenizin kanser olduğunu duydum ve daha önce kovuldunuz!" "Evet, hayat harika değil!" işaretlenebilir çünkü kanser olmanın ve bir işi kaybetmenin genellikle olumlu deneyimler olarak tanımlanmadığını fark edebilir.

Watson sınıf sistemini bir araya getirecek kaynaklara sahip olmadığınızı varsayıyorum. Yaygın olarak kullanılan alaycı ifadelerin bir veritabanını bir araya getirebilir ve daha sonra hedef deyim ve alaycı veritabanı arasında bir tür metin eşleştirme algoritması kullanabilirsiniz. Çok etkili olmayacağını tahmin etmeliyim çünkü alaycı kullanılan tüm ifadeler daha sık kullanılıyor. Örneğin "Bu güzel bir X". genellikle içtenlikle kullanılır, ancak bazen alaycı olarak kullanılır.

Alaycılık aldatma ile çok yakından ilgilidir. Alaycılığı kullanan bir kişinin kendisine meydan okuduğunda inkar etmesi nadir değildir ve kelime seçimleri inkar etmeyi mümkün kılar. Bunun iyi bir alay detektörünün Turing testini geçen bir konuşma programı kadar zor bir sorun olduğu anlamına geldiğinden şüpheleniyorum.

<Alay>

if(string.Contains("<Sarcasm>")) containsSarcasm = true;

</ Alay>

Dürüst olmak gerekirse, bu konuda nasıl bir fikrim yok. Bence gerçek hayatta insanların yaklaşık% 30'u ilk etapta alaycı oluyor, bu yüzden bir bilgisayarı tanımak ve anlamak çok zor bir iş gibi geliyor.

Düzenle Orijinal yazımın yorumlarına dayanarak, sorulan görevin aşırı zorluğunu mükemmel bir şekilde gösterdiğime inanıyorum. Evet, görevimin ilk yarısı alaycıydı. Hatta bu gerçeği, tamamlanmış bir biçimlendirme etiketi kullanarak vurguladım. Son derece zor bir soruna önemsiz bir çözüm hakkında alaycı bir yorum göndererek ve bu alaycılığın "yararsız" olarak yorumlanması şu soruyu gündeme getirir:

Yazılı alaycılığı tanımıyorsanız, onu tanıyan bir algoritmayı nasıl yazacaksınız?

Oh, ve Anna birisinin cümlelerinde "sanırım ..." terimini içeriyorsa, genellikle bunun zor araştırılan değil, belirtilen bir görüş olduğunu gösterir.

Alaycılık algılama sorunu, hesaplama dilbiliminde açık bir sorundur - bu tür şeyler için stackexchange'ten ziyade google bilgini arayarak daha iyi hizmet edersiniz . Ancak, bu konuda bazı ilerlemeler kaydedilmiştir. İçin sözlü alay, sağlam tanıyıcı "spektral ve bağlamsal özellikleri" kullanılarak inşa edilebilir yanı, bir insan annotator olarak (yazarlar iddia) algılar alay söyledi. Makalenin yazarları, ham metnin alaycılığı tespit etmek için yeterli olmadığını iddia ediyorlar - aslında, söylenen gerçek kelimeleri göz ardı ederek daha iyi sonuçlar aldılar .

Tsur ve diğ. SASI algoritmasıyla geçen sene metinsel alay algılamasında bazı ilginç sonuçlar bildirdiler . Ayrıca başka bir makalede bazı ek takip bulguları bildirdiler .

Her halükarda, bu, hesaplamalı dil araştırmalarının öncüsüdür; kimsenin size gümüş bir tepside bir libsarcasm vermesini beklemeyin. Büyük eğitim veri setlerine ve alaycılık detektörünüzü değiştirmek için çok fazla boş zamana ihtiyacınız olacak - ve o zaman bile,% 77'lik bir hassasiyet (SASI gazetesinde bildirildiği gibi) yalnızca alay işaretine dayanan bir postayı reddetmek için yeterli değildir.

Bu cevabın çok gerçekçi bir yaklaşım yöntemi olduğunu düşünmüyorum, ancak bunu yapacak kaynaklarınız olsaydı bunun mümkün olabileceğine inanıyorum. Bilgisayarların okuyamayacağı kelimeleri deşifre etmek için google'ın insanları kullanan reCaptcha projesini düşünün ( "Daha Fazla Recaptcha Sayfası Öğrenin" ). Sorunun benzer olduğuna inanıyorum, çünkü insanların en azından şimdiden daha iyi bir şey olduğunu anlamak için bir makine bulmaya çalışıyorsunuz .

Milyonlarca insandan yazılı bir konuşma bağlamında alaycılığı tanımasını isteyecek kaynaklara sahip olduğunuzu düşünün. Birçok kişiden, alaycılığın gerçekleştiği konuşmada tam olarak anı ve kişinin bu kimliği işaretlemesi gerekeceğinin farkına varmadan önce konuşmanın az bir kısmını size göndermesini isteyebileceğinizi hayal edin. Bu, programınızın erişebileceği bir veritabanında saklanabilir. Ardından, kullanıcı konuşmayı size yazarken, veritabanı "benzer" görüşmeler için filtrelenebilir.

Benzerliğin nasıl değerlendirileceği düşünülecek bir şey, ama muhtemelen var olan araştırmaların zaten var olduğuna inanıyorum. Yazım hatası düzeltmelerinin arkasındaki teoriye çok benzeyeceğine inanıyorum. Her iki durumda da, yazılan konuşmanın aslında alaycı olması muhtemeldir ve bir noktada bir eşik değerin sağlanması gerekecektir.

"Bu alay mıydı?" Sorusunu sunma fikrinizi de seviyorum. daha sonra daha doğru bir karara varmak için yanıtlarını kullanır.

Umarım cevabım tam bir atık değildir ve bu çabada size şans diliyorum.

-Asaf

Hesaplamalı dilbilimde alay saptaması (doğal dil işleme olarak da bilinir) kendi başına son derece zor bir sorundur. Temel olarak bir modelin önce eğitilmesi gereken bir sınıflandırma problemidir. Bir çift entenders bulmak için benzer bir sorun (PDF dosyası) geçtiğimiz günlerde araştırılmış ve yayınlanmıştır. Her iki problem için de teknikler karşılaştırılabilir.

2 sentim:

Bir psikoloğa, ifadelerde alaycılığı nasıl tanıyacağını sorun, bu bilgilerle bunları girdiyle karşılaştırın.

Ama bu gerçekten zor bir proje olurdu, kullanılan çaba ile, dünyanın en iyi işletim sistemini emin olabilirsiniz: P