Teoremleri ispatlamak için derin ağlar eğitilebilir mi?

İlk hesapta hesabı hesapladığımızda çok sayıda kanıt bulunduğunu varsayalım. Aynı zamanda matematiğin bu alandaki aksiyomlarına, sonuçlarına ve teoremlerine de sahip olduğumuzu varsayalım.

Kanıtlanmış her bir teklifi ve bir eğitim setinde bir örnek olarak bu belirli teklifi çevreleyen mevcut teoriyi ve ilgili etiketler için teklif için bilinen iyi bir kanıtı düşünün. Şimdi, özellikle bu örnek sette eğitim almak için tasarlanmış derin bir yapay ağı ve bunu yapmak için doğru şekilde ayarlanmış hiper parametrelerini düşünün.

Derin bir yapay ağın, yeni bir önermenin sunumu ve onu birinci sırada sunduran mevcut teoriyi girişteki çıkarımı çıktının kanıtı olarak göstereceği şekilde eğitmek mümkün müdür?

(Tabii ki, bu tür kanıtlar daha sonra manuel olarak kontrol edilmelidir.)

Ortaya çıkan iyi ispatların oranı yeterince yüksekse, eğitimli derin ağa teklifler sunan ve böylece ispatlar üreten bir genetik algoritma oluşturmak mümkün olabilir mi?

Mümkün mü?

Collatz düşüncesini veya Riemann düşüncesini çözmek için bu tür bir derin ağ tasarımını kullanmak ya da en azından matematikçilerin meşru bir ispat elde edebilecek şekilde düzenlerini değiştirmek mümkün olabilir mi?

Son birkaç on yıl içinde geliştirilen mevcut üretim sistemleri, kendilerine çıkarım kurallarına sahiptir. Leibniz'in tüm klasik mantığın sembolik bir dilde kodlanabileceği ve mekanik olarak işlenebileceği vizyonunu temel almaktadır. Birinci dereceden belirteç mantığı geliştirildi ve bir terminoloji resmileştirildi.

Her ne kadar otomatik teorem kanıtlama vizyonu Gödel'in iki eksiklik teoremi tarafından büyük ölçüde zorlansa da, Turing'in bütünlük çalışması ve onu pratikte von Neumann tarafından gerçekleştirecek bir mimarinin geliştirilmesi, mekanik çıkarım sürecinin otomatikleştirilmesi çalışmasını canlandırdı.

MIT'nin AI laboratuarı, Minsky döneminde, bu tür çabalarla hayattaydı, ancak birleştirme patlaması olarak adlandırdıkları şey, önemsiz olmayan karmaşıklığın rasgele teoremlerini otomatik olarak kanıtlamak için gerekli alanı bulmak için gerekli bilgi işlem kaynağının kullanılabilirliğinin olmadığını gösterdi. Birleştirme patlaması sorununun üstesinden gelmek için, bağlantı makineleri ve çeşitli şemalar olarak adlandırılan büyük paralel bilgisayarlar, meta kuralları ve sezgisel yaklaşımları kullanarak kullanılmıştır.

Yapay ağlar tanıtıldı ve üretim makinelerine rakip olabilecekleri fikri, ilk önerildiğinde LISP topluluğu tarafından sarsıldı. Bununla birlikte, bilgisayar kaynaklarının arttırılmasında göze çarpan bir başarı ve makine öğrenimindeki son kazanımlar bağlamında, çoğu yirminci yüzyılda rafa kaldırılmış sorular sormaya başlamıştır.

Yapay ağların, çoğu PAC Öğrenilebilir olan rastgele mantıksal ve cebirsel fonksiyonları öğrenebileceğini zaten biliyoruz. ¹ Uygun öğrenme ortamı göz önüne alındığında, mantıksal çıkarımın öğrenilmesi, beyin korteksinin evrimdeki şu anda yapabileceği bir şeydir. Sinir ağlarının bu biliş seviyesine ulaşıp ulaşmayacağı, birçok kişinin sorduğu açık bir sorudur.

Temel AI ve makine öğrenmesi araştırmalarının mantıksal çıkarım kurallarının yapay ağ kazanımına odaklanmadığı, büyük ölçüde onları DRools ve diğer yaygın olarak kullanılan üretim sistemleri gibi bir sistemde programlamanın daha rasyonel yaklaşımın her zaman olacağı anlamına gelmediği anlaşılıyor. Sorun, başka çözümler mevcut olduğunda, ilginç ancak kesinlikle pahalı olabilecek şeyleri yapmak için yeterli yatırım getirisi olup olmadığıdır.

Bu soru AI'nın matematikte ne kadar iyi olduğu konusundaki bir başka Yapay Zeka Yığın Değişimi sorusuna benzer. Burada verilen cevaplardan biri geçerlidir.

Bu dönemde herhangi bir yaklaşımı reddetmek önemlidir, çünkü AI’ya olan ilgi sadece devlet harcamalarını değil, aynı zamanda ticari harcamaları da geri getirmiştir. Bu harcama, personeli, bilgi işlem gücünü artırır ve daha önce aşılmaz olduğu düşünülen engellerin üstesinden gelmeye teşvik eder.

Dipnotlar

[1] PAC Öğrenme, verilen model kullanılarak öğrenilebilecek hipotez sınıfının özellikleri ve öğrenme sürecinin beklenen doğruluğu ve güvenirliği ile verilen öğrenme algoritmalarının pratik hesaplanabilirliğini belirlemek için bir çerçevedir.

Fikriniz genel olarak uygulanabilir olabilir, ancak bir sinir ağı muhtemelen bu sorunu araştırmak için kullanılan yanlış üst seviye bir araçtır.

Bir sinir ağının gücü, girişleri çıkışlarla eşleştirirken son derece doğrusal olmayan bir çözüme olanak tanıyan iç temsiller bulmaktır. Bir sinir ağını eğittiğimizde, bu eşlemeler örneklerin tekrarı yoluyla istatistiksel olarak öğrenilir. Bu , eğitim setine benzer veriler verildiğinde iyi enterpolasyon yapan, ancak fazladan ekstrapolasyon yapan modeller üretme eğilimindedir .

Sinir ağları modelleri de bağlamsal değildir; öyle ki, eğer üretken bir model kullanırsanız (örneğin geçerli veya ilginç bir kanıt oluşturan diziler üzerinde eğitilmiş bir RNN), o zaman kolayca istatistiksel olarak hoş fakat anlamsız çöpler üretebilir.

İhtiyacınız olan şey, birleşimsel bir şekilde delilleri keşfetmenizi ve onaylamanızı sağlayan bir organizasyon prensibidir. Aslında senin fikrin gibi bir şey zaten bir kereden fazla yapıldı, ama şu anda bir referans bulamıyorum.

Bunların hiçbiri bir AI içinde kanıt arayan bir sinir ağı kullanmanıza engel olmaz. Bir matematik AI içinde, örneğin aramaları yönlendirmek için iyi bir buluşsal görüşmeye ihtiyaç duyduğunuz yerler olabilir. Örneğin, X bağlamında, Y'nin ilginç veya alakalı olması muhtemeldir. Olasılık puanını değerlendirmek , sinir ağlarının daha geniş bir AI planının parçası olarak yapabileceği bir şeydir. Bu sinir ağlarının takviye öğrenimi ile nasıl bir araya getirildiğine benzer.

Fikrinizi tamamen sinir ağları dışında inşa etmek mümkün olabilir. Ne de olsa, insan akıl yürütmenin biyolojik nöronları kullanarak benzer şekilde çalıştığından şüphelenmek için iyi nedenler var (yapay olanların bu şekilde aynı olabileceği kanıtlanmamıştır). Bununla birlikte, böyle bir sistemin mimarisi herhangi bir modern NN tasarımının veya eğitim kurulumunun ötesindedir. Bu kesinlikle veriyi besleyip beslemek için yeterli katman katmaktan ibaret olmayacaktır.

Ne biliyoruz

Göre bir Dünya Bankası sayfasından , "Bugün kadar 1998 yılında 89 milyon dünyada yaklaşık 200 milyon yükseköğretim öğrenci var" Her 100 kişiden en az biri, bir matematik gereksinimi olarak, bir teorem için bir kanıt geliştirmek ve daha sonra en az 40 yıl yaşamak zorunda kaldı.

Bir teoremi ispatlayabilecek en az 20 milyon sinir ağı olmasına rağmen, bu soruyu olumlu cevaplayacak örnekler eksik. Bu sinir ağları biyolojik değildir, yapay değildir ve Collatz veya Riemann düşüncesini değil, daha önce kanıtlanmış teoremleri kanıtlamışlardır.

Bazıları inan

Derin Q-öğrenme ve dikkat temelli cihazların, insan beyninin fakülteleri taklit edilinceye kadar belki de aşılıncaya kadar diğer öğrenme sistemi tasarımlarına katılacağına inananlar, muhtemelen bu insan yeteneklerinden biri olarak kanıtlayan teoremi içerecektir. Bunlar muhtemelen yapay mantık ve çıkarımı yapay sistemlerde elde edilebilecek başka bir karmaşık bilişsel işlev olarak ilan eder.

Bazı yeteneklerin insanlara dahil olduğunu ve ayrılmış yetenekler olduğunu düşünenler, yalnızca insanlara ayrılan mantık ve çıkarımı tahmin edebilirler.

Mevcut İlerleme Durumu

Öngörü mantığını ve çıkarımını kullanarak en basit kanıtları bile kanıtlama yeteneğini gösteren akademik makaleler yoktur. Bir hükümetin veya özel bir işletmenin bunu yaparken bir miktar başarı elde etmesi olasıdır, ancak böyle bir açıklama yapılmamıştır.

Yapay ağların, önemli ölçüde geliştirildikleri takdirde, üretim sistemlerinin, üretim ve kurallara dayanan AI sistemlerinin, en büyük etkinlik alanlarında, AI'nın geliştirilmesinde erken bir zamanda öne sürüleceği düşüncesi. Daha sonra tartışıldı ve şimdi tartışıldı, ancak argümanlar matematiksel değildi, bu yüzden imkansız olduğuna dair güçlü bir gösterge yok.

Elbette insan düşüncesinin diğer bilişsel yönleri AI araştırmalarının önemli hedefleridir. Diyalog, otomatik eğitim, planlama, stratejik analiz ve araç pilotluğu artık DQN'den daha fazlasını talep eden ve dikkat odaklı ağ yaklaşımlarının sağlayabileceği yüksek düşüncenin tüm yönleridir, ancak bu alanlardaki araştırma çabaları kayda değer ve iyi finanse edilmektedir.

Potansiyel Yaklaşım

Mantıksal bilişsel yeteneklere yönelik araştırma, halihazırda bildiği, soruda bahsedilen varsayımlardan çok daha basit olan kanıtlara başlamalıdır. Örneğin, negatif olmayan iki tamsayının toplamının negatif olmayan bir tamsayı olması gerektiği kanıtlanmıştır. Tahmini hesap, karakter dizisi olarak gösterilebilir.

$\forall a∈C, b∈C: s=a+b \implies s∈C$

A ve b'nin sayma sayıları kümesinin üyesi olduğunu, ikisinin toplamı olarak tanımlanan s'nin de sayma sayıları kümesinin bir üyesi olması gerektiğini söyler. Kanıtı, birinci dereceden yordayıcı hesabın karakter dizileri dizisi olarak da gösterilebilir.

Küçük Araştırma Projesi Yok

Böyle bir örnek, yıllarca matematik dersi almış ve deliller hazırlayan birine basit görünebilir. Bir çocuk için basit değildir ve yapay bir ağın tüm mantıksal çıkarım kurallarını uygulayan ve tamsayı aritmetiği gibi resmi bir sistemin ispatına varmak için meta kuralları içeren bir işleve dönüşmesi çok zordur.

RNN'ler gibi tüm ağları açmak, MLP'lere (çok katmanlı algılayıcılar) göre kesinlikle avantajlara sahip olacaktır. Dikkat tabanlı ağlar makul bir araştırma seçeneği olabilir. Aşağıdaki referanslarda belirtilen başkaları da var.

Girdi vektörü yüzlerce Kbayt olabileceğinden araştırma için paralel bir hesaplama platformuna ihtiyaç duyulur. Örneklerin boyutları ve kaç kişiye ihtiyaç duyulacağını araştırma sürecine bir veya iki yıl almadan tahmin etmek zordur.

Sayma numaralarının tanımı, artı işareti ve eşittir işareti ilk önce tanımlanmalı ve bu tanımlar ve bir takım aksiyomlar, postülatlar, lemmalar ve katarlıklar, teklif edilecek olan gibi biçimsel formdaki girdi örneğinin bir parçası olmalıdır. bu teklifle birlikte yukarıda ispatlandı.

Ve bu sadece bir örnek hazırlama çalışması. Çıkarım kuralları hakkında sezgisel bilgileri derin bir ağa yerleştirmek için binlerce kişiye ihtiyaç duyarsınız. (INTUITIVE kelimesini, kasten açıklamak için en az yüz sayfa alabilecek teorik nedenlerden dolayı kasten seçtim.)

Bu, küçük bir proje değildir, çünkü örnek veri setinin en az birkaç bin vakayı içermesi ve her vakanın bir teoriyi paylaşmasına rağmen, teklifin kusursuz bir şekilde oluşturulmasını ve gerekli teoriye dayanan bir sunumu sağlayacak şekilde oluşturulması gerekir. Her egzersiz tekrarı için girişte mükemmel formda.

Tahminime göre, derin ağların uygun bir şekilde anlaşılması, yakınsama anlayışı ve hesaplamanın basit bir matematik teklifine cevaben geçerli kanıtlar sunmak için bir ağın eğitilmesi için yaklaşık on yıl tahmin edilmesi ile parlak bir araştırmacılar ekibinin alınması gerektiğidir.

Fakat Küçük Bir Başarı Olmaz

Bu, bazıları için saçma bir çaba gibi görünebilir, ancak ilk defa bir bilgisayara nasıl mantıklı olunacağını öğretti. Sokrates, bir organizmaya mantıksal çıkarım öğretmek için doğanın hemen altındaki doğayı aldı.

İnsanlar bir bilgisayarın, mantık yapan ve bilgisayarların mantıklı olduğunu düşünen dijital devrelerden oluştuğunu varsayarlar. Yazılım geliştirme konusunda yıllardır etrafta dolaşan herkes, eğlence ya da para hacklemekten daha derin düşünmeye meyillidir. Dikkatli bir programlamadan sonra bile, bilgisayarlar mantıksal çıkarımı simüle etmez ve herhangi bir keyfi hata için kendi programlanmış davranışlarını düzeltemezler. Aslında, bugün yazılım geliştirmenin çoğu hata onarımıdır.

Mantıksal düşünceyi simüle etmek, bilişi ve daha geniş insan yeteneklerini simüle etmede doğru bir adım olacaktır.

Referanslar

Soru Cevaplama için Sinir Ağlarını Oluşturmayı Öğrenme Jacob Andreas, Marcus Rohrbach, Trevor Darrell ve Dan Klein UC, Berkeley 2016 https://arxiv.org/pdf/1601.01705.pdf

Birden fazla temsil katmanını öğrenmek Geoffrey E. Hinton Toronto Üniversitesi Bilgisayar Bilimleri Bölümü, 2007 http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf

Sinir Dönüm Makinesi (slayt gösterisi) Yazar: Alex Graves, Greg Wayne, Ivo Danihelka Sunulan: Tinghui Wang (Steve) https://eecs.wsu.edu/~cook/aiseminar/papers/steve.pdf

Yapay Sinir Turing Makineleri (kağıt) Alex Graves, Greg Wayne, Ivo Danihelka https://pdfs.semanticscholar.org/c112/6fbffd6b8547a44c58b192b36b08b18299de.pdf 2014

Takviye Öğrenme, Sinir Turing Makineleri Wojciech Zaremba, İlya Sutskever ICLR konferans kağıt https://arxiv.org/pdf/1505.00521.pdf?utm_content=buffer2aaa3&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 2016

Sürekli ve Kesikli Adresleme Programlarına Sahip Dinamik Sinir Turing Makinesi Çağlar Gulcehre1, Sarath Chandar1, Kyunghyun Cho2, Yoshua Bengio1 https://arxiv.org/pdf/1607.00036.pdf 2017

On-Line Kendinden Yapıcı Bir Sinir Bulanıklığı, Çıkarım Ağı ve Uygulamaları Chia-Feng Juang ve Chin-Teng Lin Bulanık Sistemlerde IEEE İşlemleri, v6, n1 1998 https://ir.nctu.edu.tw/bitstream/11536/ 32809/1 / 000072774800002.pdf

Kapılı Grafik Dizisi Sinir Ağları Yujia Li ve Richard Zemel ICLR konferansı 2016 2016 https://arxiv.org/pdf/1511.05493.pdf

İnsanları Öğrenen ve Düşünen İnşaat Makineleri Brenden M. Gölü, Tomer D. Ullman, Joshua B. Tenenbaum ve Samuel J. Gershman Davranış ve Beyin Bilimleri 2016 https://arxiv.org/pdf/1604.00289.pdf

Bağlam Bağımlı Önceden Eğitilmiş Büyük Kelime Konuşma Tanıma için Derin Sinir Ağları George E. Dahl, Dong Yu, Li Deng ve Alex Acero Ses, Konuşma ve Dil İşleme Üzerine IEEE İşlemleri 2012 https://s3.amazonaws.com/ academia.edu.documents / 34691735 / dbn4lvcsr-transaslp.pdf? AWSAccessKeyId = AKIAIWOWYYGZ2Y53UL3A ve sona eriyor = 1534211789 ve İmza = 33QcFP0JGFeA% 2FTsqjQZpXYrIGm8% 3D ve tepki içeriği-eğilim = içi% 3B% 20filename% 3DContext-Dependent_Pre-Trained_Deep_Neura.pdf

Bilgi Tabanlarına Öğrenme ve Çıkarım İçin Varlıkların ve İlişkilerin Yerleştirilmesi Bishan Yang1, Wen-tau Yih2, Xiaodong He2, Jianfeng Gao2 ve Li Deng2 ICLR konferans raporu 2015 https://arxiv.org/pdf/1412.6575.pdf

Derin İnanç Ağları İçin Hızlı Öğrenme Algoritması Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh (Yann Le Cun ile iletişim kurdu) Sinirsel Hesaplama 18 2006 http://axon.cs.byu.edu/Dan/778/papers/Deep % 20 Ağlar / hinton1 * .pdf

FINN: Hızlı, Ölçeklendirilebilir, Binarize Bir Sinir Ağı Çıkarımı İçin Bir Çerçeve Yaman Umuroğlu, ve ark 2016 https://arxiv.org/pdf/1612.07119.pdf

Makine Öğreniminden Makine Muhakemesine Léon Bottou 2/8/2011 https://arxiv.org/pdf/1102.1808.pdf

Derin öğrenme Yann LeCun1,2, Yoshua Bengio3 ve Geoffrey Hinton4,5 Nature cilt 521 2015 https://www.evl.uic.edu/creativecoding/courses/cs523/slides/week3/DeepLearning_LeCun.pdf

Bu mümkün, ama muhtemelen iyi bir fikir değil.

Mantıksal kanıt AI'nın en eski alanlarından biridir ve eğitilmesi gerekmeyen ve sinirsel ağ yaklaşımından daha güvenilir olan ve istatistiksel muhakemeye dayanmadıklarından, amaca yönelik teknikler vardır. ve bunun yerine matematiğin arkadaşını kullanın: tümdengelimli akıl yürütme.

Ana alana " Otomatik Teorem Kanıtlanması " denir ve biraz araştırma alanı olarak kalsifiye edilebilecek kadar eskidir. Çok fazla yenilik yok, ancak bazı insanlar hala üzerinde çalışıyor.

Temel fikir, teorem ispatının sadece klasik veya sezgisel rehberli arama olduğu: kabul görmüş bir dizi binadan oluşan bir durumdan başlıyorsunuz. Ardından, olması gereken bilgi kümesini genişleten ve aynı zamanda doğru olması gereken yeni mülkler oluşturmak için geçerli bir mantıksal çıkarım kuralı uygularsınız. Sonunda, genişlik ilk arama veya yinelemeli derinleştirme gibi numaralandırmalı aramalar yoluyla veya alana özgü bir sezgisel tarama ile A * gibi bir şey aracılığıyla istenen bir öncülü ispatlayabilirsiniz . Pek çok çözücü aynı zamanda sadece bir mantıksal kural ( birleştirme ) kullanır çünkü tamamlanmıştır ve aramanın dallanma faktörünü azaltır.