PAC öğrenmeden önce neler oldu


9

PAC öğrenmesini (hesaplamalı öğrenme teorisi) makine öğrenimi / yapay zeka hakkında önceden bilgisi olmayan bir başlangıç ​​olarak araştırıyorum. Modeli temel olarak tarihsel bir bakış açısından araştırıyorum.

Bunun için en önemli şeyler elbette modele dayanan sonuçlardır. Dışarıda bu sonuçları belgeleyen yeterince makale var. Ama aynı zamanda, PAC modelinin kavramıyla Valiant'ın geldiği yere kadar tarihsel bağlamı çizmek için PAC öğrenmeden önce neler olduğu hakkında bir şeyler yazmak istiyorum.

Şimdiye kadar bulduğum makale / anket yok ve gerçek makine öğrenimi bilgisi olmayan biri olarak bunu bulmak zor. Bu yüzden bu yumuşak soruyu burada soruyorum çünkü bana bu konuda yardımcı olabilecek yeterli uzman olduğuna inanıyorum. Referanslar büyük beğeni topluyor.

PAC'den önce neler olup bittiğini araştırabildiğimde ve çalışabildiğimde, akademik dünyanın PAC modeli hakkında neden bu kadar hevesli olduğu konusunda daha iyi bir takdir edinebilirim ki bu da tarihsel çalışmamda belgelemek için ilgi çekici bir şey!


4
Akademik dünyanın tamamı PAC modeli konusunda hevesli değildir. Makine öğrenimindeki bazı insanlar aslında bundan hoşlanmıyor (özellikle daha uygulamalı insanlar).
Yuval Filmus

Yanıtlar:


8

Referanslar büyük beğeni topluyor.

Bir yazarın, yayının başlangıcında sonuçlarının bağlamı ve alaka düzeyi konusunu ele alması beklenir. Az önce "L. Valiant. Öğrenilebilir bir teori. ACM'nin iletişimi, 27, 1984." ve Valiant'ın sorunuzu gerçekten iyi bir şekilde kapsadığını öğrendim.

Valiant'ın orijinal makalesi hem serbestçe hem de okunması çok zor değil. (Bölüm 7 hariç, yalnızca yazarın zorlayıcı matematik problemleriyle de başa çıkabileceğini kanıtlamaktadır, ancak makalenin gerçek içeriğine çok fazla katkıda bulunmaz.) soru, bu yüzden gerçekten denemenizi öneririz.


Bu cevabın geri kalanı, bu girişin okunmasının tarihsel bağlamla ilgili soruya cevap verip vermeyeceğini belirtmesi gereken girişten bazı bölümleri göstermeye çalışmaktadır. Ancak bir yazarın bu tür sorularla ilgili önyargılı olması gereken doğal ayrıcalığa sahip olduğunu unutmayın.

... böyle bir sistem en azından çok iyi bir başlangıç ​​olurdu. Birincisi, önceden programlanmış bilgiyi, yani DENDRAL ve MYCIN gibi uzman sistemleri içeren sistemlerin en ünlü örneklerini incelediğimizde , esas olarak, önermenin ötesinde hiçbir mantıksal gösterim kullanılmaz.

Bu, bağlam için ilginç bir bilgidir, çünkü önermeli analiz, tahmini analizden veya bugün bazen kullanılan çeşitli tip teorisi sistemlerinden önemli ölçüde daha zayıftır. (Yeterince garip olsa da, Prolog (1972) ve ML (1973) "bu tür" uzman sistemler için meta-dil olarak tasarlanmış diğerleri arasındaydı ve görebildiğim kadarıyla basit öneri mantığının ötesine geçiyor gibi görünüyor. 1969) veritabanı yönetimi için yüklem mantığına dayandığı iddia edilmektedir.)

Belki de makalede yer alan temel teknik keşif, bu olasılıklı öğrenme kavramıyla, tüm Boole işlevleri sınıfları için yüksek derecede yakınsak öğrenmenin mümkün olduğudur. Bu, bu yaklaşımı, öğrenmenin, genel bir kuralı, güvenilir bir kesinti için yeterli olmayan bilgiden "uyarma" süreci olarak gördüğü daha geleneksel yaklaşımlardan ayırıyor gibi görünmektedir.

Burada tamamen katılıyorum. Çözümünüzün belirli bir sorunu nasıl çözebildiğini ve hangi anlamda bunun bir çözüm olduğunu açıklamak önemlidir. Aksi takdirde, şüpheli bir sezginin buggy uygulamasını uygun bir sezginin doğru uygulanmasından ayırt etmenize izin vermeyen "ücretsiz öğle yemeği" teoremleri ile sonuçlanırsınız.

Özetle, bu makale algoritmik karmaşıklığın izin verdiği şekilde öğrenilebilir olanın sınırlarını araştırmaya çalışmaktadır. Sonuçlar, daha önce bahsi geçen üç özelliği ((1) - (3)) uzlaştırmaya çalıştıkları için, öğrenme ile ilgili önceki çalışmaların çeşitli organlarından ayırt edilebilir. Yaklaşımımıza en sert şekilde endüktif çıkarım literatürü [...]. İstatistiksel ve diğer araçları kullanarak örüntü tanıma ve sınıflandırma konusunda büyük bir çalışma vardır [...]. Öğrenme, daha az biçimsel anlamda, yapay zekanın bir dalı olarak geniş çapta incelenmiştir.

((1) - (3)) özellikleri, (1) "makinelerin, (2)" genel amaçlı bilgi için uygun ve önemsiz olan tüm karakterize edilebilir kavram sınıflarını öğrenebilir "ve (3)" hesaplamalı "işlem yalnızca uygulanabilir (yani polinom) sayıda adım gerektirir".


4

Sınırdaki dil tanımlaması , öğrenilebilirlik kavramını yakalamak için bilinen ilk girişimdir. 1967 yılında Gold tarafından tanıtıldı ve dillerin öğrenme sınıflarını ilgilendiren tümevarımsal çıkarım için bir model.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.