Bir AI araştırmacısının matematiksel önkoşulları nelerdir?


12

Yapay zekadaki algoritmaların çekirdek kısmını anlamak ve kendi algoritmasını geliştirmek için matematiksel ön koşullar nelerdir?

Lütfen, belirli kitapları bana yönlendir.

Yanıtlar:


9

İyi Matematik Vakfı

Ara cebir ve matematik ve ayrık matematiğin diğer temelleri ile tam yetkinlik sağlayarak başlayın, bu konulardaki terminoloji ve temel kavramlar dahil.

  • Sonsuz seriler
  • Mantıksal kanıtlar
  • Lineer cebir ve matrisler
  • Analitik geometri, özellikle yerel ve küresel uçlar (minima ve maxima), sele noktaları ve bükülme noktaları arasındaki ayrım
  • Küme teorisi
  • olasılık
  • İstatistik

Sibernetiğin Temelleri

Norbert Wiener, Cybernetics, 1948, MIT Press, sonraki çalışmalarda görülmeyen netlik ve komutla zaman serileri ve geri bildirim kavramları içerir; ayrıca bilgi miktarını biraz tanımlamak için Shannon'ın log 2 formülü ile başlayan bilgi teorisine bir giriş içerir . Bu, bilgi entropi kavramının genişlemesini anlamak için önemlidir.

hesap

İyi bir matematik kitabı bulun ve bu kategorilerdeki kilit teori ve uygulama konusunda netliğe sahip olduğunuzdan emin olun.

  • Zaman serisi
  • Sonsuz seriler
  • Yakınsama - Yapay ağlar, öğrenme sırasında ideal olarak optimum seviyeye yaklaşır.
  • Kısmi diferansiyeller
  • Jacobian ve Hessian matrisleri
  • Çok değişkenli matematik
  • Sınır bölgeleri
  • Ayrık matematik

Bunların çoğu Kalkülüs , Strang, MIT, Wellesley-Cambridge Press . PDF web'de mevcut olmasına rağmen, temeldir ve özellikle derin değildir. Laboratuarımızın kütüphanesinde Ara Hesap , Hurley, Holt Rinehart ve Winston, 1980 . Kapsamlı ve bazı yönlerden Princeton'ın sophomores için kullandığı kütüphanemde olduğundan daha iyi ortaya koydu.

2'nin ( 2D'nin ötesinde) dışındaki alanlarda rahat çalıştığınızdan emin olun . Örneğin, RNN'ler yatay, dikey, piksel derinliği ve film karesi boyutları nedeniyle genellikle ℝ 4 thorugh ℝ 7 gibi alanlarda bulunur .

Sonlu Matematik

Düşünebileceğim üç kitabın hiçbir kombinasyonunun hepsinde olması talihsiz bir durum.

  • Yönlendirilmiş grafikler - Bunu, ağaçların veya devrelerin (yapay ağlar) ÖNCE öğrenin, çünkü tüm bu yapılandırmaların üst küme topografisidir.
  • Soyut sembolü ağaçlar (AST)
  • İleri küme teorisi
  • Karar ağaçları
  • Markov zincirleri
  • Kaos teorisi (özellikle rastgele ve yalancı rastgele arasındaki fark)
  • Von Neumann ve Morgenstern'in Oyun Teorisi ile başlayan Oyun Teorisi , bu alandaki seminal çalışma
  • Ayrık sistemlerde yakınsama, özellikle tamsayı, sabit nokta veya kayan nokta aritmetiğindeki sinyal doygunluğuna teorinin uygulanması
  • İstatistiksel ortalamalar, sapmalar, korelasyon ve entropi, bağıl entropi ve çapraz entropinin daha ilerici kavramları
  • Eğri uydurma
  • kıvrım
  • Olasılık, özellikle Bayes Teoremi
  • Algoritmik teori (Gödel'in belirsizlik teoremleri ve Turing bütünlüğü)

Kimya ve Nöroloji

Lise kimyasından kimyasal dengeleri hatırlamak iyidir. Denge, daha gelişmiş AI tasarımlarında önemli bir rol oynar. GAN'larda üretken ve ayrımcı modeller arasındaki simbiyotik ilişkiyi anlamak bir öğrencinin bu anlayışı daha da geliştirmesine yardımcı olacaktır.

Biyolojik sistemlerdeki kontrol fonksiyonları yapay zeka araştırmalarında kavramın temel kanıtları olmaya devam etmektedir. Araştırmacılar biyolojinin bazı yönlerini doğrudan taklit etmeyen uyum biçimlerini hayal etmede daha yaratıcı hale geldikçe (bu yazıdan hala uzak olan) yaratıcılık AI araştırma objektif formülasyonunda daha büyük bir rol oynayabilir.

Yine de, AI muhtemelen büyük ölçüde disiplinlerarası bir alan olarak kalacaktır.


2
Bazı yorumlar: 1) John'un cevabında yazdıklarına katılıyorum, cevabının daha genel bir "çekirdek" ile ilgili olduğunu, oysa sizinki yararlı olabilecek veya AI'nın hangi alanına girebileceğine bağlı olmayan şeyleri içeriyor. 2) "Lise matematiği" altında tanımladığınız pek çok şey (zorunlu olarak) lise matematiği değildir, en azından Avrupa'da değil (ABD hakkında bilgi sahibi değilsiniz). Hollanda'da, üniversitedeki ilk yıla kadar hiçbir Lineer Cebir, matris, sonsuz seriler veya set teorisi alamadım. Yine de lisede farklı bir ders seti seçmiş olsaydım, bazıları daha önce ortaya çıkmış olabilir.
Dennis Soemers

2
3) Fonksiyonel Analiz / Ölçüm Teorisi bazı alanlara dahil etmek için yararlı olabilir. Ancak, yine de, bir AI araştırmacısı olarak ne kadar derin gitmek istediğinize bağlıdır. Şeylerin daha teorik yönündeki bazı AI araştırmacıları, neredeyse tüm bu şeyleri yararlı bulacaktır. Diğer yapay zeka araştırmacılarının ampirik / yazılım / programlama tarafında daha fazla, çok daha az ihtiyacı vardır. Her ikisi de hala çok değerli araştırmalar yapabilir.
Dennis Soemers

7

Profesör olarak çalışıyorum ve son zamanlarda diğer kurumlardaki meslektaşlarımın çoğuna danışarak yeni bir AI majör için matematik gereksinimlerini tasarladım.

Diğer cevaplar, özellikle @ FauChrisian, AI'da bir yerde yararlı olabilecek tüm belirli konuları kataloglamak için iyi bir iş çıkarır , ancak hepsi temel konuları anlamak için eşit derecede yararlı değildir. Diğer durumlarda, konuyu anlamak temel olarak ilgili AI algoritmalarını anlamakla aynıdır, bu nedenle genellikle ön koşul bilgisini varsaymak yerine sadece birlikte öğretiriz. Örneğin, Markov Karar süreçleri, grafik teorisi ve olasılıkların temellerini zaten bilen birine öğretmek zor değildir, bu nedenle, sadece bir matematik dersinde ayrı bir konu olarak değil, bir AI dersinde takviye öğrenmeyi öğrettiğimizde bunları kapsarız. elbette.

Yerleştirdiğimiz matematik gereksinimleri aşağıdaki gibidir:

  • Ayrık matematikte bir ya da iki dönemlik ders. Bu, bölgedeki herhangi bir konuda olduğu kadar kanıt ve matematiksel titizlikle rahatlık sağlamak için de geçerlidir. Çoğunlukla sadece "temel" bir bilgidir, ancak bunun bitleri çok faydalıdır. Sonsuz özetlerle konfor, grafiklerin temelleri, kombinatorik ve asimptotik analiz belki de en doğrudan uygulanabilir parçalardır. Susanna Epp'in kitabını seviyorum .

    • Yapay zekada çok çeşitli konularda, özellikle makine öğrenimi ve veri madenciliği için yararlı olan lineer cebirde bir veya iki dönemlik ders. Lay & Lay iyi bir kitap, ama muhtemelen en iyisi değil. Shilov , Ian Goodfellow ve diğerlerinin tavsiyesi, ama ben kendim denemedim.

    • Olasılıkta bir kurs ve muhtemelen istatistiklerde modern bir kurs (yani Bayes odaklı). İstatistikte daha eski bir ders ya da sosyal bilimcileri hedef alan bir ders çok yararlı değildir. İstatistikçi meslektaşlarım şu anda Lock5 kullanıyor ve onunla iyi deneyimler yaşıyor.

    • En az diferansiyel ve integral hesap ve tercihen vektör hesapta en azından kısmi türevler, ama belki de tüm ders. Bu, yapay zekaya optimizasyon, makine öğrenimi ve ekonomi tabanlı yaklaşımlar için kullanışlıdır. Stewart en yaygın ders kitabıdır. Kapsamlıdır ve her üç ders için de kullanılabilir, ancak açıklamalar her zaman en iyisi değildir. Yine de tavsiye ederim.

Bunlar ana konular. Eğer yoksa da programlamada geleneksel altyapıya sahip, daha sonra grafik teorisi bir ders ve asimptotik karmaşıklık veya algoritma tasarımı ve analizi temelleri iyi takviyeleri olabilir. Genellikle AI'ers, tüm bunları çok iyi kapsayan standart bir bilgisayar bilimi geçmişinden gelir.


1
@FauChristian Sanırım aynı konuları listeledik: Matematik ve kesin matematik. İkimiz de her birinde birkaç ders almanız gerektiğini düşünüyoruz. İstatistikleri ve olasılığı listeledim. Bence yapay zekada modern işler yapmak istiyorsan, onsuz uzaklaşamazsın. Kimya ve sinirbilimi listelediniz. Bence çok az AI, bunları gerekli konular olarak düşünecekti. Şüphesiz, alabilirsiniz tüm russell & norvig onsuz. Hesaplamalı sinirbilimde (derin öğrenme değil) çalışmak istiyorsanız, yine de yardımcı olabilir. Ayrıca katkıda bulunmak için 16 yıla ihtiyacınız olduğundan şüpheliyim. 5-6 emin olsa.
John Doucette

1
@FauChristian Hepsi doğru. Çoğu modern AI laboratuvarında araştırma yapmak istiyorsanız, hala olasılığa ihtiyacınız olacağını düşünmeye meyilliyim (modern AI çalışmasının en azından yarısı bir tür makine öğreniminde ve bunun büyük bir kısmı derin öğrenme aşamasında) . Genellikle lisansüstü öğrencilerin araştırma çalışması yaptığı bir durumdur. Çoğu sadece 1-2 yıllık bir yüksek okuldan sonra araştırma yapar. Hatta bazıları oldukça iyi. Bu insanlar en fazla 4-6 yıllık örgün eğitim almışlardır. Bundan daha fazlası sizi daha hızlı veya daha derin yapabilir, ancak araştırma potansiyeli orada başlar.
John Doucette

3

Gradient Descent gibi basit algoritmalar söz konusu olduğunda, kısmi türevleri iyi bir şekilde kavramanız gerekir. Özellikle sinir ağları uygulamak istiyorsanız. Ayrıca çoğu algoritma, hesaplama hızını artırmak için vektörize edilir ve bu nedenle matris matematiği ile rahat olmanız gerekir. Bu, matrislerin boyutları, ürünlerin boyutları, matrislerin çarpımı, devrik vb. İle gerçekten hızlı ve rahat olmayı içerir. Çok nadiren, doğrudan optimum çözümlere ulaşmak için matris hesabını kullanabilirsiniz, bu nedenle bu alandan birkaç sonuç almalıdır. Devam ederken, bazı işlev analizlerini anlamanız gerekir. sigmoid ve tanh, log gibi aktivasyon fonksiyonlarının neler yaptığına dair bir sezgi elde etmek için bu gereklidir. Olasılık ve beklentileri kavramak da gerçekten yararlıdır. Ortogonal vektörler ve iç ürünlerle de net olmalısınız.

Bununla birlikte, temel matematik ve matris işlemlerini kavramanızı ve yapay zeka kavramlarını öğrenmeyi denemenizi öneririm. Eğer bir şey bulamazsan, matematiği keşfet.

Not: yine bu sadece başlangıç ​​içindir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.