'69'daki verilerden genel olarak en son teknoloji

Sinir ağları için çok kritik olan 1969'dan kalma ünlü Minsky ve Papert kitabı "Perceptrons" un içeriğini anlamaya çalışıyorum.

Bildiğim kadarıyla, henüz algılayıcı dışında başka genel denetimli öğrenme algoritmaları yoktu: karar ağaçları sadece 70'lerin sonunda, rastgele ormanlar ve SVM'ler 90'larda gerçekten kullanışlı olmaya başladı. Jackknife yöntemi zaten biliniyordu, ancak k-çapraz validasyonu (70'ler) veya bootstrap (1979?) Değil.

Wikipedia , Neyman-Pearson ve Fisher'ın klasik istatistik çerçevelerinin 50'lerde hala bir anlaşmazlık içinde olduğunu, ancak hibrit bir teoriyi tanımlamak için ilk girişimlerin 40'larda olduğunu söyledi.

Bu yüzden sorum: Verilerden öngörme ile ilgili genel problemleri çözmenin en gelişmiş yöntemleri nelerdi?

Bunu merak ediyordum, bu yüzden biraz kazma yaptım. Birçok yaygın sınıflandırma algoritmasının tanınabilir versiyonlarının 1969'da ya da civarında mevcut olduğunu bulmak beni şaşırttı. Bağlantılar ve alıntılar aşağıda verilmiştir.

Yapay zeka araştırmalarının her zaman sınıflandırmaya odaklanmadığını belirtmek gerekir. Planlama ve sembolik akıl yürütmeye çok fazla ilgi duyulmadı ve etiketli verilerin bulunması çok daha zordu. Bu makalelerin hepsi de o zamanlar yaygın olmayabilir: örneğin, proto-SVM çalışması çoğunlukla Rusça olarak yayınlanmıştır. Bu nedenle, bu ortalama bir bilim insanının 1969'daki sınıflandırma hakkında ne bildiğini tahmin edebilir.

Diskriminant analizi

Bir de 1936 maddesi içinde Soyarıtımı Annals of Fisher bunların taç yaprağı ve çanak yaprağı boyutları bazında, bir doğrusal fonksiyonu, iris çiçek üç tür arasında ayrımını bulmak için bir prosedür tarif. Bu makale, Fisher'ın Mısır'da kazılan insan çene kemiğinin (çene kemikleri), E.S Martin ve Karl Pearson ( jstor ) ile birlikte ve ayrı bir kranial ölçüm projesinde önceden tahmin etmek için benzer bir teknik uyguladığını belirtiyor. bir Miss Mildred Barnard ile (ki bunu izleyemedim).

Lojistik regresyon

Lojistik fonksiyonun kendisi 19. yüzyıldan beri bilinmektedir, ancak çoğunlukla nüfus artışı veya biyokimyasal reaksiyonlar gibi doygun süreçler için bir model olarak bilinmektedir. Tim, JS Cramer'in ilk günlerinin güzel bir tarihi olan yukarıdaki makalesine bağlantı veriyor. Ancak 1969'da Cox İkili Verilerin Analizinin ilk baskısını yayınladı . Orijinali bulamadım, ancak sonraki bir sürümde sınıflandırma yapmak için lojistik regresyon kullanma ile ilgili tüm bir bölüm var. Örneğin:

$y=0,1$$x'$$y$$y$

$k$

$k$$k$

Nöral ağlar

Rosenblatt yayınlanan bir teknik rapor 1957 yılında algılayıcı açıklayan ve bunu takip bir kitap , Neurodynamics İlkeleri ile iş dahil 1960'ların beri var olmuştur geri yayılım 1962. Sürekli sürümlerinde, Kelley , Bryson ve revize Bryson & Ho ( 1975, ama asıl 1969'dan kalmadır, ancak sinir ağlarına bir süre sonra uygulanmamıştır ve çok derin ağları eğitme yöntemleri çok daha yakındır.Derin öğrenme üzerine bu bilimsel makale daha fazla bilgiye sahiptir.

İstatistiksel Yöntemler

Sınıflandırma için Bayes Kuralını kullanmanın birçok kez keşfedildiğinden ve yeniden keşfedildiğinden şüpheleniyorum - bu, kuralın kendisinin oldukça doğal bir sonucudur. Sinyal algılama teorisi, belirli bir girdinin bir "sinyal" veya gürültü olup olmadığına karar vermek için nicel bir çerçeve geliştirmiştir. Bazıları İkinci Dünya Savaşı'ndan sonra radar araştırmasından çıktı, ancak algısal deneyler için hızlı bir şekilde uyarlandı (örneğin, Green ve Swets tarafından ). Tahminciler arasında bağımsızlık varsaymanın kimin iyi işlediğini keşfettiğini bilmiyorum, ancak 1970'lerin başlarındaki çalışmalar bu makalede özetlendiği gibi bu fikri sömürüyor gibi görünüyor . Bu arada, bu makale Naif Bayes'e bir zamanlar "aptal Bayes" denildiğine de işaret ediyor!

Vektör makineleri desteklemek

1962'de Vapnik ve Chervonenkis , bir destek vektör makinesinin (veya aslında bir sınıf SVM) özel bir durumu gibi görünen "Genelleştirilmiş Portre Algoritması" nı ( korkunç tarama, özür dilerim ) tanımladılar . Chervonenkis , bunu ve takip çalışmalarını daha ayrıntılı olarak anlatan "Destek Vektör Makinelerinin Erken Tarihi" başlıklı bir makale yazdı . Çekirdek hilesi (iç ürünler olarak çekirdekler) 1964'te Aizerman, Braverman ve Rozonoer tarafından tanımlanmıştır. Svms.org, burada destek vektör makinelerinin geçmişi hakkında biraz daha var .

YASAL UYARI : Bu cevap eksik, ama şu anda güncel hale getirmek için zamanım yok. Bu hafta üzerinde çalışmayı umuyorum.

Soru:
1969 yılındaki verilerden tahmin yapma problemlerini çözmek için en gelişmiş yöntemler nelerdi?

Not: Bu, 'Matt Krause' tarafından verilen mükemmel cevabı tekrarlamayacaktır.

"Sanatın Durumu", "en iyi ve en modern" anlamına gelir, ancak bir endüstri normu olarak uygulama yapmak zorunda değildir. Buna karşılık, ABD Patent yasası, "teknikte sıradan beceri" ile tanımlanan "açık olmayan" ifadesini arar. 1969 tarihli "son teknoloji" muhtemelen önümüzdeki on yıl içinde patentlere sokuldu.

1969'un "en iyi ve en parlak" yaklaşımlarının ECHELON (1) (2) ' de kullanılmak üzere kullanılması veya değerlendirilmesi son derece olasıdır . Ayrıca, dönemin SSCB'nin oldukça matematiksel olarak yetenekli diğer süper gücünün değerlendirilmesinde de gösterilecektir. (3) Bir uydu üretmek birkaç yıl alır ve bu yüzden önümüzdeki 5 yıllık iletişim, telemetri veya keşif uyduları için teknoloji veya içeriğin 1969'un son teknolojisini göstermesini bekleyebilirim. Meteor-2 hava uydusu 1967'de başladı ve 1971'de ön tasarım tamamlandı. (4) Spektrometrik ve aktinometrik yük taşıma mühendisliği, günün veri işleme yetenekleri ve zamanın öngörülen "yakın gelecekteki" veri yönetimi tarafından bilgilendirilir. Bu tür verilerin işlenmesi, dönemin en iyi uygulamalarının aranacağı yerdir.

"Optimizasyon Teorisi ve Uygulamaları Dergisi" ne ilişkin bir inceleme birkaç yıldır çalışıyordu ve içeriği erişilebilir durumda. (5) Bu (6) optimal tahmin edicilerin değerlendirmesini ve bunu yinelemeli tahmin ediciler için değerlendirmeyi düşünün . (7)

1970'lerde başlayan SETI projesi muhtemelen daha düşük bütçeli teknoloji ve zamanın teknolojisine uyması için daha eski teknikler kullanıyordu. İrdelenmesi erken zamanda etrafında 1969. Bir olasılıkla aday lider kabul edildi ne konuşabilir SETI teknikleri "ile bir öncüsü olan bavul SETI ". "Bavul SETI" ~ 130k dar bant kanallarda otokorelasyon alıcıları oluşturmak için DSP kullandı. SETI halkı özellikle spektrum analizi yapmak istiyorlardı. Yaklaşım ilk olarak çevrimdışı olarak Aricebo verilerini işlemek için kullanıldı. Daha sonra canlı veriler için 1978'de Aricebo radyo teleskopuna bağlandı ve sonuç aynı yıl yayınlandı . Gerçek Suitecase-SETI 1982'de tamamlandı. Burada (link) işlemi gösteren bir blok diyagramdır.

Yaklaşım, işleme cıvıltısı ve Doppler kayması için gerçek zamanlı telafi dahil olmak üzere bant genişliği segmentlerini aramak için çevrimdışı uzun Fourier dönüşümleri (~ 64k örnekler) kullanmaktı. Yaklaşım "yeni değil" dir ve aşağıdakiler de dahil olmak üzere referanslar sağlanmıştır: Örneğin,

A. G. W. Cameron, Ed., 
In- terstellar Communication 
(Benjamin, New York,1963); 

I. S. Shklovskii and C. Sagan, 
In-telligent Life in the Universe 
(Holden-Day, San Francisco, 1966); 

C. Sagan, Ed., 
Communication with Extraterrestrial Intelligence 
(MIT Press, Cambridge, Mass., 1973); 
P. Morrison, J.

B. M. Oliver and J. Billingham, 
"Project Cyclops: A Design Study of a System for Detecting Extraterrestrial Intelligent Life," 
NASA Contract. Rep. CR114445 (1973). 

O sırada popüler olan önceki durum göz önüne alındığında bir sonraki durumun tahmininde kullanılan araçlar şunlardır:

• Kalman (ve türev) filtreler (Weiner, Bucy, doğrusal olmayan ...)
• Zaman serisi (ve türev) yöntemleri
• Filtreleme ve amplifikasyon dahil frekans etki alanı yöntemleri (Fourier)

Genel "anahtar kelimeler" (veya vızıltı kelimeler) "bitişik, varyasyon, gradyan, en uygun, ikinci dereceden ve eşlenik" içerir.

Kalman filtresinin temeli, gerçek dünya verilerinin analitik ve tahmine dayalı bir modelle optimum şekilde karıştırılmasıdır. Füzeler hareket eden bir hedefi vurmak gibi şeyler yapmak için kullanıldı.