ML neden sadece Nvidia cipsleri kullanılabilir olduktan sonra uygulanabilir oldu?

İki etkili Çinli bilim insanından oluşan panelin konuşmasını dinledim: Wang Gang ve Yu Kai ve diğerleri.

Yapay zeka gelişiminin yakın gelecekte (3 ila 5 yıl) en büyük darboğaz sorulduğunda, donanım endüstrisinde bir arka plana sahip olan Yu Kai, donanımın temel sorun olacağını ve en fazla ödeme yapmamız gerektiğini söyledi. bizim dikkatimiz. Bize iki örnek verdi:

1. Bilgisayarın erken gelişiminde, makinelerimizi yongalarıyla karşılaştırıyoruz;
2. Bu yıllarda çok popüler olan yapay zeka, Nvidia'nın GPU'su tarafından güçlendirilmezse neredeyse imkansız olurdu.

Temel algoritmalar 1980'lerde ve 1990'larda zaten vardı, ancak yapay zeka 3 AI kışından geçti ve GPU ile güçlendirilmiş mega sunucularla modelleri eğitene kadar ampirik değildi.

Daha sonra Dr. Wang, dünyadaki tüm GPU'ları ve hesaplamayı bir araya getirsek bile otomatik bir otomobil üretemediğimiz için yazılım sistemleri de geliştirmemiz gerektiğini düşündüğünü söyledi.

Daha sonra, her zamanki gibi, zihnim dolaştı ve 1980'lerde ve 1990'larda süper bilgisayarları çalıştırabilecek olanların o zamanki mevcut sinir ağı algoritmalarını kullandıklarında ve tonlarca bilimsel veriyle eğittiklerinde? O zaman bazı insanlar şu anda inşa ettiğimiz AI sistemlerini kurmaya çalışabilirler. Fakat AI neden on yıllara kadar sıcak bir konu haline geldi ve ampirik oldu? Bu sadece bir donanım, yazılım ve veri meselesi mi?

AI endüstrisinin patlaması için birçok faktör var. Pek çok insanın özlediği şey, patlama çoğunlukla AI'nin Machine Learning bölümünde olmuştur. Bu, daha önceki zamanlarda karşılaştırmalarıyla birlikte çeşitli basit nedenlerle ilişkilendirilebilir:

• Matematik : ML algoritmalarının ardındaki matematik oldukça basittir ve uzun zamandır bilinir (işe yarayıp yaramayacağı bilinmemektedir). Daha önceki zamanlarda, bir yonga üzerinde hesaplanması için, yüksek bir sayı hassasiyeti gerektiren algoritmaları kabul edilebilir bir sürede uygulamak mümkün değildi. Sayıların ana aritmetik işlem bölümlerinden biri modern işlemcilerde hala çok fazla döngü gerektirir. Eski işlemciler, modern işlemcilerden (100x'ten fazla) daha büyük büyüklükte sürelerdi, bu darboğaz, modern işlemciler üzerinde sofistike modelleri eğitmeyi imkansız hale getirdi.
• $1$$0$
• Paralelleştirme : Matris işlemlerinin paralelleştirilmesi kavramı yeni bir şey değildir. Derin Öğrenmeyi sadece bir dizi matris işlemi olarak görmeye başladığımızda, bunun büyük ölçüde paralel GPU'larda kolayca paralelleştirilebildiğini fark ettik, yine de ML algoritmanız doğal olarak paralel değilse, CPU veya GPU kullanmanız zor değil ( örneğin RNN'ler).
• Veri : ML patlamasındaki muhtemelen en büyük neden. İnternet, kullanıcılardan büyük miktarda veri toplama ve ilgili tarafların kullanımına sunma fırsatı sağlamıştır. Bir ML algoritması sadece verilere dayanan bir fonksiyon tahmincisi olduğundan, veri bir ML algoritmasındaki en önemli şeydir. Veri ne kadar çok olursa modelinizin performansı o kadar iyi olur.
• Maliyet : Bir ML modelinin eğitim maliyeti önemli ölçüde azalmıştır. Bir modeli eğitmek için bir Süper Bilgisayar kullanmak iyi olabilir, ama buna değdi mi? Normal PC yıllardan farklı olarak Süper bilgisayarlar muazzam soğutma, uzay, vb Yakın zamanda açısından aç kaynak gerektirirler makalesindeMIT Technology Review, bir Deep Learning modelinin (ML alt dalı) eğitiminin karbon ayak izine dikkat çekiyor. Süper bilgisayarlarda daha erken eğitim almanın neden mümkün olmadığını gösteren iyi bir göstergedir (modern işlemcilerin çok daha az güç tüketmesi ve daha yüksek hızlar vermesi dikkate alındığında). Emin değilim ama daha önce süper bilgisayarlar "paralel + çok yüksek hassasiyetli hesaplama" konusunda uzmanlaşmış olduğunu düşünüyorum (hava durumu, astronomi, askeri uygulamalar, vb için gerekli) ve Makine Öğrenme senaryosunda "çok yüksek hassas bölüm" aşırı doludur.

Bir diğer önemli husus, günümüzde herkesin güçlü bilgisayarlara erişimi olmasıdır. Böylece, herkes yeni ML modelleri oluşturabilir, önceden var olan modelleri yeniden eğitebilir, modelleri değiştirebilir, vb. Bu, daha önceki zamanlarda mümkün değildi,

Tüm bu faktörler ML'ye olan ilginin artmasına neden oldu ve bugün gördüğümüz patlamaya neden oldu. Ayrıca dijital işlemcilerin ötesine nasıl geçtiğimize dair bu soruyu da inceleyin .

GPU'lar AI patlaması için idealdir

• Doğru zamanı vurdular

AI UZUN bir süredir araştırıldı. Neredeyse yarım yüzyıl. Bununla birlikte, algoritmaların nasıl çalışacağını ve nasıl görüneceğini araştırdı. NV, yapay zekanın ana akım haline gelmek üzere olduğunu görünce, GPU'larına baktılar ve göreceli programlama kolaylığı olan devasa parellel işleme gücünün olması gereken dönem için ideal olduğunu fark ettiler. Birçok insan bunu fark etti.

• GPU'lar bir çeşit genel amaçlı hızlandırıcılardır

GPGPU, genel görevler için GPU paralel işlemeyi kullanma konseptidir. Grafikleri hızlandırabilir veya algoritmanızın GPU'da 1000'ler çekirdeği özelleştirmesini sağlayabilirsiniz. Bu, GPU'yu AI dahil her türlü kullanım durumu için harika bir hedef haline getirir. Zaten mevcut oldukları ve programlanması çok zor olmadığı göz önüne alındığında, AI algoritmalarını hızlandırmak için ideal seçim.