Makine Öğrenimi modellerine neden kara kutu deniyor?

Bu blog yazısını okuyordum: The Financial World, AI'nın Kara Kutularını Açmak İstiyor , burada yazarın art arda ML modellerini "kara kutular" olarak adlandırıyor.

ML modellerine atıfta bulunurken, bazı yerlerde benzer bir terminoloji kullanılmıştır. Neden bu kadar?

ML mühendislerinin sinir ağlarında neler olup bittiğini bilmemeleri gibi değil. Her katman, hangi etkinleştirme işlevinin kullanılacağını, bu tür katmanların ne yaptığını, hatanın nasıl yayıldığını vb. Bilerek ML mühendisi tarafından seçilir.

Kara kutu şey (kitle insan olduğu sürece) seyircinin uzmanlık düzeyi ile ilgisi yoktur, fakat explainability makine öğrenme algoritması tarafından modellenen işlevin.

Lojistik regresyonda girdiler ve çıktılar arasında çok basit bir ilişki vardır. Bazen belirli bir örneğin neden yanlış kataloglandığını anlayabilirsiniz (örneğin, giriş vektörünün belirli bir bileşeninin değeri çok düşük olduğu için).

Aynısı karar ağaçları için de geçerlidir: ağacın uyguladığı mantığı izleyebilir ve belirli bir öğenin neden bir sınıfa veya diğerine atandığını anlayabilirsiniz.

Ancak, derin sinir ağları, kara kutu algoritmalarının paradigmatik örneğidir. Hiç kimse, dünyadaki en uzman kişi bile değil, aslında bir sinir ağını eğiterek modellenen işlevi kavrayamaz. Buna ilişkin bir görüş, rakip örnekler üzerinden sağlanabilir : Bir eğitim örneğindeki bir miktar (ve bir insan tarafından farkedilmeyen) değişiklik ağın tamamen farklı bir etikete ait olduğunu düşünmesine yol açabilir. Farklı örnekler oluşturmak için bazı teknikler ve bunlara karşı sağlamlığı artırmak için bazı teknikler vardır. Ancak, hiç kimse ağ tarafından modellenen işlevin ilgili tüm özelliklerini bilmediği için, bunları yaratmanın yeni bir yolunu bulmak her zaman mümkündür.

İnsanlar aynı zamanda kara kutular ve biz de olumsuz örneklere karşı duyarlıyız .

Ncasas'ın çoğu noktada cevap vermesine katılıyorum (+1), bazılarında farklılıklar için yalvarıyorum:

• Karar Ağaçları da kara kutu modelleri olarak kullanılabilir. Aslında, çoğu durumda kara kutu modelleri olarak kullanıldığını söyleyebilirim. 10.000 özelliğe ve 50 derinliğe sahip bir ağacınız varsa, bir insanın bunu anlamasını makul bir şekilde bekleyemezsiniz.
• Yapay Sinir Ağları anlaşılabilir. Pek çok analiz tekniği var ( bazıları modeli geliştirmek için yüksek lisans tezimin 2.5 bölümüne bakın ). Özellikle oklüzyon analizi (Şekil 2.10), Filtre görselleştirme (Şekil 2.11). Ayrıca Neden Size Güvenmeliyim? Bildiri ( notlarım ).

Kara kutu modelinin öngörüsünü fantezi oklüzyon analizi ile açıklamak ("Neden sana güveneyim?" Den):

Model Yorumlanabilirliğinin Mythos'una dikkat çekmek istiyorum . Yorumlanabilirlik ile ilgili bazı fikirleri özlü bir şekilde formüle eder.

Senin sorun

Makine Öğrenimi modellerine neden kara kutu deniyor?

İnsanlar nasıl kullanıyorlar : Çünkü sorunu, herhangi bir girdi için olanları doğrudan söyleyebilecek şekilde modellemiyorlar.

Kişisel düşünceler

Bu "kara kutu modeli" nosyonunun pek mantıklı geldiğini sanmıyorum. Örneğin, hava tahminlerini düşünün. Herhangi bir insandan, yalnızca veri verilirse hangi havanın tahmin edileceğini söylemesini bekleyemezsiniz. Ancak çoğu insan fiziksel hava modellerinin kara kutu modelleri olduğunu söyleyemez. Peki fark nerede? Sadece bir modelin veriler kullanılarak üretildiği, diğeri ise fiziğe yönelik içgörüler kullanılarak üretildiği mi?

İnsanlar kara kutu modellerinden bahsettiklerinde genellikle kötü bir şeymiş gibi söylüyorlar. Ancak insanlar kara kutu modelleridir. Burada gördüğüm kritik fark, insanların yaptığı hatalar sınıfının insanlar için tahmin etmesinin daha kolay olmasıdır. Bu yüzden bir eğitim problemi (NN tarafındaki ters örnekler) ve bir eğitim problemidir (insanlara NN'lerin nasıl çalıştığını öğretir).

“Kara kutu modeli” terimi nasıl kullanılmalı : Bana daha mantıklı olan bir yaklaşım, sorunu “kara kutu sorunu” olarak adlandırmaktır, kullanıcı 144410 (+1) yazdıklarına benzer. Bu nedenle, sorunu yalnızca kara kutu olarak gören herhangi bir model - bu nedenle girdi ekleyebileceğiniz ve çıktı alabileceğiniz bir şey - kara kutu modelidir. Sorun hakkında fikir sahibi olan (sadece varsayım yapmaz!) Modeller kara kutu modelleri değildir. İçgörü kısmı zor. Her model, modelleyebileceği olası fonksiyon için kısıtlamalar yapar (evet, evrensel yaklaşım problemini biliyorum. Sabit boyutlu bir NN kullandığınız sürece geçerli değildir). Sorunu dürtmeden giriş ve çıkışın ilişkisi hakkında bir şey biliyorsanız (verilere bakmadan) bir şeyin problemle ilgili bir fikir olduğunu söyleyebilirim.

Bundan ne izler:

• Yapay Sinir Ağları kara kutu olmayabilir (beyaz kutu?)
• Lojistik Regresyon kara kutu modeli olabilir.
• Sorun hakkında daha fazla şey ve onunla ilgili görüşleriniz, model hakkında daha az.

Model yorumlanabilirlik ve açıklanabilirlik ile ilgilidir. Daha basit bir modelin çıktısı göz önüne alındığında, her girişin model çıktısına tam olarak nasıl katkıda bulunduğunu tanımlamak mümkündür, ancak modeller daha karmaşık hale geldikçe bu zorlaşır. Örneğin, regresyon ile katsayıları gösterebilir, bir karar ağacıyla bölmeleri tanımlayabilirsiniz. Ve bu bilgilerle, model davranışını açıklamak için kurallar türetebilirsiniz.

Bununla birlikte, model parametrelerinin sayısı arttıkça, girdi kombinasyonlarının son model çıktısına ne yol açtığını açıklamak ya da modelin davranışından kurallar türetmek giderek daha zor hale gelir. Finans sektöründe COO geldiğinde ve 'öyleyse, neden yüksek frekanslı işlem algo ekonominizi bozdu' diye sorduğunda, nasıl inşa edildiğini duymak istemiyor, neden onu iflasa yolladı. Modelin nasıl oluşturulduğunu belirtmek mümkün olacak, ancak modelin girdi olarak aldığı faktörlerin kombinasyonlarını çıktıya götürdüğünü ve bu nedenle insanların kara kutular hakkında konuştuklarını açıklamak mümkün olmayabilir.

Kara kutu modelleri, denklemleri herhangi bir fiziksel / bilimsel yasaya dayanmadan mümkün olduğu kadar genel ve esnek olacak şekilde seçilen matematiksel modelleri ifade eder.

Gri kutu modelleri, denklemlerin bir kısmının (matematiksel fonksiyon) fiziksel olarak bilinen yasalardan geldiği, ancak kalan kısmın açıklanamayan kısmı telafi etmek için genel fonksiyon olarak kabul edildiği matematiksel modellerdir.

Beyaz kutu modelleri tamamen fiziksel yasalar üzerine kurulu matematiksel modellerdir ve örneğin mekanik hareket yasaları (uçak modeli gibi).

Bakınız: https://en.wikipedia.org/wiki/Mathematical_model#A_priori_information

Bildiğiniz gibi kara kutu girdilerin ve çıktıların imzasını bildiğiniz, ancak girdilerin çıktılarını nasıl belirlediğini bilemediğiniz bir işlevi ifade eder.

Bu durumda, terimin kullanımı yanlış vızıltı olarak kullanılıyor. Yazar / yazarın ML modellerini bilme ve anlama istekliliğinin veya kapasitesinin ötesinde olabilir, ancak bu başkalarının isteklerinin veya kapasitelerinin ötesinde olduğu anlamına gelmez. Her ML modelini oluşturan mühendisler tam olarak nasıl çalıştığını biliyor ve karar ağacını istedikleri zaman yukarı çekip yürüyebiliyorlar. Sadece birisinin çok tembel olabileceği veya bunun zaman alması, bilginin tüketime hazır olmadığı anlamına gelmez.

ML modelleri kara kutu değildir, sadece gerçekten büyük olan açık kutulardır.

ML mühendisleri sinir ağının içinde neler olup bittiğini bilmiyor

Size aykırı olduğum için üzgünüm, ama doğru. Sinir ağlarının nasıl öğrendiğini biliyorlar, fakat herhangi bir sinir ağının ne öğrendiğini bilmiyorlar. Yapay sinir ağları tarafından öğrenilen mantık, meşhurca anlaşılmazdır.

Makine öğrenmesini kullanmanın amacı, genellikle bir programcının veya alan uzmanının düşünmeyeceği kuralları öğrenmektir. Bunu çözmek doğal olarak zordur.

Bir harf değişkeni adıyla yazılmış, yorum yapılmayan, açık bir yapıya sahip olmayan, belirsiz matematik kullanan ve hepsi artık ölü olan biri tarafından yazılmış geleneksel bir bilgisayar programına benzer. Bir hata ayıklayıcıda atlayabilirsiniz, ancak yine de nasıl çalıştığı belli değil.

Nadiren, birileri sinir ağının ne yaptığını anlamakta zorlanıyor. Örneğin, min-çatışmalar algoritması , N-kraliçeleri probleminde eğitilmiş bir sinir ağını analiz ederek keşfedildi . Ama bu çok iş.

Bu soruya atıfta bulunulan blog yazısında, tartışma, finansta makine öğrenme modelleri geliştiren uzmanların müşterilerine (makine öğrenimi eğitimi almayan finansörler) modelin aldığı kararları nasıl verdiğini açıklayamamasıyla ilgilidir. .

Bunun nedeni (örneğin katsayıları kurcalamaya dayanıklı FPGA kodlanır) ve modeller açık olduğunu gerçekten sır bilginin siyah kutular modelleri arasında bir ayrım ortaya çıkarır ama anlaşılır değil (katsayılar bilinmektedir anlamında) a belirli bir kitle .

Bu ikinci tür "kara kutu" sorunludur çünkü müşteriler inşa ettikleri modelin "geçerliliği" olduğu konusunda kendilerini güvence altına almak isterler. Lojistik Regresyon gibi diğer modellerde, katsayılara bakmak ve beklenen artı veya eksi işaretlerinin olup olmadığını kontrol etmek oldukça kolaydır, hatta matematiksel olarak okuma yazma bilmeyen bir MBA bile bunu anlayabilir.

Makine Öğrenmesi haklı olarak Kara kutular olarak kabul edilebilir, sinir ağları kullanan XOR problemi için çözümler modellenebilir, ancak girdi sayısı arttıkça karmaşıklık ve boyutlar da artar. Anlamak ve açıklamak çok karmaşıksa, o zaman sonuçları hesaplayıp hesaplayamayacağımız bir kara kutu.

Onları sadece 3 boyuta kadar algılayabiliriz ancak bu yeterlidir, çünkü 3B modeli referans noktası olarak kullanarak bu daha yüksek boyutlara çıkarabiliriz. Yerel minimumları ve kısmen öğrenilen veri setlerinin bölümlerini hayal edebiliyoruz.

Bir süredir bu fikirle oynuyordum, bu yüzden işte sinir ağları animasyonları ürettim ve sinir ağları anlayışımı geliştirdim. 1 ve 2 gizli katmana sahip animasyonlar hazırladım (3. çoğunlukla yapılır) ve verileri nasıl öğrendiklerini.

Animasyon yavaştır ve üst katmanları gösteren üst sağ animasyon izlemeye değerdir, istersen Youtube'da animasyonları hızlandırabilir, sağ üstte 3: 20 Orange 6 dakikada kırmızı, 8: 20'de Mavi, Turuncu ve Kırmızı bölgede. Ağırlık değişimlerinin yönü açıkça sol alt animasyondadır.

https://www.youtube.com/watch?v=UhQJbFDtcoc

Bu şekilde kullanılan kara kutu konseptinin yazılım ve donanım Kalite Güvencesinde kara kutu testinden kaynaklandığını düşünüyorum . Test ettiğin şeylerin içine bakmamayı veya hatta bakmamayı ve hatta çalışmamayı seçtiğin zamandır. Olması için bir sebep olabilirdi

1. içine bakmak pratik ya da imkansız (mühürlü bir ortamda ve biz sadece içine bakamayız) - Ama olabilir

2. Çünkü içini görebilirseniz berbat testler yazma olasılığı daha yüksektir. “Niyetli veya niyetimiz olmadan” “geçmek için tasarlanmış yazma testleri” riski.

Testi, test edilen şeye uyacak şekilde yazmak, gerçekte bir şey bulma şansını azaltmak.

Yetenekli bir sinyal mühendisinin bir sinir ağının iç çalışmalarına göz atması ve belirli bir eğitim dizisinde hangi özelliklerin seçildiğini kontrol etmesi mükemmel bir şekilde mümkün olacaktır .

Kara kutu yöntemlerini "başlatılmamış" olarak açıklamak zor. Finansmandaki veya başka alanlardaki herkes, regresyonun temellerini veya hatta karar ağaçlarını kavrayabilir. Destek vektör makinesi hiper uçakları ve sinir ağı sigmoid fonksiyonları hakkında konuşmaya başladığınızda izleyicilerin çoğunu kaybedeceksiniz