«neural-network» etiketlenmiş sorular

10
Dekonvolüsyonlu katmanlar nelerdir?
Geçenlerde Jonathan Long, Evan Shelhamer, Trevor Darrell tarafından Semantik Segmentasyon için Tamamen Konvolüsyon Ağları'nı okudum . Dekonvolüsyon katmanlarının ne yaptığını / nasıl çalıştıklarını anlamıyorum. İlgili bölüm 3.3. Örnekleme tersten izlemeli evrişimdir Kalın çıktıları yoğun piksellere bağlamak için başka bir yol enterpolasyondur. Örneğin, basit bilinear enterpolasyon, her bir çıktısını , yalnızca ...


5
Yapay sinir ağlarında “ölen ReLU” sorunu nedir?
Stanford kursuna atıfta bulunan Görsel Tanıma Konvolüsyonel Sinir Ağları ile ilgili notlara bakınız. “Maalesef, ReLU üniteleri eğitim sırasında kırılgan olabilir ve“ ölebilir ”. Örneğin, bir ReLU nöronundan akan büyük bir gradyan ağırlığın, nöronun herhangi bir veri noktasında tekrar aktive olmayacağı şekilde güncellenmesine neden olabilir. gerçekleşirse, ünite boyunca akan gradyan sonsuza ...

6
GRU LSTM üzerinden ne zaman kullanılır?
Bir GRU ve bir LSTM arasındaki temel fark, bir GRU’nun iki kapısına ( sıfırlama ve güncelleme kapıları) sahip olmasıdır; oysa, bir LSTM’de üç kapı ( giriş , çıkış ve unutma kapıları) vardır. LSTM modeli ile ağ üzerinde daha fazla kontrole sahip olduğumuzda neden GRU'dan faydalanıyoruz (üç kapımız olduğu gibi)? Hangi ...

8
Bir öğrenme oranı seçme
Şu anda, SGDgeri yayılım kullanan sinir ağları için , Stokastik Degrade İnişini uygulamak için çalışıyorum ve amacını anladığım sırada, öğrenme oranı için nasıl değer seçileceği konusunda bazı sorularım var. Öğrenme oranı, iniş oranını belirttiği için hata gradyanının şekliyle ilişkili midir? Eğer öyleyse, bu bilgiyi bir değer hakkında kararınızı bildirmek için ...



3
Max-Pooling Katmanları Üzerinden Backprop?
Bu, bir süredir beni şaşırtan küçük bir kavramsal sorudur: Bir sinir ağındaki max-havuz katmanından nasıl geri yayılabiliriz? Torch 7'nin nn kütüphanesi için bu eğitici yazıda Max Pooling katmanları ile karşılaştım . Kütüphane, gradyan hesaplamasını soyutlar ve derin bir ağın her katmanı için ileri geçişler. Gradyan hesaplamasının bir max-pooling katmanı için ...

4
1x1 konvolüsyonlar tamamen bağlı bir katmanla aynıdır?
Geçenlerde Yan LeCuns'in 1x1 konvolüsyonları hakkındaki yorumunu okudum : Konvolüsyonlu Ağlarda, "tamamen bağlantılı katmanlar" diye bir şey yoktur. Yalnızca 1x1 evrişim çekirdekleri ve tam bir bağlantı tablosu olan evrişim katmanları vardır. Çok nadiren anlaşılan bir gerçek, ConvNets'in sabit boyutlu bir girişe sahip olması gerekmiyor. Bunları, tek bir çıkış vektörü üreten ...

3
RNN vs CNN yüksek seviyede
Tekrarlayan Sinir Ağları (RNN) ve çeşitleri ve Konvolüsyonel Sinir Ağları (CNN) ve çeşitleri hakkında düşünüyordum. Bu iki noktanın söylemesi adil olur mu: Bir bileşeni (görüntü gibi) alt bileşenlere (görüntüdeki nesnenin, örneğin görüntüdeki nesnenin anahatları gibi) parçalamak için CNN'leri kullanın. Alt bileşenlerin birleşimini oluşturmak için RNN'leri kullanın (resim yazısı, metin oluşturma, ...

2
Ne zaman kullanılmalı (He veya Glorot) düzgün init üzerinden normal başlatma? Ve Toplu Normalleştirme ile etkileri nelerdir?
Artık Ağın (ResNet) O'nun normal kullanıma hazırlanmasını popüler yaptığını biliyordum. ResNet'te He normal başlatma, ilk katman He üniforma başlatmayı kullanır. ResNet makalesine ve "Doğrultucuların Derinliklerine Çıkarma" kağıdına baktım. Ayrıca: Toplu Normalleştirme, çok daha yüksek öğrenme oranları kullanmamızı ve başlatma konusunda daha az dikkatli olmamızı sağlar. Toplu Normalleştirme makalesinin özetinde, Toplu ...

3
Derin bir sinir ağında donatı ile mücadele nasıl
Yapay sinir ağları (NN) ile başladığımda, asıl sorun olarak fazla donmakla savaşmam gerektiğini düşündüm. Ancak uygulamada NN'imin% 20 hata oranı engelini aşmasını bile sağlayamıyorum. Rasgele ormandaki puanımı bile geçemiyorum! NN'in verilerdeki trendleri yakalamaya başlaması için ne yapılması gerektiği konusunda çok genel veya çok genel bir tavsiye arıyorum. NN uygulanması için ...

4
Yapay sinir ağları: hangi maliyet fonksiyonu kullanılacak?
TensorFlow'u özellikle sinir ağları ile yapılan deneyler için kullanıyorum . Her ne kadar bazı deneyler yapmama rağmen (XOR-Problem, MNIST, bazı Regresyon işleri, ...) şimdi, belirli problemler için "doğru" maliyet fonksiyonunu seçmekle uğraşıyorum, çünkü genel olarak bir başlangıç ​​olarak kabul edilebilirim. TensorFlow'a gelmeden önce, tamamen bağlı bazı MLP'leri ve bazı tekrarlayan ...

1
LeakyReLU ve PReLU arasındaki fark nedir?
Hem PReLU hem de Leaky ReLU'nun olduğunu düşündüm. f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, ancak, dokümanlar her iki işlevi vardır . Sızdıran ReLU LeakyReLU'nun Kaynağı : return K.relu(inputs, alpha=self.alpha) Dolayısıyla ( relu koduna bakınız ) f1(x)=max(0,x)−αmax(0,−x)f1(x)=max(0,x)−αmax(0,−x)f_1(x) = \max(0, ...

4
Zaman Serisi Modeline LSTM Özellik Ekleme
LSTM'leri ve zaman serileri için kullanımlarını biraz okumakta ve aynı zamanda ilginç fakat zor olmuştur. Anlamakta güçlük çektiğim bir şey, zaman serisi özelliklerinin bir listesine ek özellikler eklemeye yaklaşmak. Veri kümenizi şu şekilde ayarladığınızı varsayalım: t-3, t-2, t-1 Çıkış Şimdi çıktınızı etkileyen bir özelliğiniz olduğunu bilmenizi sağlar, ancak bunun zaman ...

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.