Makine öğreniminde modelleri eğitirken, bazen parti boyutunu 2'lik bir güçte tutmak neden avantajlıdır? GPU belleğinize / RAM'inize en uygun boyutu kullanmanın en iyisi olacağını düşündüm.
Bu cevap , bazı paketler için, 2'lik bir gücün parti boyutu olarak daha iyi olduğunu iddia ediyor. Birisi bunun için ayrıntılı bir açıklama / bağlantı verebilir mi? Bu, tüm optimizasyon algoritmaları (gradyan inişi, geri yayılım, vb.) İçin mi yoksa yalnızca bazıları için mi geçerli?
Yanıtlar:
Bu, sanal işlemcilerin (VP) GPU'nun fiziksel işlemcilerine (PP) hizalanması sorunudur. PP sayısı genellikle 2 güç olduğundan, 2 güçten farklı bir sayıda VP kullanmak düşük performansa neden olur.
VP'nin PP'ye eşlemesini, PP sayısı büyüklüğünde bir dilim yığını olarak görebilirsiniz .
Diyelim ki 16 PP var.
Onları 16 VP eşleyebilirsiniz: 1 VP 1 PP üzerine eşlenir.
Üzerinde 32 VP eşleştirebilirsiniz: 2 VP'den 2 dilim, 1 PP sorumlu olacaktır.
Vb Yürütme sırasında, her PP sorumlu olduğu 1. VP'nin işini, daha sonra 2. VP'nin işini vb. Yürütür.
17 VP kullanırsanız, her PP 1. PP'lerinin işini yürütür, o zaman 1 PP 17. işini yürütmek VEDiğerleri hiçbir şey yapmaz (aşağıda belirtilmiştir).
Bunun nedeni GPU'lar tarafından kullanılan SIMD paradigmasıdır ( 70'lerde vektör olarak adlandırılır ). Buna genellikle Veri Paralellik denir: tüm PP aynı şeyi aynı anda ama farklı veriler üzerinde yapar. Bkz. Https://en.wikipedia.org/wiki/SIMD .
Daha kesin olarak, 17 VP'li örnekte, 1. dilimin işi yapıldıktan sonra (1. VP'lerinin işini yapan tüm PP'ler tarafından), tüm PP aynı işi yapacaktır (2. VP), ancak sadece bir tanesi üzerinde çalışılacak veriler .
Öğrenmeyle ilgisi yok. Bu sadece programlama.