Sis koşullarındaki (3 sınıf) görüntüleri sınıflandırmak için evrişimli bir sinir ağı eğitimi alıyorum. Bununla birlikte, yaklaşık 150.000 görüntünün her biri için, görüntülerin sınıflarını tahmin etmede yardımcı olabilecek dört meteorolojik değişkenim var. Meteorolojik değişkenleri (örneğin sıcaklık, rüzgar hızı) mevcut CNN yapısına nasıl ekleyebileceğimi merak ediyordum, böylece sınıflandırmada yardımcı olabilirdi.
Zaten aklıma gelen bir yol, CNN ile birlikte başka bir (küçük) ileri beslemeli sinir ağı oluşturmak ve daha sonra CNN tabakalarının çıktılarını ve görüntü olmayan sinir ağının gizli tabakalarını yoğun tabakada birbirine birleştirmektir.
Düşünebileceğim ikinci yol, bu özelliklerin yoğun katmanla temasa geçmesidir. Ancak, bu durumda, görüntü olmayan değişkenler (sanırım) sadece doğrusal tahminlerde bulunabilecektir.
Görüntü olmayan özelliklerin modele dahil edilmesinin başka (daha iyi) yolları var mı? Ve sahip olduğum veri miktarını göz önünde bulundurarak önerilen yöntem ne olurdu?
Sahip olduğum başka bir soru, görüntü olmayan bu özelliklerle eğitim yaparken kıvrımlı katmanları çözmem gerekip gerekmediğidir? Resnet-18'in bu katmanları (ImageNet üzerinde önceden eğitilmiş olarak başlatıldı) görüntüler kullanılarak zaten ince ayar yapıldı. Benim tahminim, onları donmuş tutmalı ve sadece yoğun katmanı çözmeliyim çünkü sadece burada olmayan görüntü özellikleri görüntü özellikleriyle (daha önce CNN'de değil) 'temasa' giriyor. Eğer bu konuda yanılıyorsam, lütfen söyleyin!