Farklı Bayer demosaicing algoritmalarının artıları ve eksileri nelerdir?

Bayer sensörleri, kırmızı, yeşil ve mavi piksellerden oluşan bir desen kullanır ve bunları, her bir renk sensörü için bir piksele sahip son bir renkli görüntüde birleştirir . Bu, komşu sensörlerin "saf" bir karışımıyla yapılabilir, ancak AHD, HPHD ve AMaZE gibi isimlerle daha karmaşık yaklaşımlar duydum.

Bu diğer yaklaşımlar nelerdir ve hangi avantajları sağlar? İşlem karmaşıklığının ötesinde zayıf yönleri var mı?

Kamera içi JPEG için kullanılan yaklaşımın daha sıkı korunduğunu, ancak açıkça çok fazla araştırma ve geliştirmenin bu alana girdiğini hayal ediyorum. Kameradaki sınırlı işlem gücü bu alanda herhangi bir uzlaşmaya yol açıyor mu?

Makine görüş kamera SDK'mın yerleşik bayer işlevinde en yakın komşu "enterpolasyonu" kullandığını öğrendiğim için birkaç ay önce şaşırdım. En hızlı, ancak en kötü türdür, özellikle renk sabitliği veya parlaklık değişmezliği için görüntü kanallarında matematik yapmaya başladığınızda sert kenarlar verir. Bu algoritmaların incelemesini buldum:

http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf

Bir sonraki adım, oldukça hızlı hesaplanabilen bilinear ve bicubic enterpolasyonlarıdır, çünkü bunlar yalnızca evrişim çekirdeği anlamına gelir. Bunlar eğimli kenarlarda renkli testere dişleri verir - bibubikten daha bilinmemektedir.

Bu yazıda ve 5 farklı algoritmada nicel kalite verileriyle görülebilir:

http://research.microsoft.com/en-us/um/people/lhe/papers/icassp04.demosaicing.pdf

Bu yüzden kenar yönüne dayalı enterpolasyonlar yaptılar. Bununla birlikte, bunlar yeşile daha "önemli bir kanal" gibi davranır (çünkü en iyi çözünürlüğe sahiptir ve görsel duyarlılığımızın ve gözlerimizin çözünürlüğünün çoğunu oluşturur). Sonra yeşil kanalın bir fonksiyonu olarak mavi ve kırmızı tonları korurlar. Bu da yeşil kanalın yüksek frekans içeriğini hatalara daha yatkın hale getirir. Karmaşıklık, neler olup bittiğini tespit etmek zorunda olduklarından ve birden fazla geçiş gerektirdiğinden daha yüksektir. Hareli ve mısır, bu tür enterpolasyonlardan kaynaklanan yaygın eserlerdir.

Burada, ton koruyucu ve kenar koruyucu ekleri olan ve olmayan Uyarlamalı Homojenlik Demosaicing ve bilinear versiyonlarına örnekler:

http://math.auburn.edu/~kilgota/ahd_bayer.pdf

Bu makale AHD'yi tercih ediyor ve olumsuz kısmı göstermiyor. Bu sayfada Uyarlanabilir Homojenite Demosaicing, Desenli Piksel Gruplama ve Değişken Sayıdaki Gradentlerden farklı desen artefaktlarını görebilirsiniz (farelerin adlarının üzerine gelin):

http://www.ruevski.com/rawhistogram/40D_Demosaicing/40D_DemosaicingArtifacts.html

Özet olarak, bu algoritmalarda kullanılan bazı varsayımlar vardır ve varsayım geçerli olmadığında eserler meydana gelir:

• Kanal başına pürüzsüzlük. En yakın komşular aynı değilse, geçişi pürüzsüz hale getirin. Eserdir: testereler / fermuarlar, yumuşaklık
• Yönlendirilmiş kenarlara sahip parlaklık sabiti Eserler: yüksek frekanslı doku hareli, renkli saçak
• Ton sabitliği. Bir mahallede ton aynıysa, eğer bir kanal değişirse diğerlerinin izlemesi gerekir. Artefaktlar: renkli kenarlarda renkli fermuarlar
• Tutarlılık yeşilliklerden tahmin edilebilir. Yapı: labirent

Bununla biraz oynamaya başladım ve saf yaklaşımın o kadar da kötü olmadığını gördüm. Bu sadece her bir rengi ayrı ayrı işlemden geçirme ve pikseller arasına girmek için enterpolasyon yapmadır. Bunun ana dezavantajı, yüksek kontrastın olduğu bir yerde gözetleme yapan bir pikselseniz, küçük bir renk saçaklığı görebilirsiniz. Başka bir deyişle, siyah bir alana bitişik açık gri bir alana sahipseniz, sınırda birkaç renkli piksel göreceksiniz. Neyse ki bunlar genel olarak ortalamanın dışında, ancak kenar neredeyse dikey ya da neredeyse yatay ise düşük bir frekansın üzerinde ortalar. Aynı etki, neredeyse dikey veya yatay olan ince parlak çizgilerde daha da belirgin olabilir.

İşte bir örnek. Bu resim kasıtlı olarak bir deneme çekimi olarak çekildi:

Krom kaplama hattının görünen bandına dikkat edin. Bunu perspektife koymak için, işte tam kare:

Alternatif bir yaklaşım hakkında düşündüm ama şimdiye kadar her zaman önce yapılacak başka şeyler oldu. Bu şema önce sadece parlaklığı bulmaya çalışırdı . Görüntü siyah ve beyaz olsaydı bu, görüntü verilerinin tek kanalı olurdu. Renklerin eşit olarak katkıda bulunmamasına rağmen, her duyu bir miktar katkıda bulunur. Yoğunluk belirlendiğinde, renkleri naif yöntemde olduğu gibi enterpolasyon yaparsınız, ancak sonucu yalnızca renkleri yoğunluğu koruyacak şekilde ayarlamak için kullanırsınız. Yoğunluk daha yüksek bant genişliğine sahip olacaktı veya fotoğraf bilgisinde ton bilgisinden daha keskin olacaktı. Analog TV bu numarayı renkli görüntünün bant genişliği gereksinimlerini azaltmak için kullandı. Ondan kaçtılar çünkü insan görsel sistemi yoğunluktan renklere, özellikle kırmızıya daha fazla önem veriyor.

Neyse, bunlar sadece bazı düşünceler. Dediğim gibi, henüz denemedim ya da detayları çözmedim. Bir gün.

Anladığım kadarıyla Lightroom'daki farklı İşlem Sürümleri (şu ana kadar 2003, 2010 ve 2012'ye sahibiz), diğer şeylerin yanı sıra farklı demografik algoritmalara karşılık geliyor. Başka bir ilginç yazılım, aşağıdakileri sunan UFRaw'dır (web sayfasından alıntı):

Beyaz dengesini ayarladıktan sonra UFRaw, Bayer modelini enterpolasyonlar.

• AHD enterpolasyonu, Uyarlanabilir Homojenlik Yönlü enterpolasyondur. Varsayılan enterpolasyondur.
• VNG enterpolasyonu eşik bazlı Değişken Sayı Degradeleri enterpolasyonu kullanır. Bu, varsayılan enterpolasyondur ve hala çok iyidir .
• Fotoğrafınıza Bayer deseni eserleri getirirseniz, VNG dört renk enterpolasyonu kullanılmalıdır ( daha fazla bilgi için DCRaw'ın SSS bölümüne bakın).
• PPG enterpolasyonu, Desenli Piksel Gruplaması enterpolasyonu anlamına gelir. Neredeyse yukarıdakilerin hepsi kadar iyi ve çok daha hızlı.
• Bilinear enterpolasyon çok temel bir enterpolasyondur, ancak çok daha hızlıdır.

Bu deneme için bazı materyaller sağlayabilir. Bu arada, UFRaw algoritmaları kendi göz atmanızı sağlayan Açık kaynak gibi görünmektedir .

Astrofotografide, bu konu derinlemesine incelenmiştir, çünkü bir kerelik renk sensörü kullanıldığında, borç alma işleminde çok fazla kayıp çözünürlük vardır. Başta, bir RAW dosyası kullanmak, orijinal verilere erişmeye devam eder ve renk uygulamasından önce işlenebilir. Bu konu, nesnelerin yazılım tarafını yakından takip eder.

Kısacası, aynı konu verileriyle (sensör sesini azaltmak için bir şey yapılır) çok sayıda resme erişiminiz varsa, kaybolan çözünürlüğü geri alabilen bir çiseleme yaklaşımı için AHD ile tek bir kare dönüşümünü gerçekleştirebilirsiniz. Seçim, ne tür kaynak verilerinizin bulunduğuna bağlıdır. Çoğu fotoğrafçının kullanması için yalnızca tek bir resmi var.

Debayering işlemlerinde seçeneklerle kullandığım bazı yazılımlar: Deep Sky Stacker ve Pix Insight. Başkaları da var. Çoğu DCRAW'a dayanır .

İşte bazı seçeneklerin tartışıldığı Deep Sky Stacker sayfasındaki makalenin bağlantısı: Debayering Choices