CSI görüntü çözünürlüğü geliştirir: Ne kadar gerçek?

Bu yüzden CSI New York'tan 1 dakikalık bir Youtube klibi izledim . Klipte, standart bir banka kamerasının kaydı gibi görünenleri kullanarak, en az 100 yakınlaştırma yapıyorlar ve suçluların görüntüsünü kızın gözünün yansıması olarak görüyorlar.

Şimdi, bunun tamamen saçma olduğunu düşündüm, o kadar ki gerçekten komik olduğunu düşündüm.

Ancak arkadaşım, görüntü geliştirme için, videonun çoklu karelerinin çok daha yüksek bir tek özünürlüklü görüntü ürettiği bir prosedür olan "süper özünürlük" gibi çok iyi hileler bulunduğunu savundu. Gösterinin gerçeği biraz eğdiğini düşünüyordu, ama ne kadar?

Açıkçası, bunlar hakkında hiçbir şey bilmiyorum, bu yüzden sorum şu:

Modern görüntü çözünürlüğü geliştirme ne kadar iyi? Ayrıca, CSI televizyon programları ne kadar uzakta?

Teşekkür ederim,

Not: Bu Skeptics sitesinde yayınlanan çapraz . Burada daha iyi cevaplar alabileceğim söylendi.

Kısa cevap: çok iyi sonuçlar elde edebilirsiniz, ancak yalnızca belirli koşullar altında ve kesinlikle bağlı video klipte gösterilenlere bile yakın değil.

Şirketim Amped Software , adli ve zeka uygulamaları için görüntü ve video işleme yazılımı geliştiriyor, bu nedenle temel olarak CSI yazılımının gerçek dünyasıyız.

Genel kalite iyileştirme problemine atıfta bulunarak, pazarlarımız için, TV dizilerinin ve Hollywood filmlerinin yarattığı beklentileri karşılamanın çok büyük bir sorun olduğunu söyleyebilirim. Bizim görebilirsiniz örnekleri sayfasına biz elde edebiliyoruz bazen sonuç gerçekten şaşırtıcı olduğunu, ancak sadece bazı koşullar altında elde edebilirsiniz anlamak önemlidir: bozulmalarına kaplıdır bilgi varsa, ama işte orada , onu kurtarabiliriz. Bilgi yoksa, yapamayız ve yeniden yaratmamalıyız. Bu özel başvuruda, sonuçları sadece görsel bir bakış açısıyla almak değil, aynı zamanda mahkeme tarafından kabul edilmesi gereken bilimsel bir iş akışını takip etmek de önemlidir .

Geçen yıl üzerinde çalıştığım yaklaşık 200 vaka ile ilgili sorunları ve sonuçları açıklayan bir araştırma yaptım ve nihai sonuç şuydu:

• vakaların% 50'sinden fazlasında yapacak bir şey yoktur (örneğin, 5x2 piksel olan bir plakanın kurtarılması, dünyadaki herhangi bir yazılımla tamamen imkansızdır);
• davaların yaklaşık% 30'unda küçük bir sonuç alabiliyoruz (örneğin, bir plaka mektubunu geri yüklemek veya yüzün genel görünümünü iyileştirmek için);
• Vakaların% 10'unda iyi sonuçlar alıyorsunuz (örneğin plakanın çoğunu alıyorsunuz).

Lütfen tüm bu vakaların ciddi kalite sorunları olduğunu unutmayın. Kaliteleri iyi olsaydı, onlardan çalışmak istenmezdi.

Özel olarak çözünürlük geliştirmeyle ilgili olarak :

• bir görüntüyü yakınlaştırdığınızda eksik pikselleri enterpolasyona sokuyorsunuz: tek bir görüntüden görüntünün görünümünü görsel olarak iyileştirebilirsiniz ancak gerçek bir ayrıntı eklemeyeceksiniz ;
• süper çözünürlük teknikleri, belirli koşullar altında iyi sonuçlar verebilir: tamsayı olmayan bir miktar piksel ve tercihen az sayıda sıkıştırma eseri ile kaydırılmış yeterli kareye sahip olmalısınız. En iyi durumda, 2x ve 3x zoom dahilinde iyi sonuçlar bekleyebilirsiniz.

Video klipte gösterilenler, yalnızca orijinal video birkaç megapikselde çekildiyse mümkün olabilir ve daha sonra yakınlaştırma (Google Haritalar'da yaptığınız gibi daha az) yakınlaştırma çözünürlüğünüz olur. Tabii ki, bu noktada, doğru odaklanma, düşük ışık durumu gibi, göz perspektifinin videodaki tüm konudan farklı olduğu gerçeği, sadece bir kaçından bahsetmek gerekirse, yine de başka problemler olacaktır.

Hiçbir şeyden bir şey yapamazsınız, bir görüntüyü herhangi bir şekilde geliştirmek için bazı bilgilere sahip olmanız (veya tahmin etmeniz) gerekir. Örneğin, bulanıklaştırma işlevinin özelliklerini biliyorsanız (ve görüntü gürültüsü yoksa), o zaman gerçekten bir fotoğrafı temizleyebilirsiniz. Bununla birlikte, bulanıklık fonksiyonunu nadiren bilirsiniz ve gürültü her zaman mevcuttur, böylece kurbanı ciddi şekilde sınırlandırır (Adobe yakın zamanda unblur bir filtre gösterdi, ancak demoları sentetik bulanıktı.

Kısacası, CSI neredeyse saf bir kurgudur - gerçek hayatta mümkün olan kazançlar marjinaldir, TV'de sunulan çözünürlükteki 5 kat artış gibi bir şey yoktur.

Akıl sağlığı kontrolü: Tüm bunları yapabilselerdi, insanlar 40+ MP Hasselblad kameraları için onbinlerce para ödemezlerdi, yazılımı basitçe kopyalamak daha ucuz olurdu!

düzenleme: Bir şekilde videodan süper çözünürlük belirtilen orijinal soru fark etmedim. Çoklu görüntü süper çözünürlük gerçekte mümkündür ancak sensörün sınırlamalarına kadar geçerlidir. Alt piksel kaydırmalı bir dizi görüntü kullanarak çalışır. Bu, daha yüksek çözünürlüklü bir görüntü oluşturmanıza izin veren pikseller arasındaki değerler hakkında bilgi verir. Videodan süper çözünürlük, hareketli bir özne aynı tür kaymalar oluşturduğu için çalışır, ancak nesnelerin görünümünün kareler arasında fazla değişmemesi gerekir. En iyi teknik, yalnızca size daha yüksek çözünürlüklü bir sensörün sonuçlarını vermektir, CCTV özellikli lenslerle sınırlı olacak şekilde lens çözme gücünün sınırlarının üstesinden gelemezsiniz.

İşte iyi koşullar altında bir süper çözünürlük örneği:

_{(kaynak: wikimedia.org )}

photoacute.com'dan görüntü

çözünürlükte bir gelişme, evet, ancak yine de CSI düzeyinde performansın yakınında değil.

Yukarıdaki yorumuma atıfta bulunmak için, en son Hasselblads aslında "multi-shot capture" adı altında sensör kaydırma süper çözünürlüğü uygulamaktadır;

Demek şu ana kadar sahip olduğum şey bu:

Basketbolu gördükleri göz bölgesi yaklaşık 1 milimetredir. Kızın boyuna dayanarak, ekrandaki toplam piksel sayısının en fazla 1 milyonu olması gerektiğini güvenle söyleyebiliriz. (Görüntünün genişliği ve yüksekliği, bir şey daha yakın olabileceğinden fotoğraflar için iyi tanımlanmamış olsa da, kabaca yaklaşık 3 x 3 metre gibi görünüyor, bu da 10 milyon milimetre kare anlamına geliyor. Ancak göz, gerçek kamera lensine daha yakın olabilir. Ben kabaca tahmin ediyorum ve 10 $ ile bölmek.

Eğer kayıt HD kalitesinde olsaydı, bu sadece 2 megapiksel olurdu, o yüzden basketbolun gördüğümüz yerde tek bir piksel boyutunda olması gerekiyordu.

Şüphesiz akıl yürütmenin doğru olmadığını gösteriyor, ama hala merak ediyorum, görüntü geliştirmenin üst sınırları nelerdir?

Süper Çözünürlük ile piyasada satılan bazı yazılımlar var. Bunların hiçbirini kendim denemedim, ancak reklam malzemesi oldukça iyi. Yazılım gözetleme, güvenlik ve silahlı kuvvetlere yöneliktir ancak bazı adli birimlerin bu konulara erişimi olacağını tahmin ediyorum.

İki örnek: Ikena MotionDSP ve gelen TacitView 2D3 dan

TV şovlarında önerilen seviyeye yükseltilmiş görüntü / video basit bir şekilde mümkün değildir ve aslında görüntü yakalama aygıtı ile sınırlıdır. İlk önce gelişmesi gereken teknoloji budur.

10 piksel koleksiyonundan tanınabilir bir nesneye bilgi edinmek mümkün değildir. Piksel seviyesinde, görüntüde verilen son bilgi miktarıdır. Bu sonlu zumda yalnızca 100 renk bloğunuz var. Enterpolasyon yoluyla 10x10 piksel alanını 100x100 piksel olarak artırabilirsiniz, ancak 10x10 pikseldeki bilgiler yalnızca gitmek üzeredir ve enterpolasyon, yazılımın bu 10x10 piksellerini temel alan eğitimli tahminlere dayanmasını sağlar. Sonuç 100 x 100 piksel bulanıklaştırma olur. Alternatif olarak, 2000x2000 piksellik bir görüntü çekin ve 4000x4000 piksele kadar enterpolasyon yapın ve orijinal görüntüdeki kadar net olmayan bazı bulanıklaştırmalar, büyük görüntüdeki olası nesneler olarak yalnızca pareidolia yoluyla daha net görünebilir - ama o zaman bile bir tahmin veya varsayım. Enterpolasyonlu görüntü daha ayrıntılı bir "illüzyon" verecek

Görüntü geliştirme yalnızca orijinal görüntüleme kaynağı aracılığıyla yakalanan maksimum bilgi miktarına dayanır ve tüm pikselleri yakınlaştırmak yeterlidir. Bazı kameralar çok iyi çözünürlüklü görüntüler çekebilir, ancak hiçbir yazılım orijinal görüntüde kaydedilmemiş ayrıntıları ortaya çıkaramaz.

Şimdi, CSI gösterilerine geri dönmek için, çoğu, gerçek hayatta herhangi bir şekilde çözünürlük açısından yüksek olmayan standart gözetim kamera çekimlerinizi çekiyor, bu yüzden bu tür bir geliştirme gördüğümde beni güldürüyor. - En gelişmiş görüntü düzenleme yazılımıyla bile imkansız olduğundan (ve PhotoShop gelişmiş ölçeğin en üstündedir). Görüntü geliştirme ve yakınlaştırma, görüntüleme cihazı tarafından yakalanan bilgilere% 100 dayanır - bu nedenle, bir kişinin gözünün korneanı tarafında bir yüzünün bir yansımasını yakalayabilen bir gözetleme kamerasının süper güçlü olması gerekir ve çok pahalıya mal olur . Çekimlerin kare başına çok yüksek piksel çözünürlüğüne sahip olması gerekir (örneğin 1 saniyelik çekimi saklamak için 100 megapiksel veya yaklaşık 9.5 terabayt), bu da çekimlerin dosya boyutunu, her bir gözetim kamerasının 24 saatlik çekime sahip olması için küçük bir sunucu çiftliğine ihtiyaç duyacağı noktaya kadar uçuracaktı. Çok pahalı. Sonuçta ortaya çıkan geliştirme teknolojisi, verileri uygun bir şekilde saklamak ve bu şehirler arasında yayılmanın ucuz olduğu bir noktada, bu ayrıntılı video ve görüntü yakalama seviyesini ilk önce yapabilen, görüntü yakalama cihazlarına bağlı olacaktır. Dosya boyutu, video çekimlerinde çok büyük olacaktır (saniyede yaklaşık 9.5 terabaytı unutmayın), bunu yapabilen yazılımın çalışması için son derece güçlü bir süper bilgisayara ihtiyaç duyacaktı (bugünün standartlarına göre). Olduğu hızda teknolojinin artmasıyla, bu gelecekte bir noktada, muhtemelen yaşamımızda mümkün olabilir. Ancak o zaman yapabilirlerdi, ama görüntüler geliştirilemezdi. sadece süper ayrıntılı görüntüleri yakınlaştırıyorlardı. Dijital görüntüde tam gün yaşadığım için çalışırken bunu biliyorum.