Metinde “Nehir” tespiti

TeX yığın değişiminde, bu sorudaki paragraflarda "nehirleri" nasıl tespit edeceğimizi tartışıyoruz .

Bu bağlamda nehirler, metindeki interword boşluklarının yanlışlıkla hizalanmasından kaynaklanan beyaz boşluk bantlarıdır. Bu bir okuyucunun dikkatini dağıtabildiğinden, kötü nehirler kötü tipografi belirtisi olarak kabul edilir. Akarsu içeren bir metin örneği, çapraz akan iki akarsu olduğu yerdir.

Bu nehirlerin otomatik olarak algılanmasına ilgi vardır, bu sayede bunlardan kaçınılabilir (muhtemelen metnin elle düzenlenmesi ile). Raphink (yalnızca glif konumlarını ve sınırlayıcı kutularını bilen) TeX düzeyinde bir miktar ilerleme kaydetmektedir, ancak nehirleri tespit etmenin en iyi yolunun bazı görüntü işlemelerinde olduğundan (glif şekilleri çok önemli ve TeX için mevcut olmadığından) eminim. . Nehirleri yukarıdaki görüntüden çıkarmanın çeşitli yollarını denedim, ancak basit bir miktar elipsoidal bulanıklaştırma uygulama fikrim yeterince iyi gözükmüyor. Ben de biraz Radon denedimHough dönüşüm tabanlı filtreleme, ama onlardan hiçbiriyle anlamadım. Nehirler, insan gözü / retina / beynin özellik tespit devrelerinde çok görünür ve bir şekilde bunun bir çeşit filtreleme işlemine çevrilebileceğini düşünürdüm, ancak çalışmasını sağlayamıyorum. Herhangi bir fikir?

Daha açık olmak gerekirse, yukarıdaki resimde bulunan 2 nehiri tespit edecek, ancak çok fazla yanlış pozitif tespit bulunmayan bir işlem arıyorum.

EDIT: endolith, TeX'te glif konumlarına, aralıklarına vb. Erişebildiğimiz ve gerçek metni inceleyen bir algoritmayı kullanmanın çok daha hızlı ve daha güvenilir olabileceği göz önüne alındığında neden görüntü işleme tabanlı bir yaklaşım peşinde olduğumu sordu. Başka şeyler yapmamın sebebi bu şekildegliflerin bir nehrin ne kadar belirgin olduğunu etkileyebileceğini ve metin düzeyinde (bu yazı tipine, bitiş harfine, vb. Gliflerin şeklinin nasıl önemli olabileceğinin bir örneği için, aşağıdaki iki örneği göz önünde bulundurun; aralarındaki fark, birkaç glifi neredeyse aynı genişliğe sahip diğerleriyle değiştirdiğimde, böylece metin tabanlı bir analiz düşünebilir. Onları eşit derecede iyi / kötü. Bununla birlikte, birinci örnekteki nehirlerin ikinciden çok daha kötü olduğuna dikkat edin.

Bunun hakkında biraz daha düşündüm ve aşağıdakilerin oldukça istikrarlı olması gerektiğini düşünüyorum. Kendimi morfolojik işlemlerle sınırladığımı unutmayın, çünkü bunlar herhangi bir standart görüntü işleme kütüphanesinde mevcut olmalıdır.

(1) Görüntüyü nPix'e 1 maskeyle açın; burada nPix, harfler arasındaki dikey mesafedir.

#% read image
img = rgb2gray('http://i.stack.imgur.com/4ShOW.png');

%# threshold and open with a rectangle
%# that is roughly letter sized
bwImg = img > 200; %# threshold of 200 is better than 128

opImg = imopen(bwImg,ones(13,1));

(2) Bir nehir olmak için çok dar olanı ortadan kaldırmak için görüntüyü 1-mPix maskesiyle açın.

opImg = imopen(opImg,ones(1,5));

(3) Paragraflar veya girintiler arasındaki boşluktan kaynaklanan yatay “nehirleri ve gölleri” kaldırın. Bunun için doğru olan tüm satırları kaldırdık ve daha önce bulduğumuz nehirleri etkilemeyeceğini bildiğimiz nPix-by-1 maskesi ile açtık.

Gölleri kaldırmak için, nPix-by-nPix'ten biraz daha büyük olan bir açılış maskesi kullanabiliriz.

Bu aşamada, gerçek bir nehir olamayacak kadar küçük olan her şeyi de çıkarabiliriz, yani (nPix + 2) * (mPix + 2) * 4'ten daha az alanı kapsayan her şey (bize ~ 3 satır verecek). +2 oradadır çünkü tüm nesnelerin en az nPix yüksekliğinde ve mPix genişliğinde olduğunu biliyoruz ve bunun üzerinde biraz gitmek istiyoruz.

%# horizontal river: just look for rows that are all true
opImg(all(opImg,2),:) = false;
%# open with line spacing (nPix)
opImg = imopen(opImg,ones(13,1));

%# remove lakes with nPix+2
opImg = opImg & ~imopen(opImg,ones(15,15)); 

%# remove small fry
opImg = bwareaopen(opImg,7*15*4);

(4) Eğer sadece uzunlukla değil, nehrin genişliğiyle de ilgileniyorsak, mesafe dönüşümünü iskelet ile birleştirebiliriz.

   dt = bwdist(~opImg);
   sk = bwmorph(opImg,'skel',inf);
   %# prune the skeleton a bit to remove branches
   sk = bwmorph(sk,'spur',7);

   riversWithWidth = dt.*sk;

(renkler nehrin genişliğine karşılık gelir (renk çubuğu 2 kat kapalı olsa da)

Artık, bağlanan her bileşendeki piksel sayısını sayarak nehirlerin yaklaşık uzunluğunu ve piksel değerlerinin ortalamasını alarak ortalama genişliği elde edebilirsiniz.

İşte ikinci "nehirsiz" resme uygulanan aynı analiz:

Mathematica'da erozyon ve Hough dönüşümü kullanarak:

(*Get Your Images*)
i = Import /@ {"http://i.stack.imgur.com/4ShOW.png", 
               "http://i.stack.imgur.com/5UQwb.png"};

(*Erode and binarize*)
i1 = Binarize /@ (Erosion[#, 2] & /@ i);

(*Hough transform*)
lines = ImageLines[#, .5, "Segmented" -> True] & /@ i1;

(*Ready, show them*)
Show[#[[1]],Graphics[{Thick,Orange, Line /@ #[[2]]}]] & /@ Transpose[{i, lines}]

Düzenleme Bay Büyücü yorumunu cevaplama

Yatay çizgilerden kurtulmak istiyorsanız, bunun yerine böyle bir şey yapın (muhtemelen biri bunu daha basit hale getirebilir):

Show[#[[1]], Graphics[{Thick, Orange, Line /@ #[[2]]}]] & /@ 
 Transpose[{i, Select[Flatten[#, 1], Chop@Last@(Subtract @@ #) != 0 &] & /@ lines}]

Hmmm ... Radon dönüşümünü çıkarmak o kadar kolay değil sanırım . (Radon dönüşümü temel olarak görüntüyü “içine bakarken” döndürür. CAT taramalarının arkasındaki prensiptir.) Görüntünüzün dönüşümü, bu sinogramı oluşturur;

70 derece dönüşte olan, yatay olarak bir dilimin bu grafiğinin solundaki tepe noktası olarak açıkça görülebilir:

Özellikle, metin önce Gaussca bulanıksa:

Ancak bu tepeleri gürültünün geri kalanından nasıl güvenilir bir şekilde çıkaracağımı bilmiyorum. Sinogramın parlak üst ve alt uçları, açık şekilde umursamadığınız yatay metin satırları arasındaki "nehirleri" temsil eder. Belki daha dikey çizgileri vurgulayan ve yatay olanları en aza indiren açıya karşı ağırlıklandırma işlevi?

Basit bir kosinüs ağırlıklandırma işlevi bu görüntüde iyi çalışır:

sinogramdaki küresel maksimum değer olan düşey nehri 90 derecede bulma:

ve bu görüntüde birini 104 derecede bulmakla birlikte, bulanıklaştırma ilk önce daha doğru hale getirir:

(SciPy'nin radon()işlevi biraz aptalca , yoksa bu zirveyi, ormanın ortasından geçen bir çizgi olarak orijinal görüntünün üzerine geri koyardım.)

Ancak, bulanıklaştırma ve ağırlıklandırma sonrasında sinogramdaki iki ana tepe noktasından hiçbirini bulamıyor:

Oradalar, ancak ağırlıklandırma fonksiyonunun orta zirvesine yakın olan şeyler karşısında bunaldılar. Doğru ağırlıklandırma ve ince ayar yapma ile bu yöntem muhtemelen işe yarayabilirdi, ancak doğru ince ayarların ne olduğundan emin değilim. Muhtemelen sayfanın tarama özelliklerine de bağlıdır. Belki de ağırlıklandırma, dilimdeki toplam enerjiden veya normalizasyon gibi bir şeyden türetilmelidir.

from pylab import *
from scipy.misc import radon
import Image

filename = 'rivers.png'
I = asarray(Image.open(filename).convert('L').rotate(90))

# Do the radon transform and display the result
a = radon(I, theta = mgrid[0:180])

# Remove offset
a = a - min(a.flat)

# Weight it to emphasize vertical lines
b = arange(shape(a)[1]) #
d = (0.5-0.5*cos(b*pi/90))*a

figure()
imshow(d.T)
gray()
show()

# Find the global maximum, plot it, print it
peak_x, peak_y = unravel_index(argmax(d),shape(d))
plot(peak_x, peak_y,'ro')
print len(d)- peak_x, 'pixels', peak_y, 'degrees'

Farklı ölçeklerde türev özellikleri (2. dereceye kadar) kullanarak piksellerde ayırt edici bir sınıflandırıcı yetiştirdim.

Etiketlerim:

Eğitim görüntüsüne ilişkin tahmin:

Diğer iki görüntünün tahmini:

Sanırım bu umut verici görünüyor ve daha fazla eğitim verisi ve belki daha akıllı özellikler nedeniyle kullanılabilir sonuçlar üretebilir. Öte yandan, bu sonuçları almak sadece birkaç dakikamı aldı. Açık kaynak kodlu yazılımı ilastik kullanarak sonuçları kendiniz de çoğaltabilirsiniz . [Feragatname: Ben ana geliştiricilerden biriyim.]

(Üzgünüz, bu gönderi harika gösterilerle gelmiyor.)

TeX'in zaten sahip olduğu bilgilerle çalışmak istiyorsanız (harfler ve pozisyonlar), harfleri ve harf çiftlerini bir yönde veya başka bir yönde "eğimli" olarak manuel olarak sınıflandırabilirsiniz. Örneğin, "w" SW ve SE köşe eğimlerine sahiptir, "al" combo bir NW köşe eğimine, "k" bir NE köşe eğimine sahiptir. (Noktalama işaretini unutma - ardından glif kutusunun alt yarısını dolduran bir mektuptan sonra gelen bir alıntı güzel bir eğim oluşturur; q ile gelen alıntı özellikle güçlüdür.)

Ardından, bir SW-to-NE nehri için "w al" veya bir NW-SE nehri için "k T" bulunan bir alanın karşı taraflarında karşılık gelen eğimlerin oluşumlarını arayın. Bir çizgide bir tane bulduğunuzda, benzer bir çizginin, yukarıdaki sola veya sağa doğru kaydırılarak benzer çizgilerin olup olmadığına bakın; bunlardan bir kaçış bulduğunuzda, muhtemelen bir nehir var.

Ayrıca, açıkçası, düz dikey nehirler için neredeyse dikey olarak yığılmış alanları arayın.

Eğimin "kuvvetini" ölçerek biraz daha sofistike olabilirsiniz: eğimden dolayı ilerletme kutusunun ne kadarı "boş" olur ve böylece nehrin genişliğine katkıda bulunur. "w", nehre katkıda bulunmak için avans kutusunun sadece küçük bir köşesine sahip olduğu için oldukça küçüktür, ancak "V" çok güçlüdür. "b", "k" den biraz daha güçlüdür; Daha yumuşak olan eğri, görsel olarak daha sürekli bir nehir kenarı sağlayarak onu daha güçlü ve görsel olarak daha geniş hale getirir.