Bir görüntünün yeniden boyutlandırılması gerçek kamera matrisini nasıl etkiler?

19

Boyut HxW görüntü için bilinen bir kamera matrisi (hem iç hem de dış parametreleri biliyorum) var. (Bu matrisi ihtiyacım olan bazı hesaplamalar için kullanıyorum).

Daha küçük bir görüntü kullanmak istiyorum, söyle: $\frac{H}{2}\times \frac{W}{2}$ (orijinalin yarısı). Aynı ilişkiyi sürdürmek için matriste ne gibi değişiklikler yapmam gerekir?

Ben , içsel parametreler olarak $K$ , ( $R$ , dönüşü ve çeviri) $T$

cam = K \cdot [R T]

$\text{cam} = K \cdot [R T]$

K = (\begin{matrix} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix})

$K = \left( \begin{array}&a_x &0 &u_0\\0 &a_y &v_0 \\ 0 &0 &1\end{array} \right)$

$K$ 3 * 3, ben , çarpmayı düşündüm $a_x$ $a_y$ , $u_0$ ve $v_0$ 0,5(görüntünün yeniden boyutlandırıldığı faktör), ama emin değilim.

— matlabit
kaynak

13

Not: Bu, yeniden boyutlandırılan görüntüde hangi koordinatları kullandığınıza bağlıdır. Sıfır tabanlı sistem kullandığınızı varsayıyorum (örneğin C, aksine Matlab) ve 0, 0'a dönüştürülür. Ayrıca, koordinatlar arasında eğim olmadığını varsayıyorum. Eğer bir eğriliğiniz varsa, çarpım da olmalı

Kısa cevap : olan bir koordinat sistemi kullandığınızı varsayarsak $u' = \frac{u}{2} , v' = \frac{v}{2}$ , evet, $a_x,a_y,u_0,v_0$ değerini 0.5 ile çarpmalısınız.

Ayrıntılı cevap Dünya koordinatlarındaki bir $P$ noktasını kamera koordinatlarına $(x,y,z,1)->(u,v,S)$ fonksiyon:

(\begin{array}{ccc} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Nerede $(u,v,S)->(u/S,v/S,1)$ , çünkü koordinatlar homojendir.

Kısacası bu şeklinde yazılabilir $u= \frac{m_1 P}{m_3 P} , v = \frac{m_2 P}{m_3 P}$ iki matrislerin ürünü olan, yukarıda sözü edilen vematris i'inci satırdır. (Ürün skaler üründür).
$M$ $m_i$ $M$

Görüntünün yeniden boyutlandırılması şu şekilde düşünülebilir:

u^{'} = u / 2, v^{'} = v / 2

$u'=u/2, v'=v/2$

Böylece

u^{'} = (1 / 2) \frac{M_{1} P}{M_{3} P} v^{'} = (1 / 2) \frac{M_{2} P}{M_{3} P}

$u' = (1/2) \frac {M_1 P} {M_3 P} \\ v' = (1/2) \frac {M_2 P} {M_3 P}$

Matris formuna geri dönelim bize şunu verir:

(\begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} a_{x} & 0 & u_{0} \\ 0 & a_{y} & v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 & 0 & 0 \\ 0 & 0.5 & 0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} a_x & 0 & u_0 \\ 0 & a_y & v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

Which is equal to

(\begin{array}{ccc} 0.5 a_{x} & 0 & 0.5 u_{0} \\ 0 & 0.5 a_{y} & 0.5 v_{0} \\ 0 & 0 & 1 \end{array}) (\begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \\ 0 & 0 & 0 & 1 \end{array}) (\begin{array}{ccc} x \\ y \\ z \\ 1 \end{array})

$\left( \begin{array}{ccc} 0.5 a_x & 0 & 0.5 u_0 \\ 0 & 0.5 a_y & 0.5 v_0 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} R_{11} & R_{12} & R_{13} & T_x \\ R_{21} & R_{22} & R_{23} & T_y \\ R_{31} & R_{32} & R_{33} & T_z \\ 0 & 0& 0 & 1 \end{array} \right) \left( \begin{array}{ccc} x \\ y \\ z \\ 1 \end{array} \right)$

For additional information, refer to Forsyth, chapter 3 - Geometric camera calibration.

— Andrey Rubshtein
kaynak

Thanks a lot for the explanation !!! I'm just no so sure what you mean by zero-based system , I'm using matlab, do I need any other adjustments ?

— matlabit

@matlabit, If you are using Matlab, you should use the transformation with

u^{'} = (u - 1) / 2 + 1, v^{'} = (v - 1) / 2 + 1

$u' = (u-1)/2 + 1 , v' = (v-1)/2 + 1$ , since it has one-based indexing (First element is 1, not 0). Try to compute the relevant matrix in this case. If you do not need sub-pixel accuracy, you can just ignore it and use the formula I gave you.

— Andrey Rubshtein

8

Andrey, çözümünün 0 olduğunu 0'a dönüştürdüğünü belirtti. Piksel koordinatları kullanıyorsanız, görüntüyü yeniden boyutlandırdığınızda bu muhtemelen doğru olmaz. Yapmanız gereken tek varsayım, görüntü dönüşümünüzün 3x3'lük bir matrisle (Andrey'nin gösterdiği gibi) temsil edilebileceğidir. Kamera matrisinizi güncellemek için görüntü dönüşümünüzü temsil eden matrisle önceden çarpabilirsiniz.

[new_camera_matrix] = [image_transform]*[old_camera_matrix]

Örnek olarak, bir görüntünün çözünürlüğünü bir faktöre göre değiştirmeniz gerektiğini varsayalım $2^n$ 0 dizinli piksel koordinatı kullanıyorsunuz. Koordinatlarınız ilişkiler tarafından dönüştürülür

$x' = 2^n*(x+.5)-.5$

$y' = 2^n*(y+.5)-.5$

bu matris ile temsil edilebilir

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right)$

son kamera matrisiniz

$\left( \begin{array}{ccc} 2^n & 0 & 2^{n-1}-.5 \\ 0 & 2^n & 2^{n-1}-.5 \\ 0 & 0 & 1 \end{array} \right) \left( \begin{array}{ccc} ax & 0 & u_0 \\ 0 & ay & v_0 \\ 0 & 0 & 1 \end{array} \right)$

— Çekiç
kaynak

Could you please elaborate why you add .5 and then subtract .5? Does 0.5 apply only to scaling w/ a factor

2^{n}

$2^n$ ? If not, how does one compute that sub-pixel number?

— Gurumonster

1

I think the point is that the center of pixel "0, 0" is not really at "0, 0" (=top left corner of the pixel) but at "0.5, 0.5". So you have to account for that offset before and after the transformation, and the factor is always 0.5, no matter the scaling factor.

— Jan Rüegg

Yup thats exactly right

— Hammer