marmot_ai

Camera parameter를 이해하기 위해서는 4가지 coordinate에 대해 이해해야 합니다.1) World coordinate ($O_w$): object가 존재하는 실세계의 좌표계2) Camera coordinate ($O_c$): 카메라를 기준으로 정해진 좌표계3) Image coordinate ($O_i$): 2D로 projection된 평면의 좌표계4) Pixel coordinate ($O_p$): projection된 이미지를 opencv 등으로 저장할 때 사용하는 좌표계 (ex: 좌상단이 원점) 추가로, Virtual image plane이라는 개념도 있습니다.Image plane은 실제 object가 상하,좌우로 반전되어 projection되기 때문에,대신에 계산의 편리함을 위해서 ..

Camera parameter는 intrinsic parameter와 extrinsic parameter로 나눌 수 있습니다. 이 중에 extrinsic parameter는 다시 카메라의 position + orientation 정보로 표현됩니다. Position은 3D 월드 좌표계에서 카메라의 위치를 x,y,z 값으로 표현합니다. (Translation vector로도 표현됩니다)Orientation은 카메라가 바라보는 방향입니다. (3x3 Rotation matrix, Euler angle, Quarternion 등으로 표현될 수 있습니다)

SfM(Structure from Motion)은 Multi-view 이미지들이 입력으로 들어왔을 때, camera parameter (intrinsic + extrinsic)와 spare point cloud를 생성하는 방법입니다. MVS(Multi-View Stereo)는 일반적으로 SfM 이후에 실행되며, SfM의 출력을 이용하여 dense point cloud를 생성하기 위한 방법입니다.

https://dl.acm.org/doi/pdf/10.1145/37402.37422"Marching cubes: A high resolution 3D surface construction algorithm" 3차원 공간에 있는 density 값들로 3D Mesh를 생성하는 알고리즘입니다. 먼저 8개의 vertex로 이루어진 cube가 있고, 이런 cube들이 모여서 3D 공간을 생성합니다.  큐브의 각 꼭짓점의 값이 임계값(surface value)보다 크면 1, 작으면 0으로 레이블링 합니다.아래 그림처럼 까만 점으로 표현된 꼭짓점(1)과 아닌 꼭짓점(0) 사이의 모서리는 분리되게 됩니다.(예를 들어, NeRF와 Marching Cubes가 연결될 때는, NeRF의 출력인 x,y,z 좌표가 cube를 ..