[논문 요약] Gaussian_Head

논문리딩

MFDO 2024. 11. 5. 13:21

KETI와의 3차 스...터디...?(24.10.16) 당시의 조사 내용을 남긴다.

조사기간의 업무가 다수 겹쳐 논문 리뷰 및 키워드를 중심으로 학습했다.

처음 접하는 개념들이 많아 각 개념들을 이해하고

조사하는데 꽤나 많은 시간이 할애되었다.

기존 미분 가능한 랜더러의 중요성을 파악하였으나

해당 논문에서의 기법은 애초에 미분이 불가능한 객체를 다루게된다.

기존의 문제점인 화질의 문제점을 개선되어 2k 랜더링이 가능해졌다.
또한 expression coefficient를 이용하여 목표점을 지시하고

MLP를 이용한 가우시안 분포에대한 방향 및 이동점을 도출하게된다.

초기화 또한 일반적인 nomal 표정을 가지는 것이 아닌

객체의 특성을 고려할 수 있도록 SDF, DMTet 등을 도입하게되었다.

이 때 처음으로 SDF와 DMTet를 접해서인지 설명에 오점이 존재했었으나

Gaussian 자체의 implict함과 SDF의 explicit한 설정에 대해

DMTet에서는 복합적인 처리가 가능함을 배울 수 있었다.

SDF는 과정 자체가 미분 불가한 과정 자체의 연속화가 아닌 객체 특징적 표현을 위한 것이다.

Gaussian 자체는 explicit expression: 전체 적인 position 값을 가지기 때문임.

> 대조군인 Neural Network는 구조가 감춰져있는 Implicit한 표현법

SDF는 explicit expression: 전체 surface에 대한 distance 이기 때문에 어떤 surface인지 모르면 무의미

DMTet : Hybrid한 친구, implicit function 과 explicit position에 대해 표현이 가능하기 때문

> Marching cube를 이용해서 음함수 Distance가 0이 되는 것이 목표

> 따라서 DMTet가 SDF와 Gaussian splatting을 포함하는 것

KETI3.pdf

drive.google.com

| 현재 한계점 |

Gaussian splatting 만을 이용해서 이미지 표현에 대해서는 높은 효율을 지닐 것임 (이미지에서는 각 픽셀의 유사도가 높고, 특히 얼굴 피부 표현 특성이 옆 픽셀과의 유사도가 높기 때문임) 하지만 3D Mesh에 대해서는 그렇지 않을 것임.

이러한 한계 극복을 위해서는 각 인물에 대한 특징점 파악이 필요하며, 피부 노화 정도(3D Tissue Model: 어떤 의사가 만들어낸 피부에 대한 정보를 담은 모델? 이라고 함), 추가적으로 광원정보에 대한 해석이 요구됨(해당 논문에서는 광원 정보에 대한 rewrite를 진행하지 않음. 이렇기에 얼굴에 광원, 반짝임이 존재하는 경우에 모델에 그대로 렌더링 될 수 있다는 것을 의미함)

| 다음 숙제 |

Diffuse color에 대한 rewritable codec 관련 논문을 읽어 올 것. 한계점에서 언급한 마지막 문제를 해결할 수 있는 키워드임. 저번 논문 리뷰에서 보았듯이 전체적인 피부 혹은 장애물 처리에 필요한 요소 중 하나라고 생각하면 됨.

| 가능하다면 할 숙제 |