[Research] 나의 실감형 3D 얼굴 생성을 위한 연구 방향

 

 

마지막일 줄 알았던 KETI 스터디가 또 돌아왔따

이번 주 주제는 생성 Mesh에 대한 제어이다.

 

기존 기법

기존 Gaussian Head Avatar의 경우에는

초기 단계에서는 인물의 기본 구조를 나타내는 중간 저해상도 Mesh(geometry)를 생성한다.

이 과정은 3DMM(3D Morphable Model) 기반의 얼굴 파라미터 추정을 활용하거나,

기존의 Mesh Reconstruction 알고리즘(예: Poisson Surface Reconstruction)으로 구현될 수 있다.

 

 

 이를 기반으로 생성된 저해상도 Mesh 위에 Gaussian representation을 적용한다.

여기서 Gaussian 분포는 각 vertex 혹은 특정 지역에 대해 커널 함수를 적용하여

세밀한 디테일(예, 주름, 미세한 표면 변화 등)을 추가하는 역할을 하게된다.

 

최종적으로 2D Super Resolution을 이용해 고해상도 이미지 출력을 진행한다.

이 과정에서는 저해상도 이미지에서 잃어버린 세부정보를 복원하기 위해,

학습된 딥러닝 모델이 사용되며, 결과적으로 고해상도 텍스처 이미지와 결합된당

 

 

으앙 한계

하지만 현재 Gaussian 값만을 사용해 텍스처 PNG를 직접 추출하는 기법은

아직 연구 단계에 있으며, 정확한 자료는 발견하지 못하였다.

이로 인해, 별도의 텍스처 추출 알고리즘이나 후처리 기법의 개발이 요구되고 있는 상황이었따.

 

---

 

대응 노력

 

 

그러한 한계를 인지하고

여러 다른 모델들을 구동해 보았고 결과물을 통한 얼굴 제어 법에 대해 연구해보았다.

구동한 모델은 3D-GANTex, Deep3DFaceRecon_pytorch

으로 이전 구동 글에서 사용법 및 특징을 정리했었다.

 

[AI] 3D 얼굴 생성을 위한 3D-GANTex 실행 과정

 

[AI] 3D 얼굴 생성을 위한 Deep3DFaceRecon_pytorch 구동 및 분석

 

 

획득 성과 🎉

 

이를 통하거나, 다른 소스를 활용한다면

3DMM 추정값을 획득할 수 있다.

이전 Gaussian Head Avatar에서도 획득할 수 있는 값으로,

현재 인물에 대한 추정 identity, 포즈, 표정, 관절 위치, 조명 등등의 정보를 획득할 수 있다.

이 포즈와 표정 값을 0을 한 것을 중립 포즈와 표정으로 두는데,

나는 이러한 값을 기준으로 하여 목적 expression 값으로 값을 제어할 수 있도록 해야한다.

 

사용자의 입력 표정에 대해 3DMM을 추정하여

기존 중립 Mesh에 대해 변형을 적용하면 되겠지만,

Unreal 내부에서 기존 모델링과 호환되어 움직이도록 하기 위해서는

obj로 출력된 결과물에 대해서 범용적인 블랜드 쉐이프나,

가중치가 포함된 Mesh로의 변화가 필요해졌다.

 

---

 

앞으로 무엇을 하나

 

라이선스가 자유로운 모델을 하나 붙잡아왔다.

아직 돌려보지 못하고 너무 속상하게 논문 페이지 접근이 안된다

이 친구를 통해서 mesh를 추출하고 제어해보도록 해볼 것이다.

너무 기대되고 신난다.

 

 

KETI5.pdf