카카오브레인, 고품질 메타버스 구현 발판되는 ‘NeRF-Factory 라이브러리’ 공개

2022.09.21

^{‘NeRF’ 기술을 통해 생성된 3D 이미지. (이미지=카카오브레인)}

카카오브레인이 고품질 메타버스 구현의 핵심 기술 중 하나인 ‘NeRF(Neural Radiance Fields)’ 알고리즘을 한 데 모은 ‘대형 라이브러리’를 공개하며 메타버스 기술 확장 기여에 나섰다.

21일 카카오브레인에 따르면 이는 주어진 2D 이미지를 새로운 3D 이미지로 생성하는 대표적인 뉴럴 렌더링 기술 중 하나인 ‘NeRF’와 관련된 알고리즘을 통일된 코드 형태로 한 데 모아, 최대 오픈소스 커뮤니티 깃허브(GitHub) 에 ‘대형 라이브러리’ 형태로 공개됐다.

카카오브레인 측은 “‘NeRF’는 딥러닝을 통해 3D 공간의 색과 밀도를 자체적으로 학습하여 2D 이미지로부터 새로운 3D 공간을 복원해내는 기술”이라며 “특히 물체의 색상 및 각도에 따라 달라지는 빛의 반사를 생생하게 재현함으로써 몰입감을 높여준다”고 설명했다. 현재 수많은 글로벌 테크 기업들이 ‘NeRF’ 기술을 핵심 메타버스 기술 중 하나로 보고, 기술 개발 및 확장에 힘쓰고 있다.

카카오브레인이 공개한 ‘NeRF-Factory 라이브러리’는 현재까지 공개된 총 7개의 ‘NeRF’ 모델들을 하나의 코드로 재구현한 형태로 포스텍 조민수∙박재식 교수 연구팀과 카이스트 권인소 교수 연구팀과의 공동 연구를 통해 개발됐다. 통일된 코드로 구성돼 ‘NeRF’ 모델들의 성능을 객관적으로 비교할 수 있을 뿐 아니라 기술 개발 확장에도 용이하다는 것이 특징이다.

한편 최근 카카오브레인은 해외 유수의 컴퓨터 비전 학회에 디지털 휴먼 기술 관련 논문을 게재하며 해당 분야에서 두각을 나타내고 있기도 하다. ACCV(아시아 컴퓨터 비전 학회) 2022 에서는 다양한 스타일의 얼굴 형태와 표정을 가진 3D 아바타를 자유롭게 생성할 수 있는 Exp-GAN(Expression-GAN) 기술 논문을, ECCV(유럽 컴퓨터 비전 학회) 2022 에서는 실제 얼굴과 거의 유사한 수준의 고해상도 페이스 스와핑(face-swapping)을 수행할 수 있는 MFIM(Megapixel Facial Identity Manipulation) 기술 논문을 발표할 예정이다.

김일두 카카오브레인 대표는 “메타버스 기술 연구에 실질적 도움이 될 NeRF-Factory 라이브러리를 공개하게 되어 기쁘다”며 “전 세계 AI 연구 및 개발자들이 카카오브레인이 공개한 라이브러리를 활용해 NeRF 및 뉴럴 렌더링 기술 연구 저변을 확대하고, 고품질 메타버스 등 다양한 분야에 적용해 나가길 바란다”고 말했다.

‘NeRF-Factory 라이브러리’는 github.com/kakaobrain/NeRF-Factory에서 확인 가능하다.