자동으로 이미지를 뽑아내는 ‘고갱2(Gaugan2)’를 공개했던 엔비디아가 이번에는 단 4장의 이미지를 3D 렌더링 한 것처럼 뽑아내는 ‘너프(NeRF)’를 공개했습니다. AI를 활용해 2D 이미지를 겹쳐 순식간에 3D 스캔한 이미지처럼 렌더링을 해냅니다. 단 몇 초 만에 이걸 해냅니다.
‘외계인이라도 잡아서 고문했냐’고 묻고싶어지는 기술력입니다. 왜냐구요? 보통 3D 스캔 스튜디오는 위에 보시는 이미지처럼 생겼거든요. 이렇게 고해상도 이미지 수백장을 이어붙이고 또 이어붙여서 렌더링을 해야 해서 시간도 오래 걸립니다. 그런데, NeRF는 수십 밀리초(ms)면 3D 이미지를 뽑아냅니다.
우리는 사진을 보면 경험을 바탕으로 이미지를 상상하는데, 인공지능이 4장의 이미지를 바탕으로 이미지를 상상해가며 메꾸고, 주어진 광원과 빛을 예측해 3D 이미지로 뽑아냅니다. 사림이 하는 것과 똑같진 않지만, 비슷하게 ‘예측’해서 그려내는 이미지로 빈 공간을 메꾸는 거죠.
더군다나 이번 영상에서는 폴라로이드 카메라로 세상을 놀라게 했던 앤디 워홀의 작업에 경의를 표하며, 앤디 워홀이 입체 세계를 폴라로이드로 2D로 바꿔낸 폴라로이드를 예술에 접목시켰던 것에 경의를 표하며 시연 영상에서는 폴라로이드를 들고 있는 모습을 볼 수 있습니다.
당연히 NeRF는 더 많은 사진을 제공할수록 더 완벽한 결과물을 만들어 낼 수 있습니다. 주변에 움직이는 사람, 사물이 많다면 되도록 같은 시간에 촬영된 이미지라면 더욱 완벽하죠. 인스턴트 NeRF 기술은 일부 가려진 사물을 재구성할 수도 있고 사진 속 광원까지 학습해 3D 결과물에 반영할 수 있기 때문에 결과물을 다양하게 만들어낼 수 있을 겁니다.
이 기술은 메타버스 등 다양한 분야에서 사용이 가능할 것으로 보입니다. 웹툰 분야에서도 스케치 전 자료사진을 얻을 단계에서 많은 도움을 받을 수 있겠죠? 본격적인 상용화 계획은 아직 발표되지 않았지만, 우리는 이제 ‘NeRF’라는 이름을 기억해야 할 것 같습니다.
Categories:
NEWS
