디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

엔씨 이제희 CRO "디지털 휴먼 기술이 엔씨의 미래 비전"

게임와이갤로그로 이동합니다. 2022.05.16 13:15:22
조회 76 추천 0 댓글 0
엔씨소프트가 올해 4월 신규 영입한 이제희 CRO(Chief Research Officer, 최고연구책임자)와의 인터뷰 내용을 공식 블로그와 유튜브를 통해 공개했다. 인터뷰에서는 이제희 CRO가 학자로서 진행해온 연구와 엔씨(NC)에 합류하게 된 배경, 앞으로 나아갈 비전과 목표를 제시했다.


이제희 CRO는 컴퓨터 그래픽스 및 애니메이션 분야 석학으로 2003년부터 서울대학교 컴퓨터공학부 교수로 재직했다. 물리 기반 동작 제어, 데이터 기반 동작 학습 및 생성, 사실적인 인체 모델링 분야에서 세계적 수준의 연구 결과들을 발표했고, 한국컴퓨터그래픽스학회 회장 및 SIGGRAPH Asia 2022 Technical Papers 위원장 등을 역임했다. 2019년에는 세계 최초로 딥러닝 기술을 활용해 사람의 근골격계 움직임을 구현하는 데 성공했다. 2022년 4월 연씨(NC) 최고연구책임자(CRO)로 임명되어 애니메이션 및 AI 연구개발(R&D) 조직을 이끌고 있다.

Q. 서울대학교 컴퓨터공학부 교수로 오랜 기간 재직했다. 주요 연구 분야는 무엇이었는가?

A. 컴퓨터 그래픽스를 전공했다. 어릴 때부터 그림 그리는 것을 좋아했는데 재능이 없었다. 그림 그리는 것을 좋아하지만 재능은 없는 사람은 무엇을 해야 할까 고민하다 컴퓨터 그래픽스를 선택했다. 컴퓨터 그래픽스는 크게 모델링, 렌더링, 애니메이션 3개 분야로 나뉘는데, 나는 초창기부터 애니메이션 분야를 연구한 멤버 중 한 사람이었다.

처음에는 모션 캡처한 데이터로 어떤 새로운 것을 만들 수 있는지를 고민했고, 그 다음에는 두 발로 걷는 사람이 어떻게 넘어지지 않고 균형을 유지하며 걸을 수 있는지를 고민했다. 이후에는 사람의 모델을 깊이 연구하며 해부학적 구조를 파헤치기 시작했다. 뇌에서 시작해 근육과 뼈를 움직이는 시그널을 연구하고, 이를 기반으로 컴퓨터에서 걷고 뛰고 움직이는 복잡한 움직임을 구현했다. 약 30년간 다양한 연구를 수행해왔는데, 그 본질은 결국 '사람이 어떻게 움직이나'라는 주제에 대한 탐구였다.

Q. 딥러닝 등 AI 기술을 활용해 다양한 연구를 진행했다고 들었다.

A. 내가 수행했던 연구 중 사람의 해부학적 구조와 걸음걸이 간의 관계를 학습한 사례가 있다. 사람을 해부학적으로 모델링하여 각 뼈의 길이부터 틀어짐, 근육 하나하나의 길이와 발휘할 수 있는 힘을 전부 풀어내면 파라미터(parameter)가 몇천 차원이 나오는 굉장히 긴 벡터 스페이스(vector space)로 표현할 수 있다.

이때 딥러닝은 그 몇 천 차원과 사람의 걸음걸이 간의 매핑(mapping)을 학습하는 것이다. 오랫동안 수없이 많은 학습 과정을 반복하면 사람의 움직임을 사전 학습한(pretrained) 대형 네트워크를 얻을 수 있다. 이 프리 트레인드 네트워크를 활용하면 머신러닝 전문가가 아니더라도 의사나 재활의학 분야 종사자, 바이오 메카닉스 분야 등에서 무궁무진한 일을 수행할 수 있게 된다.

Q. 애니메이션 기술은 게임에서도 활발하게 연구되고 적용되고 있다. 게임 애니메이션은 어떻게 발전할 것이라고 생각하는가?

A. 앞서 컴퓨터 그래픽스는 크게 3개 분야로 나뉜다고 이야기했는데, 게임에서 모델링과 렌더링 분야는 지난 몇 십년간 꾸준히 새로운 기술을 도입하며 퀄리티가 계속 높아졌다. 반면 애니메이션 분야는 지난 20년간 기술이 크게 진전되지 않았다. 캐릭터를 움직이는 애니메이션은 메인 로직과 직접적으로 연결되어 있기 때문에 한 번 시도했다가 백업하는 것도 불가능하다. 그렇기에 기술적으로 새로운 시도를 하기가 어려웠다.

하지만 딥러닝을 포함한 AI 기술이 발전해서 게임에 적용되는 애니메이션 기술도 큰 변화를 앞두고 있다. 지금은 움직임(motion)을 캡처한 데이터를 애니메이터들이 하나하나 연결해서 움직임을 구현하고 있지만 앞으로는 머신러닝 기술을 통해 데이터를 수집하고 컴퓨터에서 구현하는 일련의 과정을 효율화할 수 있을 것이다. 이제 혁신의 바로 직전까지 도달했다. 그 터닝포인트에서 누가 먼저 도전을 시작하느냐가 문제인데, 내가 엔씨(NC)의 CRO로 온 만큼 엔씨(NC)가 변화를 이끄는 선두 주자(pioneer)가 되지 않을까 생각한다.


이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공


Q. 연구자에서 기업의 최고연구책임자(CRO)로 도전하기까지 많은 고민이 있었을 것 같다.

A. 엔씨(NC)에 갔다고 하면 의외라며 놀라는 주변 사람이 많다. 그동안 내가 수행한 연구가 게임과 관련 없다고 생각하기 때문인 것 같은데, 나는 오히려 관련이 많다고 생각했기에 큰 이질감이 없었다. 연구자로서 학계에서 해볼 수 있는 것들은 다 해봤다고 생각했고 앞으로 새로운 도전을 해보고 싶었기에, 엔씨(NC)로 오겠다고 결정하는 일이 크게 어렵지는 않았다.

Q. 엔씨(NC)의 비전 중에서 어떤 부분에 공감하였는지?

A. 컴퓨터 그래픽스를 공부해온 지난 29년간 나의 꿈이자 화두는 '사람을 어떻게 컴퓨터로 표현하고 재현할 수 있는가'라는 주제였다. 엔씨(NC)의 AI 센터는 내가 연구자로서 가져온 꿈과 동일한 목표를 가진 곳이기에 그 비전에 공감하고 결정을 내릴 수 있었다.

Q. 엔씨(NC)에서는 주로 어떤 업무를 수행할 것인가?

A. 대학 교수로 있을 때보다 할 수 있는 일의 범위가 넓어졌다. 대학 연구실에서는 학문적 배경이 비슷한 사람들이 모여서 연구를 수행했다. 엔씨(NC)는 AI 센터만 하더라도 게임 AI, 스피치 및 비전 AI 등 여러 분야 연구를 수행하고 있고, 그 작업을 연구 레벨에서 하는 사람, 그 연구 결과를 프로듀싱하는 사람 등 다양한 구성원이 모여 있다. 대학에서는 아이디어를 내고 그 가능성을 보여주는 것에 그쳤다면, 엔씨(NC)에서는 여러 사람의 능력과 수없이 많은 아이디어를 모아서 '디지털 휴먼'처럼 하나의 완성된 결과물을 만들어가려고 한다.

Q. R&D 기술의 관점에서 엔씨(NC)의 미래 성장 동력을 확보하는 데 중요한 분야 또는 키워드가 무엇이라고 생각하는지?

A. 게임은 현실을 가상 환경에서 사실적으로 재현하고 그 위에 우리의 창조적 상상력을 덧붙인 세계라고 할 수 있다. 지난 20년 동안 게임에서 중요했던 이슈는 캡처, 스캔 같은 재현 기술을 통해 현실의 세계를 얼마나 사실적으로 모델링하느냐였다. 하지만 앞으로의 20년은 가상 환경에 구축한 현실 세계와 그 위에 덧붙이는 상상력의 세계가 어떻게 상호작용할 수 있을지, 즉 어떻게 '인터랙션'을 모델링하느냐가 중요하다고 생각한다.


이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공


Q. 인터랙션은 게임이 가진 가장 큰 특징이다. 이 말인 즉, 인터랙션이라는 개념이 새롭진 않아 보인다. CRO님이 구현하려는 인터랙션은 무엇인가?

A. 어떤 대상이 단순히 화면 속에만 존재하는 것이 아니라 서로 대화하고 교감하고 물리적으로 상호작용하는 대상이 되고 현실과 상상의 결합이 중요해질 것이다. 인터랙션은 가상과 가상의 존재 간에, 또는 현실과 가상의 존재 간에 일어날 수도 있다. 인터랙션의 본질은 '불확실성'에 대한 자연스러운 반응이다. 예측하지 못한 수많은 변수에 자연스럽게 대응할 수 있는 것, 그것이 엔씨(NC)가 추구하는 인터랙션이다. 그러한 인터랙션을 구현하는 것 자체가 굉장한 일이 될 것이다.

가령 디지털 휴먼은 인터랙션의 정점이라고 할 수 있다. 진정한 의미의 디지털 휴먼은 사람의 외형을 닮고 고정된 화면 속에 존재하는 정도를 넘어서 '나'와 소통할 수 있고 나의 표정을 읽고 반응하며 나를 기억하고 인터랙션할 수 있는 대상이어야 한다고 생각한다.

Q. '디지털 휴먼'은 현재 산업계에서 가장 화두가 되는 키워드이다. 디지털 휴먼을 구현하는 데 가장 중요한 것은 무엇인가?

A. 디지털 휴먼을 구현하기 위해서는 단순히 한두 가지 기술에 집중하기보다는 여러 기술을 유기적으로 연결하는 시스템적 사고방식이 가장 중요하다. 딥러닝, 물리 시뮬레이션, 컴퓨터 비전, 음성 합성, 음성인식, 챗봇 등 다양한 기술을 복합적으로 구성하고 하나의 시스템으로 구축하는 과정이 기술적 도전이 될 것이다. 지난 몇 년 사이에 디지털 휴먼을 만드는 데 필요한 컴포넌트들이 엄청나게 발전했다. 딥러닝 기술이 가져온 영향 덕분이다. 이제는 '나'와 소통하고 교감할 수 있는 디지털 휴먼을 만들 수 있는 세상이 되었다고 믿고 있다.

Q. 엔씨(NC)가 만드는 디지털 휴먼은 어떤 모습일까?

A. 단순히 디지털 휴먼의 상에 대한 담론보다는, 디지털 휴먼 기술 자체가 엔씨(NC) 안에서 시사하는 바가 크다고 생각한다. 드라마를 예시로 든다면 출연하는 배우의 역량이 뛰어날수록 전체적 퀄리티가 높아지고 제작하는 데 드는 비용과 노력이 적어질 것이다. 게임 안의 캐릭터와 게임 간의 관계도 마찬가지다. 한마디로 말해서 고도화한 디지털 휴먼을 만들어낸다는 것은 곧 엔씨(NC)에서 만드는 모든 서비스의 퀄리티가 높아지고 비용과 노력은 절감된다는 것을 의미한다. 디지털 휴먼 기술은 엔씨(NC)의 미래 비전이자 중요한 기반 기술이 될 것이다.


이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공


Q. 게임 콘텐츠의 가능성에 대해서 어떻게 생각하는지?

A. 게임은 앞으로 절대 없어지지 않을 콘텐츠고 우리 사회에 꼭 필요하다고 생각한다. 게임 콘텐츠의 가능성은 무궁무진하다. 엔씨(NC)의 최고연구책임자로서 게임 콘텐츠가 어디까지 확장될 수 있을지를 끊임없이 탐구하고 그 경계를 넓히는 것이 AI 센터의 역할이라고 생각한다.

Q. 그럼 '게임의 한계를 넓히는 역할'이 R&D 조직의 비전인가?

A. R&D 부서는 엉뚱한 일을 벌이는 곳처럼 보이기도 하지만, 결국 궁극적으로는 다른 팀들에 영감(inspiration)을 주는 일을 한다. 단순히 게임 개발 프로세스를 효율화하는 것이 주요 목적은 아니다. 게임 개발 과정에서 가능할 것이라고 생각하지 못한 것을 보여주는 곳, 새로운 비전을 끊임없이 보여주고 개발 부서의 상상력을 한 차원 더 높여주는 역할을 수행하는 곳이 R&D 부서라고 생각한다. 게임 회사들 중에서 R&D 조직을 제대로 유지하고 있는 곳은 별로 없다. 국내 게임 회사들 중에서는 엔씨(NC)가 유일하지 않을까 싶다. 그것이 엔씨(NC)에 오게 된 이유 중 하나이기도 하다.

Q. 그 과정에서 CRO의 역할이 중요해 보인다. 

A. 큰 도약을 이루기 위해서는 많은 시행착오를 거듭할 수밖에 없다. 그런 측면에서 R&D 조직에서 일하는 사람들에게 가장 필요한 것은 인내심이다. 도전을 격려하고, 무슨 일이 생겨도 괜찮으니 계속하라고 말해주는 것이 CRO의 임무라고 생각한다. 직원들이 더 길게 더 멀리 볼 수 있도록 여유와 용기를 주는 응원단장 같은 사람이 되려 한다.


이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공


Q. 마지막으로 엔씨(NC)에서 이루고 싶은 목표가 있다면?

A. 서울대학교에서 교수로 재직하며 아쉬웠던 점이 있다면 새로운 아이디어를 내고 연구한 결과가 논문을 내는 단계에서 끝난다는 것이었다. 엔씨(NC)는 그다음 단계까지 마음껏 도전할 수 있다는 점에서 기대하는 바가 크다. 현실의 문제를 해결하고 이로부터 가치를 창출하는 단계까지, 끝까지 가보고 싶다.



▶ 엔씨, 1분기 실적발표후 주가 급상승...최저치 찍고 '방긋'▶ 넥슨 서브브랜드 '민트로켓' 김대훤 총괄 부사장 "제품보다 사람을 믿기로 했다"▶ [플레이엑스포] LCK 역사에 길이남을 외인구단 '락스 타이거즈' 은퇴 인터뷰▶ [창간8] 게임와이가 주목한 2022년 기대작 톱8▶ [창간8] 대한민국 게임사의 새로운 도전과 의의▶ "리니지, 던파, 오딘?" 원스토어 이재환 대표 "톱5 게임 중 2개 입점 논의 중"▶ '소통 행렬' 이어받은 엔씨, 곧 TJ(김택진)도 나온다!▶ "웹 3.0은 C2E 가속화의 발판" 크래프톤 박형철 실장▶ [인터뷰] 카카오 기대작 '디스테라' 최현동 기획팀장, "여러 장르 혼합해 진화하는 것이 목표"



추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 가족과 완벽하게 손절해야 할 것 같은 스타는? 운영자 24/06/24 - -
1532 [공략] "상위 아이템이 뭐지?" 머지 쿵야 아일랜드 공략(2)-자원 체인 게임와이갤로그로 이동합니다. 22.06.14 534 0
1531 머지쿵야, 세나레볼, 오버프라임...넷마블, 신작으로 '비상' 해볼까? 게임와이갤로그로 이동합니다. 22.06.14 127 0
1530 [공략] "콤보 어떻게 하지?" '머지 쿵야 아일랜드' 공략(1) 게임와이갤로그로 이동합니다. 22.06.14 116 0
1529 넥슨 프로젝트 MOD ?개발사를 찾습니다"...모바일게임협회와도 협업 게임와이갤로그로 이동합니다. 22.06.14 150 0
1528 '디아블로4' 베타 예약중...'과금' 관심 집중 [40] 게임와이갤로그로 이동합니다. 22.06.14 3612 6
1527 명작 '아크(ARK)', 스팀에서 또 무료로 풀렸다...'아크2' 출시 예정 기념 [18] 게임와이갤로그로 이동합니다. 22.06.14 4045 7
1526 매출 1조 '퍼즐앤드래곤' 노렸나? 네오위즈, '브라운더스트 앤 퍼즐' 7월 출시 [2] 게임와이갤로그로 이동합니다. 22.06.14 195 0
1525 메이플 '이그니스 쇼케이션'...드디어 '시그너스 리마스터' 공개! 게임와이갤로그로 이동합니다. 22.06.13 158 2
1524 [리뷰] 짱구와 힐링? '짱구는 못말려! 나와 박사의 여름방학' [17] 게임와이갤로그로 이동합니다. 22.06.13 2389 12
1523 김동준 해설 LCK 하차...추후 복귀 여부 알 수 없어 [1] 게임와이갤로그로 이동합니다. 22.06.13 341 7
1522 韓 슈팅 게임 재 전성시대...글로벌 시장 K-슈팅 매운맛 선보인다! [4] 게임와이갤로그로 이동합니다. 22.06.13 211 0
1521 인천국제공항에 '게이머 라운지' 생긴다...복합문화공간으로 구성 게임와이갤로그로 이동합니다. 22.06.13 160 0
1520 크래프톤도 진출...게임사 버추얼 휴먼 4종, 누가 끌리나? 게임와이갤로그로 이동합니다. 22.06.13 137 0
1519 위메이드 바쁘다 바빠...베트남 진출·정보보호 인증 획득·미르M 테스트까지 게임와이갤로그로 이동합니다. 22.06.13 89 0
1518 NDC2022 성료...주목할 만한 지표와 인사이트는? 게임와이갤로그로 이동합니다. 22.06.13 88 0
1517 블리자드 기대작 '디아블로4', '오버워치2' 출시 일정 공개! [32] 게임와이갤로그로 이동합니다. 22.06.13 3799 5
1516 '크래프톤'의 하이퍼 리얼리즘과 버추얼 휴먼 '애나(ANA)' [1] 게임와이갤로그로 이동합니다. 22.06.13 152 0
1515 벨트스크롤 대전격투 '파이널 벤데타', PS 패키지버전 10일 출시 게임와이갤로그로 이동합니다. 22.06.13 115 0
1514 '돌연변이 닌자 거북이: 슈레더의 복수' 16일 출시 [25] 게임와이갤로그로 이동합니다. 22.06.13 2418 13
1513 PS5용 액션 어드벤처 '딜리버 어스 더 문' 24일 출시 게임와이갤로그로 이동합니다. 22.06.13 130 0
1512 닌텐도스위치용 모델 시뮬레이션 '모델 데뷔 2 니콜라' 한국어판 출시 결정! 게임와이갤로그로 이동합니다. 22.06.13 145 0
1511 더샌드박스, 이승희 대표이사 임명...5대게임사 출신 게임와이갤로그로 이동합니다. 22.06.13 114 0
1510 [리뷰] 머지(Merge) 게임 장르의 정점을 찍다...'머지쿵야 아일랜드' [1] 게임와이갤로그로 이동합니다. 22.06.12 165 0
1509 '미르M' 이장현 실장, "보편화된 BM이며 장비 파밍은 과하지 않다" 게임와이갤로그로 이동합니다. 22.06.10 173 0
1508 메타버스에서 제품을 알리는 방법...올림플래닛, 7월 '엘리펙스 써밋' 연다! 게임와이갤로그로 이동합니다. 22.06.10 119 0
1507 명품 게임은 우아하게 오케스트라를 연다 [9] 게임와이갤로그로 이동합니다. 22.06.10 777 0
1506 스타크래프트2 감독, 무료 RTS '스톰게이트' 발표 게임와이갤로그로 이동합니다. 22.06.10 259 0
1505 식인 상어 게임 '맨이터' 무료...웃긴 염소 '고트 시뮬레이터3' 나온다 게임와이갤로그로 이동합니다. 22.06.10 131 0
1504 마이크로소프트, PC Game Pass 체험 팝업 PC방 오픈 [1] 게임와이갤로그로 이동합니다. 22.06.10 133 0
1503 닥터 스트레인지, 아이언맨 다 나온다...2K, '마블 미드나잇 선즈' 출시 [4] 게임와이갤로그로 이동합니다. 22.06.10 2964 4
1502 라인게임즈, 엑소스히어로즈 '확률업'으로 재미UP [1] 게임와이갤로그로 이동합니다. 22.06.10 113 0
1501 사전등록자 100만명 돌파...헌터W·잇츠미·아터리 기어 게임와이갤로그로 이동합니다. 22.06.10 118 0
1500 6월 말 모바일 게임 시장은 '전쟁'...대형 모바일게임 6종 출시 게임와이갤로그로 이동합니다. 22.06.10 121 0
1499 위메이드, 위믹스 글로벌 생태계 확장 광속도...일주일 새 6곳에 투자  게임와이갤로그로 이동합니다. 22.06.10 101 0
1498 협곡에 등장한 공허의 여제 '벨베스'...차기 시즌 장악할까 게임와이갤로그로 이동합니다. 22.06.10 107 0
1497 [NDC2022] 게임회사 정년퇴직보다 중요했던 '이것' 게임와이갤로그로 이동합니다. 22.06.10 125 0
1496 [NDC2022] 넥슨, 신작 '제우스' 최초 공개....음악으로 알아보는 '제우스'의 분위기 게임와이갤로그로 이동합니다. 22.06.10 128 0
1495 [카드뉴스] 금주의 게임뉴스 탑5 - NDC 2022 개막 게임와이갤로그로 이동합니다. 22.06.10 89 0
1494 대세는 '버추얼 휴먼!'...'불쾌한 골짜기' 극복한 온마인드 '수아' [54] 게임와이갤로그로 이동합니다. 22.06.10 5603 4
1493 [NDC2022] 넥슨, 'NDC' 뿐만 아니라 다채로운 활동 영역 선보여...넥슨 소식 '종합' 게임와이갤로그로 이동합니다. 22.06.09 132 0
1492 [NDC2022] '공성전의 대중화'는 정말 가능할까? 게임와이갤로그로 이동합니다. 22.06.09 106 0
1491 [기획] 게이머는 행복해…6, 7월 대작의 향연 이어진다 [2] 게임와이갤로그로 이동합니다. 22.06.09 184 0
1490 [NDC2022] 블록체인 기술이 게임과 만나면 어떤 미래가 펼쳐질까? 게임와이갤로그로 이동합니다. 22.06.09 104 0
1489 하반기 신작 출격 기대감...엔씨·크래프톤 주가 회복하나? 게임와이갤로그로 이동합니다. 22.06.09 96 0
1488 '귀멸의 칼날 히노카미 혈풍담', 닌텐도스위치 버전 출시...특전은? 게임와이갤로그로 이동합니다. 22.06.09 140 0
1487 '사이쿄 슈팅 라이브러리 Vol.1' PS4 한국어 패키지판 10일부터 예약 판매 게임와이갤로그로 이동합니다. 22.06.09 76 0
1486 팔콤 '영웅전설 여의 궤적 II -CRIMSON SiN-' 한국어 버전 2022년 출시 [1] 게임와이갤로그로 이동합니다. 22.06.09 110 0
1485 캡콤 '몬스터 헌터 라이즈: 선브레이크' 아미보(피규어) 3종 세트 '예판' 게임와이갤로그로 이동합니다. 22.06.09 84 0
1484 [금주의 신작] '크리티카', P2O 게임으로 전 세계 출시 등 게임와이갤로그로 이동합니다. 22.06.09 103 0
1483 [핸즈온] 정감가는 그래픽, '씰M' 미리 즐겨보니... 게임와이갤로그로 이동합니다. 22.06.09 105 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2