디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

동영상 만드는 인공지능 ‘런웨이 GEN-2’의 실력은?

IT동아갤로그로 이동합니다. 2023.03.22 09:33:50
조회 1239 추천 2 댓글 4
[IT동아 차주경 기자] 달리 2(DALL-E 2)와 스테이블 디퓨전(Stable Diffusion), 미드저니(Midjourney) 등 사람이 입력한 문장의 내용을 사진이나 그림으로 만드는 인공지능은 세계에 큰 반향을 일으켰다. 나아가 사람이 입력한 문장의 내용을 동영상으로 만드는 인공지능이 등장했다. 런웨이(Runway) GEN-2다.

런웨이 GEN-2의 동작 원리는 다중 모달(Multi Modal, 다양한 수단과 방식을 써서 정보를 주고 받는 구조)이다. 먼저 풍부한 분량의 사진과 동영상 데이터를 분석하고 기억한다. 사람이 문장이나 사진, 동영상을 입력하면 내용을 분석하고 기존 데이터를 참고해 알맞은 내용을 창작하는 원리다.


런웨이 GEN-2가 사람이 입력한 문장, 사진을 토대로 만든 동영상. 출처 = 런웨이 연구 블로그



덕분에, 이 인공지능은 사람이 입력한 문장의 내용을 고스란히 동영상으로 만든다. 문장과 사진을 함께 입력해도 동영상을 만든다. 위 예제 사진은 한 남자의 인물 사진(왼쪽위 )과 함께 ‘거리를 걷는 남자를 로우앵글로, 배경에는 네온사인 조명’이라는 문장(왼쪽 아래)을 입력한 결과(오른쪽)다.


런웨이 GEN-2가 사람이 입력한 사진, 동영상을 토대로 만든 새로운 동영상. 출처 = 런웨이 연구 블로그



사람이 입력한 사진을 동영상으로 만드는 능력, 원본 동영상의 피사체와 배경에 임의의 사진을 합성해 새로운 동영상을 만드는 능력도 갖췄다. 위 예제 사진은 현실 세계에서 남성이 춤을 추는 동영상(왼쪽)에 게임 속 캐릭터의 사진(가운데)을 합성, 동영상의 느낌을 게임처럼 바꾼(오른쪽) 사례다.


런웨이 GEN-2가 사람이 입력한 문장을 토대로 만든 기존 동영상을 수정한 사례. 출처 = 런웨이 연구 블로그



문장을 입력해서 동영상 속 피사체의 일부 요소만 제거하거나 수정하는 것, 동영상의 느낌을 실사나 애니메이션 화풍으로 조절하는 것도 가능하다. 위 예제 사진은 개가 산책하는 동영상(왼쪽 위)에 ‘흰 털에 검은 반점이 있는 개’라는 문장(왼쪽 아래)을 입력해서 동영상 속 개의 모습을 바꾼 사례(오른쪽)다. 기초 수준의 3D 모델링을 실제 피사체처럼 바꿔 동영상으로 만드는 능력도 가졌다. 런웨이의 연구 블로그에서 위 사례들의 동영상을 확인 가능하다.

아직 한계는 있다. 런웨이 GEN-2로 만든 동영상은 해상도와 선명도가 낮고 프레임 수도 적다. 그래서 화면 속 피사체의 모습은 거칠고 움직임도 뚝뚝 끊기는 듯한 모습을 보인다. 동영상 결과물의 길이도 아직은 4초 남짓으로 짧다.

하지만, 런웨이는 2022년 9월 이 기술의 개념을 공개한 후 불과 반 년여 만에 GEN-2를 선보였다. 사진이나 그림을 만드는 인공지능의 발전 속도를 고려하면, 이 기술 역시 단시간에 크게 발전해 실제 동영상 수준의 결과물을 만들 것으로 기대한다.

런웨이는 다중 모델 인공지능 기술을 더욱 고도화, GEN-2의 성능을 강화할 예정이라고 밝혔다. 단, 이 기술은 아직 일반 소비자나 기업이 임의로 활용할 수 없다.

글 / IT동아 차주경(racingcar@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ 사무실 AI 혁명 일어나나…마이크로소프트, GPT4 품은 오피스 공개▶ GPT-4, 사진 알아보고 변호사·대입 시험 성적도 우수▶ [스타트업-ing] 드랩 “쇼핑몰 상품 사진, AI로 순식간에 만들 수 있습니다”



추천 비추천

2

고정닉 0

2

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는? 운영자 24/06/03 - -
2602 인터넷은행 막내인 ‘토스뱅크’, 자산 건전성 문제없을까? [31] IT동아갤로그로 이동합니다. 23.04.28 7329 10
2601 [리뷰] 어디든 배치하는 광고판, 카멜 닥터애드 DA3210S 디지털 사이니지 [2] IT동아갤로그로 이동합니다. 23.04.28 1024 0
2600 [농업이 IT(잇)다] 팜프로 “소 질병·출산 관리해 스마트 축산 선도국으로” IT동아갤로그로 이동합니다. 23.04.28 144 0
2599 문화재까지 태운 강릉 산불, IoT 시스템 중요성 일깨웠다 [4] IT동아갤로그로 이동합니다. 23.04.27 1861 1
2598 [스타트업人] 소상공인 디지털화 도우미, 넥스트페이먼츠 '스마트 상점 PM' 이야기 IT동아갤로그로 이동합니다. 23.04.27 131 0
2597 스타트업에게 전하는 기술 유출 예방법과 대응법 IT동아갤로그로 이동합니다. 23.04.27 152 0
2596 가정의 달 5월, ‘과대포장’ 넘어 ‘착한 포장’이 뜬다 [12] IT동아갤로그로 이동합니다. 23.04.26 2201 1
2595 [동국대학교 캠퍼스타운] 로지스트 “물류 모빌리티로 소상공인의 온라인 진출 도와” IT동아갤로그로 이동합니다. 23.04.26 132 0
2594 [IT애정남] 노트북 잠금장치(캔싱턴 록)는 어떻게 쓰는 거죠? IT동아갤로그로 이동합니다. 23.04.26 1239 3
2593 [고려대 초창패 2022] 아론그룹 “맞춤형 간편결제, 미래 핀테크 마중물” IT동아갤로그로 이동합니다. 23.04.26 102 0
2592 [메타버스에 올라타자] 4. 메타버스 기술 트렌드 [14] IT동아갤로그로 이동합니다. 23.04.26 2870 0
2591 AWS코리아, 직접 체험하는 모의 훈련 ‘스타트업 게임데이’ 개최 IT동아갤로그로 이동합니다. 23.04.26 114 0
2590 [IT신상공개] 세 개의 눈 가진 접이식 드론, DJI 매빅 3 프로 [2] IT동아갤로그로 이동합니다. 23.04.25 1225 0
2589 [동국대학교 캠퍼스타운] 퍼플피치 “캐릭터 상품을 ‘잘’ 만들도록 도와드려요” IT동아갤로그로 이동합니다. 23.04.25 104 0
2588 엑스플로인베스트먼트 이종훈 대표 “스타트업다운 아이템으로 승부하라” IT동아갤로그로 이동합니다. 23.04.25 2606 3
2587 미드저니 “사진 인공지능, 예술 도용 안해…소송 기각돼야” IT동아갤로그로 이동합니다. 23.04.24 125 1
2586 [고려대 초창패 2022] 호라이존테크놀로지 “퀀트랙, 성공 투자 파트너로” [1] IT동아갤로그로 이동합니다. 23.04.24 2511 0
2585 에이수스, OLED 품은 슬림형 노트북 제품군 다수 출시 IT동아갤로그로 이동합니다. 23.04.21 123 0
2584 [농업이 IT(잇)다] 핀치그린 “고압 에어로포닉스·기능성 식물소재 전파” [1] IT동아갤로그로 이동합니다. 23.04.21 170 0
2583 중앙대 인간로봇융합연구센터, 육상선수와 함께 로봇슈트 검증 나선다 [1] IT동아갤로그로 이동합니다. 23.04.21 168 0
2582 이륙 4분 만에 폭발한 스페이스X '스타십'··· 터졌는데도 '성공'인 이유는? [15] IT동아갤로그로 이동합니다. 23.04.21 2313 14
2581 외국인용 지마켓, 11번가도 있어? ‘역직구’ 사업 이모저모[K비즈니스 가이드] [1] IT동아갤로그로 이동합니다. 23.04.20 1053 0
2580 오라클 “의사결정에 어려움 겪는 기업들, ‘데이터 폭격’이 원인” [1] IT동아갤로그로 이동합니다. 23.04.19 161 0
2579 [WIS 2023] 일상을 바꾸는 최신 ICT 트렌드와 기술, 스타트업까지 모였다 [1] IT동아갤로그로 이동합니다. 23.04.19 318 0
2578 누누티비 사태, OTT 업계 “범죄 대응체계와 처벌 강화해야” [28] IT동아갤로그로 이동합니다. 23.04.19 4691 17
2577 [고려대 초창패 2022] 반암주식회사 “박막형 반도체 시장 주도” [1] IT동아갤로그로 이동합니다. 23.04.19 150 0
2576 [IT신상공개] 디카만큼 화질 좋은 스마트폰, 샤오미 13 울트라 [10] IT동아갤로그로 이동합니다. 23.04.19 659 2
2575 효율성 겸비 친환경 포장재가 대세, 제17회 대한민국 패키징 대전 [1] IT동아갤로그로 이동합니다. 23.04.18 139 0
2574 [농업+IT=스마트팜] 5. 환경 데이터 수집용 센서 구축하기 (2) [1] IT동아갤로그로 이동합니다. 23.04.18 147 0
2573 [디지털 취약 극복] 리보 “세계 시각장애인 위한 스마트폰 도우미” IT동아갤로그로 이동합니다. 23.04.18 838 1
2572 중앙대학교 인간로봇융합연구센터 김우석 사무국장 “연구센터 운영에도 융합이 중요” IT동아갤로그로 이동합니다. 23.04.17 89 0
2571 [IT애정남] 재개된 해외여행, 배터리 기내 반입 알려주세요! IT동아갤로그로 이동합니다. 23.04.17 1048 0
2570 카카오톡 사용으로 저장공간이 부족할 땐 이렇게![이럴땐 이렇게!] [5] IT동아갤로그로 이동합니다. 23.04.17 2622 7
2569 [주간투자동향] 넛지헬스케어, 300억 원 규모 투자 유치 IT동아갤로그로 이동합니다. 23.04.17 100 0
2568 [IT강의실] 흑백 사진만 찍는 ‘모노크롬’ 카메라, 무엇이 특별한가? [2] IT동아갤로그로 이동합니다. 23.04.17 1882 6
2567 [농업이 IT(잇)다] 뉴로팩 “업사이클링 친환경·기능성 포장재 세계로” IT동아갤로그로 이동합니다. 23.04.14 92 0
2566 [IT신상공개] 35mm 8K 영상 담는 드론, DJI 인스파이어 3 [12] IT동아갤로그로 이동합니다. 23.04.14 1213 2
2565 IT운영전문가가 본 인포플라의 ‘웹장애 모니터링’[스타트업 리뷰] IT동아갤로그로 이동합니다. 23.04.13 104 0
2564 [앱으리띵] 내 마음대로 고르는 건설 일자리, 웍스메이트 가다 [1] IT동아갤로그로 이동합니다. 23.04.13 217 1
2563 엔비디아, 지포스 RTX 4070 출시… '10GB 아닌 12GB 메모리 탑재' [16] IT동아갤로그로 이동합니다. 23.04.13 2106 2
2562 상상력을 현실로 바꾸는 ‘딥테크’, 정부도 인재 양성에 팔 걷어 IT동아갤로그로 이동합니다. 23.04.12 150 0
2561 직접 체험할 수 있는 프로 오디오 장비, 기어라운지 쇼룸 [1] IT동아갤로그로 이동합니다. 23.04.12 1139 0
2560 유튜브 프리미엄 구독자, 다섯 가지 혜택 받는다 [8] IT동아갤로그로 이동합니다. 23.04.12 1570 3
2559 [리뷰] USB에 꽂아 쓰는 와이파이6E 어댑터, 넷기어 나이트호크 A8000 IT동아갤로그로 이동합니다. 23.04.11 150 0
2558 마드라스체크, SaaS 페스타 'Flower 2023' 개최… '디지털 전환의 현주소 만난다' IT동아갤로그로 이동합니다. 23.04.11 159 0
2557 이통 3사, 새로운 중간요금제 나온다 … 걸림돌은 가격 [6] IT동아갤로그로 이동합니다. 23.04.11 1447 0
2556 [IT신상공개] ‘미키 마우스’ 옷 입은 955만원짜리 라이카 Q2 한정판, 발표하자마자 매진? [3] IT동아갤로그로 이동합니다. 23.04.10 1479 0
2555 [IT애정남] 내비게이션의 스쿨존 우회 기능에 대해 알려주세요 IT동아갤로그로 이동합니다. 23.04.10 204 0
2554 [마인드테크 시대가 온다] 4. 상담테크, 치유의 동반자 IT동아갤로그로 이동합니다. 23.04.10 128 0
2553 스마트폰 저장공간이 부족할 땐 이렇게![이럴땐 이렇게!] [4] IT동아갤로그로 이동합니다. 23.04.10 2142 3
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2