대화형 인공지능 구현을 위한 기반, 대형 언어 모델(LLM)이란?

IT동아 · 2023.10.04 17:48:54

[IT동아 남시현 기자] GPT는 사전 학습된 생성형 트랜스포머(Generative Pre-trained Transformer)의 약자다. GPT 등장 이전에는 생성적 사전 훈련(GP)이라는 말이 쓰였는데, 2018년 오픈AI가 GPT-1을 공개하면서 GPT로 쓰이기 시작했다. GPT는 데이터를 사전에 훈련해 둔 다음 제공하는 방식을 활용함으로써 대량의 데이터를 기반으로도 빠르게 대답을 내놓을 수 있는 게 특징이다. 이 방식이 챗GPT에 적용되면서 GPT는 인공지능 업계에서 대명사처럼 쓰이기 시작한다.

출처=셔터스톡

하지만 올해 4월, 오픈AI는 가이드라인을 통해 특정 서비스 명에 GPT라는 이름을 붙일 수 없게 하겠다고 발표했다. GPT라는 개념 자체가 널리 퍼지자 상표권을 행사하겠다는 취지다. 언어 모델 개발사는 GPT라는 이름을 그대로 쓸 수 없고, GPT로 개발된, GPT로 서비스되는 등의 구식어를 붙어야 한다. GPT라는 이름을 사용하기 곤란해지면서 업계에서는 보다 크고 포괄적 개념인 대형 언어 모델(Large Language Model, LLM)이라는 단어를 본격적으로 활용하기 시작한다.

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델

구글은 지난 5월 진행한 구글 I/O 행사에서 2세대 LLM인 PaLM2를 선보였다 / 출처=구글

언어 모델은 단어나 문장이 복잡하게 배열돼 있을 때, 문장의 구성이 통계학적으로 가장 일반적으로 쓰이는 형태를 취하도록 학습된 모델이다. 대형 언어 모델은 이런 언어 모델을 수 억에서 수천억 개 단위로 모아놓은 것이다. 2018년 출시된 구글의 BERT는 33억 개의 단어와 3억 4천만 개의 언어 모델로 구성됐고, 본격적으로 이름을 알리기 시작한 GPT-3는 약 1750억 개의 언어 모델로 구성된다. 구글의 최신 모델인 PaLM 2는 3400억 개의 매개 변수를 사용하고, 화웨이의 판구-Σ는 1조 850억 개를 사용했다고 알려져 있다.

대형 언어 모델이 동작하는 방식은 데이터를 수집한 다음, 계산해서 제공하는 것이다. 우선 데이터는 온라인상에 있는 글과 논문, 뉴스, 서적 등으로 수집하며, 이를 사전 훈련이라고 한다. 매개변수라고 지칭하는 단위가 바로 이 데이터의 양이다. 그 다음 장치를 통해 언어 데이터의 구조와 단어의 의미, 어떤 상황에서 사용되는지 학습하고, 적절한 값으로 제공할 수 있도록 미세 조정한다. 사용자가 질문을 하면 이를 추론하고 저장된 매개변수에서 적절한 값을 생성해 제공한다.

구글이 공개한 의료 전문 LLM인 메드-PaLM / 출처=구글

현재 개발되고 있는 다양한 대형 언어 모델은 자연어가 사용되는 다양한 분야에서 애플리케이션 형태로 쓸 수 있게 제공된다. 지난 7월 공개된 구글의 의료 전문 LLM인 메드-PaLM은 미국 의사면허시험 양식 질문에서 전문가 수준의 성능을 발휘해 복잡하고 어려운 의학적 질문에 대해서도 짧거나 긴 형태로 답변을 받을 수 있다. 또한 의료 보험이나 임상 시험 지원, 암 검진 등에 대해서도 실용적인 대답을 얻을 수 있다.

고객관계관리(CRM) 기업 세일즈포스는 비용 및 주문 가치를 개선하는 커머스 GPT, 영업 담당자에게 필요한 업무 절차를 지원하는 세일즈 GPT, 실시간 데이터를 기반으로 개인화된 응답을 자동으로 제공하는 서비스 GPT와 필드 서비스 GPT 등으로 구성된 아인슈타인 GPT를 활용하고 있다. 인공지능 학습 플랫폼 ‘콴다’의 운영사 매스프레소의 경우에는 학습 수준과 맥락에 맞게 상호작용하고, 도형, 그래프, 손글씨까지 인식하는 기술을 더해 AI 보조 교사인 ‘AI 튜터’의 성능을 고도화할 예정이다.

대형 언어 모델의 현재 진행 상황은?

메타는 지난 달 28일 진행한 ‘메타 커넥트 2023’에서 LLaMA-2 기반의 인공지능 서비스인 메타 AI를 선보였다 / 출처=메타

오픈AI의 GPT가 생성형 AI의 문을 연 것은 맞지만, 시장의 분위기는 구글, 그리고 메타가 이끌어갈 전망이다. 메타는 올해 2월 LLaMA(Large Language Model Meta AI)라는 이름의 대형 언어 모델을 공개했다. 이 모델은 70억 개부터 650억 개 매개변수로 구성된 모델이 있으며, 비상업적 목적으로 제공됐다. 이후 7월에 마이크로소프트와 협력한 LLaMA-2를 공개했다. LLaMA-2는 기존 모델을 고도화함과 동시에 상업적 사용까지 무료로 제공되는 게 특징이다. 전반적인 성능은 GPT보다 우위로 평가되고 있는데, 무료로 쓸 수 있는 만큼 상당한 시장 장악력을 발휘할 것으로 평가받고 있다.

구글의 PaLM(Pathways Language Model)은 5400억 개의 매개변수가 포함된 대형 언어 모델이다. 2022년 4월 처음 발표된 이후 꾸준히 고도화하고 있으며, 지난 7월에 의료 분야에서 활용할 수 있는 메드-PaLM으로 공개됐다. 또한 로봇 조작에 사용할 수 있는 PaLM-E라는 모델도 공개됐고, 음성을 다른 음성으로 변환하는 오디오PaLM도 있다.

2세대 버전인 PaLM 2는 구글의 대화 생성형 AI인 바드(Bard)를 지원하고, 자바스크립트나 파이썬 등 20개의 프로그래밍 언어를 훈련해 코딩 용도로도 쓸 수 있다. 구글은 메타와 달리 신중하게 서비스를 공개하고 있지만, 구글 검색엔진 자체의 점유율과 100개 이상의 언어를 지원하는 성능으로 뒷심을 발휘할 것으로 예상된다.

네이버의 클로바X는 대화형 AI를 넘어 외부 서비스와 연동된다는 특징이 있다 / 출처=네이버

국내에서는 네이버의 클로바X가 강세다. 클로바X는 2040억 개의 매개변수를 갖췄으며, 한국어에 특화된 모습을 보여준다. 핵심 기능은 생성형 AI 검색 ‘큐(CUE):’로 접할 수 있으며, 네이버 내외부에 구축된 다양한 API를 연결하는 시스템 ‘스킬(skill)’을 통해 언어모델 자체의 한계를 보완한다. 물론 초기 공개 이후 가치판단이 필요한 답변을 피하거나, 국문을 제대로 이해하지 못하고 엉뚱한 답변을 제공하는 등의 모습을 보이면서 부정적인 평가를 받고 있으나, 한국어 기반이라는 강점을 내세우며 차근차근 성장하리라 본다.

인공지능 산업의 중심 된 대형 언어 모델

대형 언어 모델이 주목받고 있는 이유는 실용성 덕분이다. 이미 구글과 메타는 십수 년 전부터 인공지능을 개발해 왔지만, 연구 과정은 비밀에 부쳐왔다. 개발은 하되, 어디에 어떻게 쓰일지를 보여주지 않는 식으로 이목을 피해왔다. 하지만 오픈AI가 GPT3로 대화형 인공지능이라는 새로운 활용 방안을 제시했고, 누구나 체감할 수 있는 방식으로 인공지능을 접하게 되면서 주목을 받는 것이다.

메타의 LLaMA 2는 텍스트로 구현되지 않는 분야에 대한 도전, 안전과 책임, 개발자 커뮤니티 지원에 일차적인 초점을 맞추고 있다 / 출처=메타

하지만 대형 언어 모델의 가장 큰 한계는 명확한 목표를 두고 개발하는 것이 아니라는 점이다. 대형 언어 모델을 활용한 생성형 AI 역시 자율적인 사고가 가능한 인공 일반지능 구현이 궁극적 목표긴 하나, 지금의 언어 모델은 어떤 상한선이 규정되지도 않고 달성 가능한 목표가 수립된 것도 아니다. 아무리 완벽하고 고도화되어도 데이터에 없는 해답을 내놓을 수는 없는 게 한계다.

대형 언어 모델 자체의 목표가 불투명하다 보니 현 상황에서는 대다수 기업들이 매개변수 규모를 키우고, 큰 언어 모델을 기반으로 원하는 대답을 내놓는 것에 초점을 맞추고 있다. 하지만 매개변수를 늘리고 활용도가 많아질수록 많은 자원이 소비되고, 이 비용은 기업이 부담하게 된다. 메타의 경우 개방적이면서도 효율적인 기초 언어 모델 구현을 목표로 한다. 인공 일반지능이 구현되지 않는다면 대다수 모델이 메타처럼 생태계를 구축하고 보다 효율적으로 진화하는 방향을 목표로 잡으리라 본다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
3155	[자동차 디자人] 슈퍼카 대명사 ‘람보르기니’ 디자인 책임자 ‘밋챠 보커트’	IT동아	23.11.17	878	0
3154	‘코로나 마스크’ 덕 본 글로벌 콘택트렌즈 시장, 이후에도 ‘기대’[K비즈니스가이드] [6]	IT동아	23.11.16	2116	0
3153	[스타트업-ing] 재활용 흡음재로 유니콘 꿈꾸는 '노이즈엑스' [1]	IT동아	23.11.16	1683	2
3152	백준호 퓨리오사AI 대표 "AI 반도체, 지속가능성 고려한 설계 필요"	IT동아	23.11.16	156	0
3151	2023 하반기 빅웨이브가 선택한 바이오·딥테크 스타트업	IT동아	23.11.16	112	0
3150	[스타트업人] 장기지속형 약물 전달 플랫폼 제제 연구, 티온랩테라퓨틱스 연구원 이야기	IT동아	23.11.16	112	0
3149	LG디스플레이 오픈이노베이션 '2024 Dream Play' 6기 스타트업 모집	IT동아	23.11.16	116	0
3148	中 “2024 최고 카메라폰 지위 내 것”...점유율 확대 과제도 [5]	IT동아	23.11.16	552	3
3147	개조부터 구독까지…전기차 활용 범위 확대의 배경 ‘버츄얼 트윈·클라우드’	IT동아	23.11.15	320	0
3146	정부 주도 블록체인 서비스 개발 현황 공유 ‘블록체인 진흥주간’	IT동아	23.11.15	113	0
3145	[리뷰] 전문가용 GPU 시장에 경종을 울리다, AMD 라데온 프로 W7700 [11]	IT동아	23.11.15	953	2
3144	구글 클라우드 “생성형 AI 통한 비즈니스 혁신 도울 것” [1]	IT동아	23.11.14	235	0
3143	그림·사진에 영화, 음악까지…인공지능 예술계 강타 [92]	IT동아	23.11.14	4542	9
3142	에스티어스 "학교 굿즈 통해 브랜딩·애교심 강화에 기여" [스타트업in과기대]	IT동아	23.11.14	139	0
3141	가상자산 산업 “세부적이고 정확한 규제 필요”	IT동아	23.11.14	429	0
3140	외국어 문장 번역이 필요할 땐 이렇게![이럴땐 이렇게!]	IT동아	23.11.13	196	0
3139	[스텝포넷제로] 대구경북능금농협, “사과 포장박스를 친환경 포장재로 바꾸고 있습니다”	IT동아	23.11.13	141	0
3138	[주간투자동향] 클래스101, 160억 원 규모의 시리즈B 브릿지 투자 유치	IT동아	23.11.13	146	0
3137	[뉴스줌인] 요즘 인기라는 ‘2230’ 규격 SSD, 씨게이트도 신제품 출시	IT동아	23.11.11	185	0
3136	[리뷰] 현장 비즈니스 특화 초소형 노트북+태블릿, MS 서피스 고 4	IT동아	23.11.10	150	0
3135	'빅스비 시대 저물고, 가우스 온다'··· 삼성도 생성형 AI에 도전장 [1]	IT동아	23.11.10	555	1
3134	스타트업 생태계 '여전히 혹한기'···생태계 활성화 위한 정부 정책 필요	IT동아	23.11.10	295	1
3133	[이제는 전북 콘텐츠] 루트쓰리게임즈, “전북에서 시작해 해외로 진출하고 있습니다”	IT동아	23.11.10	117	0
3132	[스타트업-ing] 뉴로서킷 “탈모 관리 앱 바야바즈, 세계인 고민 나눈다”	IT동아	23.11.10	123	0
3131	[스케일업] 반프 [3] 이유건 책임 “반프 사내 문화 핵심은 업무 효율·유대감 강화”	IT동아	23.11.10	117	0
3130	스타트업 글로벌 개방성 강화 위한 3가지 정책 제안	IT동아	23.11.09	130	0
3129	[서울형 R&D] 머니스테이션 이정일 대표 “요즘 투자자들은 머니스테이션을 봅니다”	IT동아	23.11.09	147	0
3128	[IT애정남] 해외 유심 구매, 내 폰 호환 여부가 불확실하다면?	IT동아	23.11.09	663	1
3127	[IT강의실] 소니 a9 III가 가진 ‘글로벌 셔터’의 장점은? [2]	IT동아	23.11.09	832	4
3126	방대한 AI 데이터 처리를 위해 개발한 ‘바스트 데이터 플랫폼’	IT동아	23.11.08	483	0
3125	에이수스코리아 잭 황 지사장 “에이수스의 혁신 제품, 한국 반응 뜨거워” [10]	IT동아	23.11.08	1208	2
3124	[리뷰] 활용도, 상품성 개선에 초점 맞춘 삼성 '더 프리스타일 2' 프로젝터	IT동아	23.11.08	153	0
3123	센서·인공지능 업은 2024 스마트폰, 더 좋은 사진 찍는다 [1]	IT동아	23.11.08	824	0
3122	[스케일업] 호반건설·팀워크 “건설 현장에서 디지털 도면을 테스트할 수 있었습니다”	IT동아	23.11.07	179	0
3121	[리뷰] 손쉬운 조립과 다양한 기능이 매력, 카멜 핏쳐 오피스 체어 FOC1·FOC2 [3]	IT동아	23.11.07	192	1
3120	[IT신상공개] 미디어텍, 스냅드래곤과 겨룰 ‘디멘시티 9300’ 공개 [2]	IT동아	23.11.07	541	0
3119	[IT 신상공개] 샤오미 TV 국내 출시, 기존 ‘가성비’ TV와의 차별화 요소는?	IT동아	23.11.06	134	0
3118	[이제는 전북 콘텐츠] 전북 CKL을 통해 창업을 꿈꿀 수 있었습니다	IT동아	23.11.06	117	0
3117	내 은행계좌, 신용카드 정보를 한번에 알고 싶을 땐 이렇게![이럴땐 이렇게!]	IT동아	23.11.06	113	0
3116	[IT애정남] 터치 한번에 전화 잘못 거는 아이폰, 방법이 없을까요? [6]	IT동아	23.11.06	1183	4
3115	[스타트업人] 정밀 의료 선봉, 메디플렉서스 ‘의료데이터 분석·개발자 이야기’ [1]	IT동아	23.11.06	1405	0
3114	사우디 법무부 대표단이 韓 리걸테크 기업을 방문한 이유	IT동아	23.11.03	190	0
3113	블록체인 허브도시 조성을 위한 인천시의 적극적인 행보	IT동아	23.11.03	130	0
3112	시흥창업센터 김준희 센터장, “스타트업에 필요한 네트워크를 만들고 있습니다”	IT동아	23.11.03	132	0
3111	[이제는 전북 콘텐츠] 전북 콘텐츠 기업 및 청년 구인구직난 해소를 위한 ‘일자리 박람회’	IT동아	23.11.03	123	0
3110	[리뷰] 프리미엄 폴더블 노트북의 시작, LG 그램 폴드 [3]	IT동아	23.11.03	1228	3
3109	지향성 스피커, 발전소·공장 안전 지킨다 [2]	IT동아	23.11.03	903	0
3108	중고차 시장 경쟁 격화…업력 20년 이상 플랫폼 기업의 대응책은?	IT동아	23.11.02	118	0
3107	가상자산 주요 쟁점 뒷전, 아쉬운 국정감사 [2]	IT동아	23.11.02	1378	2
3106	고급 소재의 대명사 '티타늄', 프리미엄 IT 기기의 표준 될까? [4]	IT동아	23.11.02	396	1

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델

대형 언어 모델의 현재 진행 상황은?

인공지능 산업의 중심 된 대형 언어 모델

▶ 퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략▶ 메타, MR 헤드셋 '퀘스트3' 공개…AI 챗봇도 첫선▶ AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ 퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략 ▶ 메타, MR 헤드셋 '퀘스트3' 공개…AI 챗봇도 첫선 ▶ AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입