메타, 라마 3 LLM도 오픈소스로 공개··· '시장 장악력 더 높아질 듯'

IT동아

2024.04.24 15:50:19

조회 244 추천 0 댓글 0

[IT동아 남시현 기자] 메타(前 페이스북)의 오픈소스 대형언어모델(LLM)인 라마(Llama)의 3세대 버전이 지난 18일(현지 시간) 출시됐다. 메타 라마는 2023년 2월에 처음으로 70억, 130억, 330억, 650억 개의 매개변수로 학습된 1세대 버전이 출시됐고, 23년 7월에 70억, 130억, 700억 개 매개변수로 구성된 라마 2세대 버전이 출시됐다. 3세대 버전은 라마 2와 마찬가지로 오픈소스로 제공되며, 상업적 이용도 가능하다.

메타 라마가 주목받는 이유는 누구나 무료로 이용할 수 있는 모델이라서다. 경쟁 기업인 구글의 제미나이(Gemini)도 무료 버전이 있지만, 고성능 버전은 월 19.99달러의 제미나이 어드벤스드를 써야 한다. 앤스로픽의 클로드 3 역시 소네트 모델만 무료고, 오퍼스 모델은 월 20달러 기본료에 토큰 입력 및 출력당 비용을 받는다. GPT 역시 GPT-4 등의 유료 서비스가 이미 절찬리에 쓰인다.

메타가 지난 4월 18일(현지 시간), 메타 라마 3 대형언어모델 8B, 70B 모델을 공개했다 / 출처=메타

메타 역시 1세대 라마는 학계를 대상으로만 오픈소스로 공개했으나, 생태계 확보를 주요 전략으로 변경하면서 두 번째 버전부터 상업적 사용까지 허가됐다. 누구나 제약 없이 활용할 수 있으니 라마를 기반으로 알파카, 비쿠냐, 차이니즈 라마 같은 다양한 파생모델이 탄생했고, 마이크로소프트 애저 및 AWS, 허깅페이스 등의 플랫폼을 통해 전방위적으로 확산했다.

라마 3 8B, 70B 우선 출격, 추후 400B도 공개 예정

이번에 공개된 3세대 모델은 성능이 더 뛰어나다. 라마 3는 8B 및 70B 매개변수 두 모델이 먼저 출시된다. 라마 3는 라마 2의 2조 개 토큰보다 훨씬 많은 15조 개 토큰으로 학습됐고, 7배 더 크고 4배 더 많은 코드를 포함한다. 또한 학습 데이터의 5%가 30개 이상의 비영어 데이터로 구성되고, 대형언어모델의 성능과 관계된 콘텍스트 길이(Context length)도 두 배로 늘어났다. 콘텍스트 길이는 LLM이 한 번에 처리할 수 있는 토큰 수를 의미한다.

라마 3 8B 및 70B 모델과 타사 경쟁 모델과의 성능 비교 / 출처=메타

메타가 공개한 라마 3 성능 분석 자료를 살펴보자. 메타는 라마 3의 모델 성능을 표준화하기 위해 조언 요청, 브레인스토밍, 분류, 폐쇄형 질문 답변, 코딩, 창의적 글쓰기, 추출, 특정 캐릭터 역할극, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용 사례에 대한 1800개의 프롬프트를 생성했고, 이를 처리한 속도를 바탕으로 성능을 비교했다.

그 결과 라마 3 8B는 파이썬 코드 생성과 관련된 HumanEval 테스트에서 젬마 7B 및 미스트랄 7B와 비교해 두 배에 가까운 처리 성능을 보여주었고, 57개의 주제를 통해 보유 지식을 비교하는 MMLU 테스트에서는 68.4점을 획득했다. 동일 테스트에서 젬마 7B는 53.3, 미스트랄 7B는 58.4점을 획득했다.

라마 3 70B 모델은 구글 제미나이 프로 1.5 및 클로드 3에 비해 거의 모든 영역에서 비슷하거나 조금 더 나은 면을 보여주었고, MMLU에서 82점을 획득해 GPT-4의 MMLU 값인 86.4에 근접했다. 다만 수학 성능(MATH)과 대학원 수준의 추론(GPQA)에서는 타 모델보다 조금 성능이 낮았다. 하지만 라마 3는 무료 모델이므로 시장 경쟁력은 절대적으로 우위에 있다.

70B 모델의 경우 타사 모델들과 비교해 긍정적인 응답을 이끌어냈다 / 출처=메타

또한 라마 3 70B 모델과 클로드 소네트, 미스트랄 미디엄, GPT-3.5, 라마2 네 개의 LLM을 놓고, 사람이 직접 선호하는 결과를 선택하게 한 결과도 제시했다. 클로드 3와 라마 3를 비교한 결과에서는 응답자의 52.9%는 라마를, 34.2%는 클로드의 답변을 선호했다. 12.9%는 무승부라고 응답했다. GPT-3.5와의 비교해서는 63.2%가 라마 3를 선택했고, 27.1%만이 GPT-3.5를 선택했다.

추후 공개될 메타 라마 3 400B+ 모델의 대략적인 성능 평가 / 출처=메타

메타는 8B 및 70B 모델에 이어 4000억 개 매개변수로 구성된 400B 모델도 출시할 예정이다. 4월 15일 자로 발표된 400B 모델 성능은 MMLU 벤치마크에서 구글 제미나이 프로의 90점, 클로드 3 오퍼스의 88.2점, GPT-4의 86.8점에 이어 네 번째로 높다. 메타는 라마 3 400B 모델을 개발하고 있고, 훈련이 완료되면 자세한 연구 논문과 함께 공개한다고 밝혔다. 또한 앞으로 몇 달에 걸쳐 다중 모드, 다국어 기능, 콘텍스트 창 확장 등 새로운 기능들을 추가해 나갈 예정이다.

라마 3는 마이크로소프트 애저, 구글 클라우드, AWS는 물론 IBM 왓슨X, 허깅페이스, 캐글, 데이터브릭스, 엔비디아 NIM, 스노플레이크 등의 플랫폼에서 활용할 수 있다. 라마 3-70B는 공개 직후 LLM 평가를 위한 크라우드소싱 개방형 플랫폼 LMSYS 챗봇 아레나 리더보드에서 GPT-4 터보, 클로드 3 오퍼스 등에 이어 5위로 순위가 매겨졌고, 4월 24일 현재 6위에 안착했다.

AI 수혜 확산에 기여 VS 생태계 독점 노린 무료화

메타는 오래전부터 수익성보다 생태계를 먼저 확보하는 전략을 취해왔다. 인스타그램과 페이스북도 초반에는 광고수익보다는 사용자 확보에 열을 올렸고, 왓츠앱을 인수한 이유도 개인용 메신저 생태계를 흡수하기 위해서였다. 지난 23일에는 메타 VR 기기에 탑재되는 ‘메타 호라이즌 OS’를 에이수스, 레노버, 마이크로소프트 등 타사 VR 하드웨어 기업들에게 개방하기로 했다.

이런 ‘퍼주기’가 가능한 이유는 메타의 핵심 수입원인 광고 사업 덕분이다. 메타의 지난해 4분기 실적은 전년 동기대비 25% 증가한 401억 달러(약 54조 9000억 원)였으며, 순이익도 전년 대비 46억 5000만 달러(약 6조 원) 증가한 140억 달러(약 19조 1800억 원)였다. 영업 이익률도 41%나 늘었다. 온라인 광고 시장이 호조세에 접어들며 메타의 수익률은 매 분기 상승하고, 여기서 벌어들인 돈을 생태계 확보에 투입된다.

메타 라마 3 70B 모델이 사용자 평가 차트에서 현재 6위를 기록하고 있다. 라마 3가 무료 모델인 점을 고려하면 대단한 성과다 / 출처=LMSYS

메타가 라마를 오픈소스로 공개한 건 긍정적으로만 볼 수 없다. 앤스로픽, 오픈AI, 구글 등의 경쟁자들도 유료화 없이는 모델 개발 및 운영을 하기 어려울 정도로 많은 비용이 필요하다. 즉 메타가 타사 유료 모델에 맞먹는 LLM을 무료로 제공하는 것 자체가 시장 생태계 확보라는 분명한 이유가 있어서다. 장기적으로 라마의 시장 영향력이 지배적인 수준에 이르면 언제든지 유료화가 될 수 있다. 또한 라마보다 성능이 부족하거나, 자금력이 부족한 기업은 사업을 포기해야 할 처지에 놓인다.

결과적으로 무료 모델의 성능이 높아지는 건 환영할 일이지만, 반대로 AI 생태계 자체가 편협하고 다양성을 잃을 수 있다. 시장에서도 이미 메타의 전략은 잘 알려져 있지만, 무료 모델이라는 유혹은 너무나 매력적이다. 앞으로 메타가 바라는 대로 시장이 흘러갈지, 아니면 또 다른 전개가 이어질지는 지켜봐야 할 일이다.

글 / IT동아 남시현 (sh@itdong.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ 넥스트페이먼츠 “한국의 홍익인간 정신, 오픈AI 설립 이념과 판박이”▶ AI 품은 LG전자 에어컨, 판매량 청신호 ▶ [생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’

고정닉 0

원본 첨부파일 5본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
3846	[자동차 디자人] 英 오프로더 SUV ‘그레나디어’ 디자이너 ‘토비 이큐어’	IT동아	05.24	36	0
3845	가상자산 시장 ‘거래량·수익 상승, 원화·코인 마켓 격차 뚜렷’	IT동아	05.24	37	0
3844	[농업이 IT(잇)다] 전통주로 과거ㆍ현재ㆍ미래를 잇는 나루 되겠다, 한강주조 고성용 대표	IT동아	05.24	41	1
3843	[IT하는법] 잘 사용하지 않는 MS 원드라이브, 사용 해제하는 방법 [4]	IT동아	05.24	817	1
3842	‘천비디아’ 달성한 엔비디아, 독주할까? 반도체주와 함께할까?	IT동아	05.24	37	0
3841	SEC, 이더리움 현물 ETF 승인 “증권거래법 요건 충족”	IT동아	05.24	59	0
3840	벤처 투자 80%가 수도권 편중··· '투자 해결사'로 나선 부산창경	IT동아	05.24	58	0
3839	국내 통신3사 모두 "이제 우리는 AI 기업" [16]	IT동아	05.23	1973	1
3838	[IT애정남] 갤럭시 '생성형 편집', 어떻게 해야 잘 될까요?	IT동아	05.23	111	0
3837	즉석 카메라로 이런 ‘손맛’이? ‘인스탁스 미니 99’ 출시	IT동아	05.23	70	0
3836	스타트업 해외 진출 시 알아야 할 정보 공유 ‘라이징 스타트업 콘서트4’	IT동아	05.23	108	0
3835	[IT애정남] 해외 구매폰에 국내 유심 쓰는데 음성 통화 안되면? [1]	IT동아	05.23	874	2
3834	퀄컴, 코파일럿+ PC 등장에 'AI 허브 및 개발 도구'로 지원 사격	IT동아	05.23	113	0
3833	네카오, 글로벌 공략 갈 길 바쁜데…일단 멈춤	IT동아	05.23	71	0
3832	2025년 상반기 탄생할 주식 대체거래소(ATS), 이렇게 달라진다	IT동아	05.23	89	0
3831	AMD, 에픽·MI300X 투트랙으로 AI 산업 주도권 확보 나서	IT동아	05.22	90	0
3830	'직장인 3명 중 1명, 데이터 도출 어려워'··· AI 기반 자동화가 해답될까?	IT동아	05.22	110	0
3829	산행 보조부터 산불 진화까지...'입는 로봇' 활용처 확대 [1]	IT동아	05.22	4916	1
3828	대거 출시 예고한 Arm CPU 기반 윈도우 PC, 뭐가 다를까?	IT동아	05.22	170	0
3827	비트코인 피자데이, 업비트·빗썸 “피자 2024판 쏜다” [17]	IT동아	05.22	7033	4
3826	[생성 AI 길라잡이] 음성과 이미지만 있으면 영상을 만든다 ‘런웨이ML’	IT동아	05.21	1769	0
3825	가속 페달 밟은 검색광고 시장 경쟁, 보라웨어 ‘AI 검색광고 관리 솔루션에 주목해야 되는 이유	IT동아	05.21	98	0
3824	부르면 달려오는 '이동형 전기차 충전기' 시장 기지개 [14]	IT동아	05.21	1918	0
3823	MS, '코파일럿 플러스 PC' 발표…AI 시대의 새로운 PC 제시	IT동아	05.21	165	0
3822	업비트·빗썸, 1분기 실적 개선···투자자 보호·서비스 개선에 주력한다	IT동아	05.21	92	0
3821	GPT4o와 GPT4 비교해 보니··· '사람 대 AI의 근본적인 접근 방식 바꿔' [6]	IT동아	05.21	1313	3
3820	삼성전자, '비스포크 AI 콤보' 에센셜 화이트 색상 출시…색상 라인업 강화	IT동아	05.20	151	0
3819	채팅창 넘어 일상으로…'만능 AI 비서' 시대 온다	IT동아	05.20	527	0
3818	오늘부터 시끄러운 불법 튜닝 오토바이 집중 단속 [6]	IT동아	05.20	611	6
3817	AWS 서밋 행사장에서 펼쳐진 훈훈한 ‘프리킥’	IT동아	05.20	139	0
3816	[주간투자동향] 라피치, 60억 원 규모 투자 유치	IT동아	05.20	101	0
3815	키보드의 윈도 키, 최대한 활용하려면 이렇게![이럴땐 이렇게!] [5]	IT동아	05.20	1366	16
3814	인포플라 “대답만 하던 기존 AI의 한계, VLM 기반 자동화로 극복” [4]	IT동아	05.18	6949	3
3813	6월 인공지능ㆍ반도체 시장 엔비디아 손에 달렸다	IT동아	05.17	198	0
3812	[시승기] 시대를 초월한 디자인 DNA…’포르쉐 911 카레라 쿠페’	IT동아	05.17	191	0
3811	[IT신상공개] 입맛대로 고르는 저음, 소니 얼트 파워 사운드	IT동아	05.17	204	0
3810	"코바코의 대국민 AI 광고 제작 서비스, 네이버가 함께합니다"	IT동아	05.17	186	0
3809	[생성 AI 길라잡이] 더 사람 같아진 AI, 'GPT-4o'는 어떻게 다를까? [2]	IT동아	05.17	1277	1
3808	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 11	IT동아	05.16	205	0
3807	[뉴스줌인] PC 2대 연결해 하나처럼? 인텔 ‘썬더볼트 쉐어’ 기술 이모저모 [5]	IT동아	05.16	2184	0
3806	스틸시리즈 코리아 “편의성 강화한 ‘아크티스 노바5’로 가파른 성장세 이어갈 것”	IT동아	05.16	217	0
3805	[스타트업 첫걸음] 기고를 시작하며	IT동아	05.16	175	0
3804	[월간자동차] 24년 4월, 신차 등록 감소…기아 ’쏘렌토’ 4개월 연속 판매 1위 [1]	IT동아	05.16	900	0
3803	10년 차 맞은 AWS 서밋 서울··· '국내 최대 IT·클라우드 행사로 자리매김'	IT동아	05.16	237	0
3802	[자동차와 法] 딜레마존 구간에서 운전자 주의의무에 대하여	IT동아	05.14	234	0
3801	대기업부터 스타트업까지, K-우주산업 ‘성큼’	IT동아	05.14	252	0
3800	벤츠, 소비자가 외면한 전기차 디자인 손본다 [47]	IT동아	05.14	8134	2
3799	우주방사선 차폐로 초소형위성 수명 늘린다	IT동아	05.14	241	0
3798	국내 기업 열에 일곱은 "이제 AI 활용 못 하는 직원은 고용 안 해" [37]	IT동아	05.14	7445	9
3797	NHN두레이 기반의 협업 환경, KDI 국제정책대학원의 ‘저력’ 높인다	IT동아	05.14	203	0