AI로 악플잡는 네이버·카카오, 남은 과제는?

IT동아

2023.04.07 19:50:21

조회 4327 추천 5 댓글 55

[IT동아 정연호 기자] 카카오(다음)와 네이버가 인공지능(이하 AI) 기술을 활용해, 뉴스의 악성 댓글을 자동으로 찾아 제재하는 시스템을 만든다. 악성 댓글의 탐지와 제재 능력이 아직 완전하지는 않지만, 업계는 AI 기술이 고도화되면서 이 시스템의 성능이 꾸준하게 발전할 것으로 전망한다.

국내 대표 포털 사이트 운영사인 카카오와 네이버는 ‘악성 댓글 방지’를 위한 정책을 만들고 있다. 많은 사람이 포털 사이트 뉴스의 댓글 때문에 피해를 본다는 비판이 거세졌기 때문이다.

그 일환으로 카카오와 네이버는 포털 사이트의 악성 댓글을 발견하고, 보이지 않게 가리는 AI봇(각각 세이프봇, 클린봇)을 개발했다.

카카오의 세이프봇, 출처=카카오

카카오 ‘세이프봇’은 다음과 카카오탭의 뉴스 댓글을 분석한다. 욕설/음란/불법 내용의 댓글을 발견하면 가리고, 신고한다. 신고된 댓글이 운영정책을 위반했다면, 카카오가 이를 삭제한다.

욕설과 비속어를 포함한 댓글 수 추이, 출처=카카오

세이프봇은 실제로 악성 댓글을 잡는 데 효과가 있다. 카카오는 “세이프봇 적용 전인 2020년과 적용 후인 2021~2022년의 월평균 수치를 비교하면, 욕설이나 비속어를 포함한 댓글이 3분의 1로 줄었다. 이용자가 신고한 악성 댓글도 12분의 1로 감소했다”고 밝혔다.

세이프봇의 정확도를 높이기 위해서, 카카오는 혐오 표현의 정의, 원칙, 판단 기준을 담은 ‘코딩북’을 만들고 있다. 전문성을 갖춘 외부 연구진이 이 과정에 참여한다. 코딩북을 학습한 세이프봇은 여러 서비스에 순차적으로 적용될 예정이다.

네이버의 클린봇, 출처=네이버

네이버 클린봇도 웹툰, 뉴스의 악성 댓글을 찾고, 가린다. 특징은 댓글의 맥락을 읽는다는 것이다. 비속어를 포함하지 않는 악성 댓글(혐오 표현, 성적 표현)은 클린봇이 맥락을 읽어서 잡아낸다.

네이버 클린봇이 잡은 문장(1, 3), 잡지 않은 문장 (2, 4), 출처=네이버

네이버가 공개한 클린봇의 원리 자료를 살펴보면, 클린봇은 ‘(1)너 같은 쓰레기 같은 놈은 쓰레기통에나 들어갔으면 좋겠다’와 ‘(2)사람들이 쓰레기를 쓰레기통에다가 좀 버렸으면 좋겠다’의 차이를 이해한다. (1) 문장이 사람을 쓰레기에 빗대어 모욕한다는 점, (2) 문장이 쓰레기의 사전적인 의미를 사용한다는 점을 안다는 뜻이다.

클린봇을 도입한 이후로 악플 생성 비율과 악플 노출비율 추이, 출처=네이버

클린봇도 역시 네이버의 악성 댓글 감소에 기여했다. 지난 3월, 네이버는 “AI 클린봇을 도입한 뒤 악성 댓글 생성 비율이 2020년 26.5%에서 2023년 초 16.7%로 줄었다. 다른 이용자가 악성 댓글을 보는 비율은 2019년 21.9%에서 2023년 초 8.9%까지 떨어졌다”고 밝혔다.

다만, AI 업계는 악성 댓글을 제재하는 AI봇의 완성도가 아직 낮다고 말한다. AI봇은 비속어를 포함한 악성 댓글을 잘 찾아낸다. 하지만, 문맥을 이해하지 못해서 혐오표현을 제재하지 못하는 경우가 많다.

AI봇이 비속어를 포함하지 않는 혐오 표현을 실제로 잘 제재하는지 확인하기 위해서, 네이버 뉴스 페이지에서 혐오 표현의 주요 공격대상이 되는 ‘여성’과 관련된 기사를 확인해봤다.

클린봇은 “권리는 주고 의무는 나몰랑”, “국민 절반인 여자는 머리가 모자라고 신체가 나약한 팔X이들이라 이런 조치가 필요하다는 거냐”같은 혐오 표현을 제재하지 않았다. 반면, “사회에 도움이 1도 안 되는 기생충 새X들 왜 살까 도대체”, “적극적으로 대X리 깨고 싶네”같은 비속어가 포함된 댓글을 제재했다.

네이버 관계자는 “혐오나 비하, 차별적인 표현에 대한 기준은 개인마다 다르다. 네이버가 이 기준을 임의로 정하는 것은 어렵다”면서 “특정 단어는 문맥에 따라 차별 표현이 될 수 있는데, 이러한 단어나 문장을 모두 잡아내는 것은 쉽지 않다. 이를 해결하기 위해서, 네이버는 한국인터넷자율정책기구(KISO)에서 발표한 혐오 표현 가이드라인을 따르고 있다”고 말했다.

다음 뉴스 페이지에서 확인한 여성과 관련된 기사의 댓글도 마찬가지였다. 세이프봇은 “여자는 일을 진짜 못한다. 젊은 여자는 더 심각하다. 업무 배우는 건 관심 없다”, “여성임원이 많아야 하나요?”와 같은 혐오 댓글을 제재하지 않았다. 반면, “넘어가는 X이 문제지”, “손가락을 잘X버려라”처럼 노골적인 욕설이 있는 댓글들을 제재했다.

전문가들은 AI봇이 여러 종류의 악성 댓글을 잡아내려면 다양한 데이터를 학습해야 한다고 강조한다. 현재 AI봇은 특정 욕설이나 멸칭을 주로 학습한다. 그래서, 이러한 표현이 담긴 문장만 제재하는 것이다. 인터넷에 만연한 여러 혐오 표현을 학습하면, AI봇은 다양한 악성 댓글을 잡아낼 수 있다.

카카오와 네이버는 AI봇의 성능을 고도화하기 위해서 다양한 노력을 할 것이라고 입장을 전했다. 카카오 관계자는 “사람들이 안전하게 서비스를 이용할 수 있도록, 이용자의 다양한 의견을 듣고 검토해 세이프봇 기술을 고도화할 계획이다”라고 말했다. 네이버 관계자는 “AI봇의 성능을 개선하기 위해서 혐오와 차별 표현 데이터를 많이 확보하고, AI 모델을 발전시킬 것이다”라고 했다.

글 / IT동아 정연호 (hoho@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ 구글·네이버 위협하는 딥엘(DeepL) 번역기, 한국어 버전 품질은?▶ 해외여행에서 외국어 소통, 번역앱으로 이렇게![이럴땐 이렇게!]▶ 인공지능, 검색광고 대행에 콘텐츠도 만들어주는 시대 온다

고정닉 1

원본 첨부파일 5본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는?	운영자	24/06/10	-	-
2652	[IT신상공개] 비행 편의와 내후성 좋아진 산업용 드론 DJI M350 RTK [1]	IT동아	23.05.22	1027	1
2651	[주간투자동향] 콜게이트, 100억 원 규모 투자 유치	IT동아	23.05.22	218	0
2650	가상자산 첫 거래 기념하는 ‘비트코인 피자데이’ [14]	IT동아	23.05.22	2773	0
2649	아웃스쿨 “날 것 그대로의 영어 수업, ‘직구’하듯 골라 배운다” [6]	IT동아	23.05.19	5817	1
2648	킨스미디어, “물류센터 디지털화, 시설관리부터 시작해야” [스타트업-ing]	IT동아	23.05.19	169	0
2647	엔비디아 RTX 4060·4060 Ti 공개··· '2년 기다렸는데 실망스러워' [29]	IT동아	23.05.19	3214	3
2646	보안 업계 “챗GPT 탈 쓴 불량 앱 주의해야”	IT동아	23.05.19	1324	4
2645	[농업이 IT(잇)다] 에이트테크 “AI·로봇 기술로 폐기물 선별 효율 개선한다”	IT동아	23.05.19	141	0
2644	[IT강의실] 노이즈 캔슬링이 모든 소리를 차단하지 못하는 이유 [8]	IT동아	23.05.18	2764	12
2643	[리뷰] ‘스마트보드’로 진화한 전자칠판, 현대아이티 스마트보드 알파 3.0	IT동아	23.05.18	157	0
2642	日 스마트폰 출하량 감소…삼성 내려가고 구글 올라오고 [57]	IT동아	23.05.18	5190	18
2641	구글 ‘About this image’로 인공지능 사진 악용 줄인다 [2]	IT동아	23.05.17	1845	5
2640	[KOBA 2023] 미디어 산업을 위한 스토리지 솔루션 '방대한 데이터에 초점'	IT동아	23.05.17	136	0
2639	게이밍 능력에 얇은 두께까지, ‘HP 오멘 16 슬림’ 노트북 발표 [10]	IT동아	23.05.16	2301	2
2638	웹3.0 시대의 필수 조직, 'DAO'가 움직인다	IT동아	23.05.16	202	0
2637	황혼기 디카 시장, 전통 미디어 연이어 폐간 [1]	IT동아	23.05.16	255	0
2636	실검 부활하나? 네이버·카카오 “실검과 다르다” [27]	IT동아	23.05.16	3312	8
2635	[스타트업人] 산업용 메타버스를 향한 도전, 디지포레 개발팀 이야기	IT동아	23.05.16	116	0
2634	[뉴스줌인] 청축, 적축, 갈축 키보드는 들어봤는데 황축 키보드는 무엇?	IT동아	23.05.16	177	0
2633	스마트폰을 잃어버렸을 땐 이렇게[이럴땐 이렇게!] [2]	IT동아	23.05.15	2861	7
2632	[주간투자동향] 휴먼스케이프, 200억 원 규모 시리즈C 투자 유치	IT동아	23.05.15	126	0
2631	발뮤다 스마트폰 사업 철수 “본업에 집중” [16]	IT동아	23.05.15	2290	4
2630	에이수스 ‘ROG 앨라이’ 가격 공개, 진짜 ‘스팀덱 저격수’ 등장?	IT동아	23.05.12	200	0
2629	“초진 허용해야 생존 가능하다”… 불안에 떠는 비대면진료 업계 [4]	IT동아	23.05.12	317	0
2628	쇼핑몰 상품 이미지의 글자를 읽어준다, 인포플라의 U See NOW [스타트업리뷰]	IT동아	23.05.12	212	0
2627	바드 실패 만회하자 주가 4% 상승··· '구글 I/O 키노트' 톺아보니	IT동아	23.05.12	219	0
2626	투자 혹한기에도 액셀러레이터 투자 지속 증가···ICT·바이오에 주목	IT동아	23.05.12	136	0
2625	[농업이 IT(잇)다] 씨위드 “바다의 보물 해조류로 배양육 시대 연다” [29]	IT동아	23.05.12	1508	7
2624	GPU 넘어 NPU가 주목받는 이유 ··· '관건은 와트당 성능, 그리고 효율성' [11]	IT동아	23.05.12	2614	8
2623	‘인도>중국’이라는 새로운 상식, 아십니까?[K비즈니스 가이드] [30]	IT동아	23.05.11	2112	19
2622	벤처기업확인제도, 업종·업력 반영 ‘벤처기업 확인 문턱 낮춘다’	IT동아	23.05.11	130	0
2621	구글 I/O서 등장, 픽셀 폴드·픽셀 7a·픽셀 태블릿 성능은? [6]	IT동아	23.05.11	1435	0
2620	[IT신상공개] 고급 사진·동영상 기능에 소형 경량 ‘니콘 Z8’ [5]	IT동아	23.05.11	1200	2
2619	이병철 서울시 창업정책과장 “세계 스타트업 TOP 5 도시로”	IT동아	23.05.10	108	0
2618	3년 만에 새 단장 들어가는 네이버 PC 메인, '첫인상 깔끔하네?' [9]	IT동아	23.05.10	1709	4
2617	[동국대학교 캠퍼스타운] 내일의쓰임 “탄소중립 달성 지원해 저탄소 세상 만든다”	IT동아	23.05.10	84	0
2616	[리뷰] 2.5기가급 5포트 스위칭 허브, 넷기어 MS105 [3]	IT동아	23.05.09	156	0
2615	‘GPT 정보 유출’ 경고… 안전한 보안환경 필요해	IT동아	23.05.09	182	0
2614	에어컨 청소·관리해야 할 땐 이렇게[이럴땐 이렇게!] [2]	IT동아	23.05.08	1930	3
2613	[뉴스줌인] 워크데이와 손잡은 메타넷사스, ‘페이롤’이 뭐길래?	IT동아	23.05.08	86	0
2612	팩스 없이 팩스 보내야 할 땐 이렇게![이럴땐 이렇게!] [1]	IT동아	23.05.08	1338	2
2611	[주간투자동향] 알에프시스템즈, 40억 원 규모 투자 유치	IT동아	23.05.08	79	0
2610	기어라운지 글랩스튜디오 ‘스튜디오 시공 고객 위한 데모 스튜디오’	IT동아	23.05.04	672	1
2609	[농업이 IT(잇)다] 생활한방연구소 “손쉽게 먹고 효과 보는 K 한방 전파”	IT동아	23.05.04	118	0
2608	[뉴스줌인] 컴퓨터 파워서플라이의 '플래티넘', 'ATX 3.0'은 무슨 뜻일까? [2]	IT동아	23.05.04	1517	2
2607	달리셔스 남태호 CPO “달리셔스, 식단 큐레이션 넘어 식문화 개선에 도전한다” [스타트업-ing]	IT동아	23.05.03	99	0
2606	'스팀덱이 두드리자 AMD가 답했다'··· UMPC 전성시대 열릴까?	IT동아	23.05.02	185	0
2605	5월 정보통신업계, 스마트폰·디카 신제품 쏟아진다 [3]	IT동아	23.05.02	1221	2
2604	[주간투자동향] 스패너, 60억 원 규모 시리즈A 투자 유치 [1]	IT동아	23.05.02	151	0
2603	[동국대학교 캠퍼스타운] 오핑 “3D 콘텐츠 제작을 돕고 싶어요”	IT동아	23.04.28	169	1