디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

오토핫키) FPS공방용 짱깨어번역TTS 만들어봤음

ㅇㅇ(59.17) 2025.08.22 04:10:09
조회 86 추천 2 댓글 2
														

맨 아래에 영상있음

나문희불여일견

선영상 후읽기 ㄱㄱ


-------------------------------------------------------------------------




총겜하는데

아시아섭에서 공방돌리면

팀원으로 중국인 걸리는게 97%정도되서

한국인 디코가서 겜하기 귀찮을 때 쓰려고

이것저것 엮어서 만들어봄




7cea8573b28160f039e798a518d60403aa1420e3ba36cfd40263


설국열차 보고 아이디어 얻어서 따라해봄


설정을 중국어로 해서 그렇지

사실 영어도 되고 다른 언어도 됨




7cea8573b28b6af13ae998a518d604030cf2efd5e492ba4f17


윈도우11에 라이브캡션이라고 있음

현재 사운드 스트림의 소리를 인식해서 원하는 언어의 문자로 띄워주는 기능임

중국어(번체)로 띄워주도록 윈도우 언어팩 받고 설정함




만약에 게임에서

게임사운드랑 보이스채팅사운드를

서로 다른 사운드스트림으로 분리하는 옵션이 있으면

그걸 활용하면 인식률이 더욱 좋아짐


윈도우에서 그렇게 사운드를 분리하려면

보이스미터 같은 사운드 믹싱 프로그램 등으로 가능함



7cea8573b28b6af13bee98a518d604036725e9f6cb3c49032a


포토샵에서 이미지 다룰 때

레이어로 나뉘어있지만

사람이 눈으로 볼때는 한장의 사진처럼 보이잖슴



7cea8573b28b6af13bed98a518d604035b9945d467afadcf1a


그거랑 똑같이 사운드도

보이스미터같은 프로그램으로

여러 레이어(스트림)으로 나뉘지만

사람의 귀로 들을 때는 하나로 들리는 것처럼 할 수 있음




시판 노트북 중에 코파일럿+ 인증받은 PC들은

원래 라이브캡션에서 한국어로 자동번역까지 됨


근데 나는 그런 인증따위없는 조립컴이라서

아래 프로그램을 수소문해서 찾음



7cea8573b28b6af13beb98a518d60403896a60a008a4b8988949


https://github.com/SakiRinn/LiveCaptions-Translator

LiveCaption Translator라는 프로그램임


윈도우11의 라이브캡션 기능이 작동하면

그걸 토대로 알아서 설정한 목적언어로 번역해주는 오픈소스 프로그램임



7cea8573b28b6af13be998a518d6040394d9b18f75cd3b29

실시간 녹음기 프로그램같은거라고 보면됨

번역하고자하는 사운드가 재생되는 같은 사운드스트림으로 지정해주면됨


사진처럼

크롬과 LiveCaption Translator를 같은 사운드 스트림으로 맞춰주면

저 사운드스트림에서 나는 소리만 인식함

그러니까 크롬으로 유투브보는 소리만 인식




번역방식은 설정하기에 따라서 구글, 딥엘, LLM기반 AI 서비스 등 등 있는데

구글 제외하면 

일정 토큰 이상 사용하면 유료요금제 써야되서

한무꽁짜인 구글로 쓰는 중



그 중 Ollama라는 방식은

LLM AI 모델을 본인 PC에 다운로드하고 직접 PC 자원으로 AI 모델 돌리는건데

제일 구린 모델도 렘 8기가 정도 소모한다고 함

따라서 게임용으로는 부적합


무료이면서 PC 자원 소모 안하면서 Ollama 방식으로하려면

보이스미터 같은 사운드믹싱 프로그램 활용해서 투컴으로 돌려야할 듯


보이스미터로

같은 공유기 환경 내 내부 네트워크망에서

사운드를 네트워크를 통해서 PC 간 전송시키는거임

내부네트워크 간 전송이라서 거의 무지연이라고 보면됨


서브컴에서 메인컴의 사운드를 보이스미터 네트워크로 받아오고

서브컴에서 Ollama LLM AI돌리고

결과물 한국어TTS를 다시 메인컴으로 보이스미터 네트워크로 전송

하는 방안이 생각나는데 일단은 구글로 쓰기로했으니까 보류



그래서 번역퀄 좇구려도 일단 구글로 쓰고있는데

알아먹을 정도는 되는 듯함


유투브로 중국어 음성 영상 돌려서 테스트해보면

문장 길이가 길어질수록 문맥 파악이 잘되는지 번역퀄이 좋아지고


총겜 공방 중국인 팀원이 말하는

중국어 음성 보이스채팅은

보통 게임 브리핑하는거라서 짧막 짧막한 단어위주로 말하기 때문에

좀 번역이 난해한 감이 있음

그래도 대강 알아는 들음




오버레이 모드도 지원해서

원모니터에서 게임화면 위에 오버레이 띄우고 그거 기반으로 가능


오버레이 안먹히는 게임은

어쩔 수 없이 듀얼모니터에 저 프로그램 띄워놔야함

그런 게임은 듀얼모니터 필수




7cea8573b28b6af138e798a518d604039bd730eb1b0a44978ecb


7cea8573b28b6af139ed98a518d604031da9e7bf2c97298148


7cea8573b28b6af139ec98a518d60403b0fe1ca7b7c78790fd


LiveCaption Translator 프로그램의

번역된 한글 문장 프롬프트를

주기적으로 읽어서

윈도우11 한국어 TTS 혜미로 말하게해주는

오토핫키 스크립트임



LiveCaption Translator 프로그램에서

실시간으로 한글 문장이 번역되는데

중국어 음성이 끝나기 전까지는

계속 번역된 한글 문장이 업데이트되면서 바뀜


당신을 -> 당신을 봅니다 -> 당신을 뵙습니다 -> 당신을 오랜만에 뵙습니다

이런식으로 말끝나기 전까지는 실시간으로 바뀜


따라서 문장이 완성되었다를 판별하기 위해서

OCR한 텍스트가 1초 동안 변동이 없으면 TTS를 발동시킴



NirCmd라는 프로그램으로 모니터의 특정 부분을 캡쳐해서 이미지파일로 저장하고

Tesseract OCR이라는 프로그램으로 캡쳐한 이미지파일을 텍스트로 읽음


오토핫키에서 윈도우 파워쉘을 호출해서


문자열을 정제하고

이전 시행의 문자열과 비교해서 중복되는 부분 버리고


최종적으로 문장을 만들어서

윈도우11의 한국어 TTS 혜미로 읽도록 명령함



1문장 당 1파워쉘 호출이고

연속적으로 파워쉘 호출이 되서 쌓일 수 있음


현재 파워쉘의 TTS가 종료되기 전까지는

다른 파워쉘의 TTS는 대기 상태에 있음


파워쉘 호출될 때마다 프로세스ID를 오토핫키 내의 큐에 넣어서

현재 실행 중인 것과 예약된 파워쉘의 TTS들을 관리함



이 오토핫키 내의 큐를 활용해서

가끔 OCR 찐빠로 이상한 문장이 TTS로 출력될때가 있으면

사운드 공해를 방지하기위해서

단축키를 통해서 수동으로 TTS를 종료시킬 수 있음


나는 눌러서말하기키 2번 연속 따닥 눌르면 

파워쉘TTS 강제종료 시키기로 해둠





그냥 한번 영상으로 보는게 빠를듯


유투브 영상 안보이면


모바일웹말고

데스크탑버전웹으로 ㄱㄱ


지금은 코드 좀 최적화해서

영상보다 지연시간 2초정도 더 줄인상태임


ㅍㅌㅊ??

추천 비추천

2

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 존재만으로도 웃음주는 최고의 '웃수저' 스타는? 운영자 25/08/25 - -
이슈 느린 여행으로 삶의 속도를 찾는 유튜버 꾸준 운영자 25/08/26 - -
AD MD's pick 상반기 인기 노트북 운영자 25/08/26 - -
2883783 자바 씨샵 파이썬 다 내부적으로 c 돌리는거 맞음? [3] ㅇㅇ(110.10) 08.23 64 0
2883781 ghidra 간만에 만지는데 [2] ㅇ.ㅇ(59.151) 08.23 53 0
2883780 33살인데 이 스펙이면 관세사 도전 해볼까? [1] ㅇㅇ(118.235) 08.23 71 0
2883779 장원영 약간 부정적 인식이었는대 컨셉을 넘어서 태도가 된게 보이니 ♥냥덩Art♥갤로그로 이동합니다. 08.23 58 0
2883778 확실히 낮은 짧아지는게 보임 ♥냥덩Art♥갤로그로 이동합니다. 08.23 44 0
2883777 그대는 어떻게 살것인가 공기역학갤로그로 이동합니다. 08.23 46 0
2883776 날씨 거의씹 ♥냥덩Art♥갤로그로 이동합니다. 08.23 46 0
2883775 앎이란 마법을 현실의 원리로 끌어내리는 과정 ♥냥덩Art♥갤로그로 이동합니다. 08.23 34 0
2883773 전공만 뽑는다 ♥냥덩Art♥갤로그로 이동합니다. 08.23 48 0
2883772 다른 게임 안티치트 분석하는데 [4] 루도그담당(58.239) 08.23 66 0
2883771 오후우와 이야기의 핵심에 다가가는 해설 - 표지 변경! 프갤러(121.172) 08.23 29 0
2883770 UpWork쪽도 의뢰 들어왔는데 UpWork가 한국 사이트보다 안좋은듯 ㅆㅇㅆ(124.216) 08.23 51 0
2883769 오늘도 한 건 해결 [3] ㅆㅇㅆ(124.216) 08.23 64 0
2883768 1찍둥절~ ♥냥덩Art♥갤로그로 이동합니다. 08.23 30 0
2883767 인생 진로 조언좀 제발... [3] ㅇㅇ(118.235) 08.23 87 0
2883765 러스트는 어디서 뿅 하고 튀어나온게 아니라 그간의 교훈을 집대성한 언어 [4] 프갤러(221.146) 08.23 57 0
2883764 베네수엘라 앞바다 미군함 집결 뭐노? [1] 아스카영원히사랑해갤로그로 이동합니다. 08.23 72 0
2883762 나님 한 달 가계부 최초공개⭐+ ♥냥덩Art♥갤로그로 이동합니다. 08.23 41 0
2883759 러스트는 어려운게 문제가 아니라 패러다임이 나르시갤로그로 이동합니다. 08.23 41 0
2883758 안철수님은 러스트가 아닌 어셈블리를 했죠 나르시갤로그로 이동합니다. 08.23 49 0
2883756 너무 천박함- 프갤러(121.172) 08.23 64 1
2883754 동양은 서양을 못 이기는구낭 ♥냥덩Art♥갤로그로 이동합니다. 08.23 49 0
2883752 [애니뉴스] 「귀인환등초」 「오후우」와 이야기의 핵심에 다가가는 해설 프갤러(121.172) 08.23 32 0
2883748 33살인데 스펙이 너무 짬뽕임? [2] ㅇㅇ(58.229) 08.23 78 0
2883747 인지과학조져라 손발이시립디다갤로그로 이동합니다. 08.23 38 0
2883746 쬬은주말(՞•⌄•՞)✧ 스텔쬬아갤로그로 이동합니다. 08.23 38 0
2883743 아아.. 루프인강.. 언제 어디서 어떤 형식으로던.. ♥냥덩Art♥갤로그로 이동합니다. 08.23 30 0
2883742 배경지식이란게 참 중요하지요 ♥냥덩Art♥갤로그로 이동합니다. 08.23 55 0
2883741 [애니뉴스] 오후우를 좋아할 수밖에 없는 이유- 프갤러(121.172) 08.23 34 0
2883740 나님 균형감각 뛰어낭 ♥냥덩Art♥갤로그로 이동합니다. 08.23 41 0
2883739 퇴사 후 이직준비중인데 ㅇㅇ(118.235) 08.23 48 0
2883738 무역+영어 시너지있는 4차산업 기술 추천좀.. ㅇㅇ(58.229) 08.23 34 0
2883737 러스트 전혀 어렵지 않다. 전정프를 러스트로 바꾸면 국비도 할 수 있음 프갤러(110.8) 08.23 97 1
2883734 러스트 특 ) 자기가 정상인인줄암 인류 0.0001%속하면서 ㅋㅋㅋ 뒷통수한방(1.213) 08.23 54 1
2883733 좆벌레인생 학벌세탁할 대학원 + 자격증 추천좀 [7] ㅇㅇ(118.235) 08.23 96 0
2883732 러스트해서 대박부자되고 성공한사람 프갤러(1.213) 08.23 59 0
2883731 cpp 이용자가 cpp 욕하는데 발끈 안하는건 cpp에 진짜로 문제가 [1] 프갤러(110.8) 08.23 83 0
2883730 마이클잭슨-거울 속의 사람 발명도둑잡기갤로그로 이동합니다. 08.23 51 0
2883729 러스트는 18위 하위권 언어입니다 나르시갤로그로 이동합니다. 08.23 57 0
2883728 연봉 수억받는 과기부장관도 러스트 문법 모르는거같은데 프갤러(1.213) 08.23 50 0
2883727 나님 현대시각 노팬티 활보즁.. ♥냥덩Art♥갤로그로 이동합니다. 08.23 58 0
2883725 좇센은 ai 자체개발해도 연봉200충인데 러스트하라고??? [1] 프갤러(1.213) 08.23 57 0
2883724 러스트가 생산성 떨어지고 개발비가 쎄니 나르시갤로그로 이동합니다. 08.23 43 0
2883722 다국적세계기업들이나 러스트쓰는거지 좇센에서 러스트??? 프갤러(1.213) 08.23 49 0
2883721 러빨러의 최대 문제점: 러스트 비판하면 발끈함 나르시갤로그로 이동합니다. 08.23 55 0
2883720 앙❤+ ♥냥덩Art♥갤로그로 이동합니다. 08.23 32 0
2883719 어차피 러스트 못하는 지능으로는 에이다 써도 못합니다. 프갤러(110.8) 08.23 45 0
2883718 겟타 로보 발명도둑잡기갤로그로 이동합니다. 08.23 40 0
2883717 볼빨간사춘기-여행 발명도둑잡기갤로그로 이동합니다. 08.23 44 0
2883716 좀 쉴까 [2] 주아갤로그로 이동합니다. 08.23 47 0
뉴스 “촬영장 모습 달라” 폭로에 손예진 인성 논란…아역배우母 입 열었다 디시트렌드 08.26
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2