해외 영상을 위한 실시간 자막&번역 프로그램 (어려움)

자유게시판 - 하드웨어/게임 관련 질문은 질문/토론 게시판을 이용해 주세요 :D

공지 퀘이사존 포인트 파밍 가이드(26.05.11)

퀘이사존

753

05-11
공지 퀘이사존, 게시판 즐겨찾기 기능 업데이트 안내(안드로이드, iOS)

QM지름

13.9k

04-30
공지 퀘이사존 규정(25.08.04)

퀘이사존

47.3k

11-01

26 해외 영상을 위한 실시간 자막&번역 프로그램 (어려움) 레노김 18 18810 2023.06.03 21:08

일단 영상부터 보여드리겠습니다.<iframe allowfullscreen="" frameborder="0" src="//www.youtube.com/embed/MagvcgKtxQg" width="640" height="360" class="note-video-clip"></iframe> 이렇게 실시간으로 음성 인식(faster-whisper)하여 이를 구글 번역(translatepy 라이브러리)해서 
팝업창에 반투명한 창에 띄워주는 프로그램입니다.
speech to text ai인 whisper를 보면서 이런 게 곧 나오겠다고 생각했는데 아직까지도 없어서 직접 만들어봤습니다.
 일반인에게 어려운 과정이 될 수 있지만 퀘존 분들은 기본적으로 이런 작업들에 익숙하다고 생각해서 한번 설명해봅니다.사실 이 가이드를 작성하는 이유도 이걸 당장 사용해야 한다는 게 아니라 이걸 보고 다른 개발자가 
fork해 가서 사용자가 이용하기 편하게 만들어 주지 않을까 하는 기대감이 있습니다. 또한 NVIDIA 그래픽 카드만 추천합니다. CPU로도 small 모델을 사용할 수 있지만 제일 좋은 large 모델과 성능 차이가 큽니다.
Faster-Whisper 사용해서 가장 좋은 large모델에서도 VRAM을 float16 기준 4.8GB int8 기준 3GB밖에 먹지 않아서
2016년에 출시한 명기 GTX1060 6GB에서도 최고 성능 모델을 쓸 수 있습니다.<img src="https://img2.quasarzone.com/editor/2023/06/03/92465a6d442764ccef8416a56b343a87.jpeg" alt="퀘이사존"> 그럼 한번 시작해봅시다. 1. 스테레오믹스 또는 voicemeeter
프로그램이 PC소리를 인식해야 하기 때문에 스믹 설정이나 voicemeeter을 이용해 줘야 합니다.
둘 중 가능한 쪽으로 세팅하시면 됩닏다.
스믹:<iframe allowfullscreen="" frameborder="0" src="//www.youtube.com/embed/S4a4xYPw8Ks" width="640" height="360" class="note-video-clip"></iframe> 
 voicemeeter: 
<a href="https://vb-audio.com/Voicemeeter/index.htm" target="_blank">https://vb-audio.com/Voicemeeter/index.htm</a><a href="https://vb-audio.com/Voicemeeter/index.htm" target="_blank"></a> 2. 파이썬3, pip 설치가장 쉬운 python3, pip 설치. 나보다 설명 잘하는 유튜브와 글들이 많으니 참고해서 설치하시면 됩니다.<iframe allowfullscreen="" frameborder="0" src="//www.youtube.com/embed/xqPdhKWtiME" width="640" height="360" class="note-video-clip"></iframe> 
참고로 python3.10.11로 개발했기 때문에 이걸 추천합니다. 3. github에서 내려받기<a href="https://github.com/mldljyh/real_time_translation" target="_blank">https://github.com/mldljyh/real_time_translation</a><a href="https://github.com/mldljyh/real_time_translation" target="_blank"></a> 
직접 다운 받든지 아니면 git clone를 통해서 소스 코드를 다운 받습니다.<img src="https://img2.quasarzone.com/editor/2023/06/03/742eec6410030f139053431fce4e2b8a.png" alt="퀘이사존"> 4. requirements 설치
다운받은 폴더에서 파일 주소창에 powershell를 입력해서 powershell를 킵니다.<img src="https://img2.quasarzone.com/editor/2023/06/03/9d76dd314854b6b01fc8c5fe5e30910d.png" alt="퀘이사존"> powershell에 
pip install -r requirements.txt 
를 입력해서 프로그램에 필요한 requirements를 다운 받습니다. 5. CUDA, cudnn 설치 (CPU 이용시 패스)가장 어려운 CUDA, cudnn 설치입니다. 이것만 견뎌내시면 나머지는 편합니다.<a href="https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-windows" target="_blank">https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-windows</a><a href="https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#install-windows" target="_blank"></a> 가이드를 천천히 읽어가시면서 설치하시면 됩니다. 6. 실행

 다시 설치된 폴더에서 powershell를 킵니다. 
python .\translation_demo.py --model large --device cuda --translation_lang Korean 
이 명령어를 입력해 주는데 만약 영상을 보다가 VRAM이 부족하다면 --compute_type int8 를 추가해 주고
CPU 사용 시에는 model를 tiny, small, medium중에서 설정해주면 됩니다.
만약 large 모델이 아닌 모델을 사용 중인데 영어가 아니라면 꼭 --non_english 옵션을 추가해줍니다.
명령어를 실행 자동으로 nlkt 모델과 faster-whisper 모델을 다운받게 됩니다. 
이때 모델 불러오기까지 완료되면 다음과 같은 창과 함께 Model loaded. 가 뜨게 됩니다.<img src="https://img2.quasarzone.com/editor/2023/06/03/4006b059555b6ea48a69a26acf50daeb.png" alt="퀘이사존"> 
<img src="https://img2.quasarzone.com/editor/2023/06/03/26bbf7e61cdcec9e7964a5a631d877e6.png" alt="퀘이사존"> 이 창 뜨면 성공! 
참고로 첫 음성이 인식되기 전에 응답 없음이 뜨는 건 정상입니다.
원하는 위치에 옮기고 정상적으로 인식 및 번역이 되는지 확인 하면 끝!
원하는 위치로 옮길 때는 따라오지 않더라도 마우스로 클릭한 상태로 원하는 위치에 가만히 두면 따라옵니다.
참고로 종료하려면 다시 powershell로 돌아가 Ctrl + C를 누르면 종료됩니다.
이제 원하는 해외 영상 시청하시면 됩니다! Q&A
1. 구글 번역보다는 DeepL이 더 좋지 않나요?
translatepy 라이브러리를 이용했을 때 구글 번역 0.5초 이하 DeepL은 4초이상 걸려서 어쩔 수 없이 구글 번역을 쓸 수 밖에 없었습니다.
2. 중간에 멈추는 경우가 있어요.
버그가 어쩔 수 없이 많습니다. powershell에서 Ctrl + C를 눌러 해결되는지 보고 안되면 한번 더 눌러 종료하고 다시 실행하셔야 합니다.
3. 팝업에 표시되는 두 문장이 가끔 이상해졌다가 정상적으로 돌아옵니다.
이게 아직도 고민되는 부분인데요. nlkt가 문장을 구분하면서 가끔식 제대로 구분하지 못하면 생기는 문제입니다.
일본어나 중국어에서 특히 심한데 다른 좋은 방법이 없어서 고민 중입니다.

레노김

행성: 토성

포인트: 810 exp

작성물 댓글

해외 영상을 위한 실시간 자막&번역 프로그램 (어려움) 06-03

모든회원 자기소개 펼치기

댓글: 18개

자유게시판 - 하드웨어/게임 관련 질문은 질문/토론 게시판을 이용해 주세요 :D

공지 퀘이사존 포인트 파밍 가이드(26.05.11)

퀘이사존

753

05-11
공지 퀘이사존, 게시판 즐겨찾기 기능 업데이트 안내(안드로이드, iOS)

QM지름

13.9k

04-30
공지 퀘이사존 규정(25.08.04)

퀘이사존

47.3k

11-01

전체 잡담 질문 정보 축하 고민/상담 인사

추천	분류	제목	닉네임	조회수	날짜
0	잡담	삼성에서 20% 상품권 환불해주는거	인생퇴사각	49	1시간 전
1	잡담	퀘존 보면 의문인 점 6	라파엘0520	106	1시간 전
0	잡담	쳇지피티에게 첫째딸 10년뒤 모습 만들어 달라고 햇어요ㅎ	식도락배짱이	68	2시간 전
0	잡담	피씨디렉트 AS 정말 좋네여	라플라스정리	38	2시간 전
0	잡담	젠슨황 & 아이온2 라이브 5090 친필싸인 경품 증정 3	아스트랄	148	3시간 전
1	잡담	삼성구매 20% 온누리 쿠폰. 1	godrepus	161	4시간 전
4	잡담	SSD 용량은 결국 큰 게 답인 것 같습니다 8	아티피셜	384	7시간 전
1	잡담	27인치 쓰다가 32인치 가면 체감 클까요? 5	디싸이드	129	7시간 전
0	잡담	블라인드 처리된 글입니다. 5	팡야팡야	164	8시간 전
4	잡담	퀘이사존 처음부터 몇년간 정보글 댓글 꼬라지 관찰해보니 7	밀봉	263	8시간 전
0	잡담	이제 취침..밤샘 잡업 힘드네요^^;;	팡야팡야	55	9시간 전
0	잡담	몇달간 네트워크 뻘짓 ㅋㅋ	행복한개발자	93	17시간 전
0	잡담	일요일이 다가오는군요	60지옥	67	17시간 전
1	잡담	(수령 인증) 글로리어스 GHS 이터널 헤드셋 리뷰 보고 마패 받자 수령...	Ivanisevic	95	18시간 전
0	잡담	또 비오는군요	인서트홈	85	18시간 전
0	정보	지금 쿠팡 시스템에 큰 문제가 있습니다.	간다아아앗	442	20시간 전
4	잡담	오늘 현충일 태극기 다신분~? 2	팡야팡야	258	20시간 전
0	잡담	9070XT 니트로 구매했습니다 1	아이티러버	137	20시간 전
0	잡담	s27 울트라는 변화가 있을까요? 4	퍼플허스키	148	20시간 전
4	잡담	엔화도 많이 올랐네요. 12	세이아나	529	23시간 전
0	잡담	황가놈 갑자기 이미지 떡상했군요 1	연쇄할인마	333	23시간 전
0	잡담	삼성이 20% 다시 돌려준다구요?! 5	곰산	407	06-06
0	잡담	현충일이지만, 보훈예산은 부족한 듯 1	러브유	170	06-06
9	질문	ㅈㅇㅋㅍㄴ가 택배비 쌀먹했네요 ㅋㅋ; 13	YOSUKE	1.6k	06-06
0	잡담	롤 증바람 프레임 드랍 7	user_1024524	110	06-06
0	잡담	주말인데 허세어 수냉 고장인줄 식겁 햇네요.	네모난물	77	06-06
0	잡담	이게 불수용?ㅋㅋㅋㅋ 1	행보관의품격	225	06-06
0	잡담	이놈의 메모리 대란..! 3	곰산	303	06-06
1	정보	CUPOST 개인정보 털렸답니다 5	올해는금손	237	06-06
1	잡담	킹오파는 역시 2D 도트 시절이 나은 것 같네요 9	60지옥	250	06-06

출석체크

질문하기

커뮤니티

커뮤니티

갤러리

나눔

나눔게시판

자유게시판 BEST(추천순)

최신 파트너 핫딜

1 / 5

8,500원

신고대상
신고사유	욕설 / 비방 광고 정치 기타

신고하기 취소

자유게시판 - 하드웨어/게임 관련 질문은 질문/토론 게시판을 이용해 주세요 :D

해외 영상을 위한 실시간 자막&번역 프로그램 (어려움)

자유게시판 - 하드웨어/게임 관련 질문은 질문/토론 게시판을 이용해 주세요 :D

[지마켓] 강아지 해충방지 얼굴망 모자 7

[기타] 🚨 SK번호이동 유심단독🔥 세이브요금제 월 3.... 5

[기타] 삼성전자 감사 페스티벌! 갤럭시 S25엣지 특가... 7

[지마켓] 지락페 ⏱️6/7 타임딜 오후1~6시⏱️LG ... 1

[11번가] 홈트너 대용량 서랍형 제습제 30개/40개 4

[지마켓] 미니 보온 보냉 런치백 보냉백 3

[네이버] 7.1 채널 WH6 무선게이밍헤드셋(38,00... 1

[지마켓] 몽크로스 알파인 피크 운동화 1

[옥션] 자유생활 아이스 쿨메시 조끼 1+1 7

[지마켓] 휴대폰 거치대 무배 1

[네이버] 가성비 6D 팔걸이 아크체어 메쉬의자(229,... 1

[지마켓] 르까프 플리스/티셔츠/팬츠 모음 4

[지마켓] 다모아 모아네 내장탕 600g 5개 1

[지마켓] 입냄새 치석 제거 플라고 알파자임 효소치약 8... 7

[기타] G512 X 75키 게이밍 키보드+팜레스트 SET 6

[네이버] 썸머세일~ 삼성전자 65인치 4K UHD 라이... 6

[기타] 🎁 갤럭시 사면 온누리상품권 지급! 삼성전자 감... 4

[기타] 삼성전자 감사 페스티벌! SK번이 A17 공짜+... 6

[쿠팡] HP 15형 사무용 노트북 15-fc0751A... 3

[지마켓] 하이클래식 남성 잠옷 상하의세트 1

ATi 라데온과 HD 4870을 거쳐 AMD까지, 강렬한... 24

라데온 RX 9070 GRE 벤치마크 38

외형부터 성능까지 안 예쁜 데가 없어요 338

3RSYS가 유통을 맡은 COLLEO 국내 정식 출시 제... 376

작업용이지만 게임에도 쓰고 싶어! 104

BLACKPINK IN RAZER AREA! 476

프레임 직결 데이지 체인 ARGB 팬인데 9,900원? 387

한 해의 절반을 마주한 6월 캘린더, 침묵 속에 다가오는... 136

씨게이트 HDD와 유그린 NAS로 초고용량 저장장치 만들... 291

슈플 파워 GE, XG, XP 뭘 골라야 할까? 290

그래서 카트라이더 클래식 출시는 언제..? 145

"굳이 이렇게까지 해야 합니까?" 마침내 완성된 독자적 ... 315