하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

"스트리트 파이터 3"에서14명의 LLM이 최고의 스트리트 파이터를 가리는 AI대결

asj118

2 2256 1 2024.04.08 16:48

해외기사이므로 오역이 있을 수 있습니다. 규모가 작은 LLM이 더 빠른 반응을 보이는 것 같습니다. 지난주 샌프란시스코에서 열린 미스트랄 AI 해커톤에서 고전 아케이드 게임인 스트리트 파이터 III를 기반으로 한 새로운 인공 지능(AI) 벤치마크가 고안되었습니다. 오픈 소스 LLM 콜로세움 벤치마크는 Stan Girard와 Quivr Brain이 개발했습니다. 이 게임은 에뮬레이터에서 실행되며, LLM이 독특하면서도 멋진 방식으로 대결을 펼칠 수 있습니다. <iframe allowfullscreen="" frameborder="0" src="//www.youtube.com/embed/CGV0MlnOd30" width="640" height="360" class="note-video-clip"></iframe> AI 애호가인 Matthew Berman이 위에 임베드된 동영상에서 새로운 비트엠업 기반 LLM( 대규모 언어 모델 ) 토너먼트에 대해 소개합니다. Berman의 동영상은 길거리 격투 액션을 보여줄 뿐만 아니라 이 오픈 소스 프로젝트를 가정용 PC 또는 Mac에 설치하는 방법을 안내하므로 직접 테스트해 볼 수 있습니다. <img src="https://img2.quasarzone.com/editor/2024/04/08/6b13ccc8c3900bacb043125192c0a8fc.jpg" alt="퀘이사존"> 이것은 일반적인 LLM 벤치마크가 아닙니다. 일반적으로 작은 모델이 지연 시간과 속도에서 유리하며, 이는 이 게임에서 더 많은 시합에서 승리할 수 있다는 의미로 해석됩니다. 인간 비트-엠-업 플레이어는 상대방의 카운터 동작에 빠르게 반응하는 것이 유리하며, 이는 이 인공지능 대 인공지능 액션에서도 마찬가지입니다. LLM은 전투 방식에 대해 실시간으로 결정을 내리고 있습니다. 텍스트 기반 모델인 이들은 먼저 게임 상태를 분석하여 상황을 파악한 다음 이동 옵션을 고려한 후 게임 액션에 어떻게 반응할지 묻는 메시지를 받습니다. 이동 옵션에는 가까이 이동, 멀리 이동, 파이어볼, 메가펀치, 허리케인, 메가파이어볼 등이 있습니다. <img src="https://img2.quasarzone.com/editor/2024/04/08/91340872b6dfa52198ca3e8291fe3901.jpg" alt="퀘이사존"> 영상에서 보면 전투가 유동적으로 보이고 플레이어가 카운터, 블로킹, 필살기 사용 등 전략적으로 움직이는 것을 볼 수 있습니다. 하지만 현재 이 프로젝트에서는 켄 캐릭터만 사용할 수 있어 밸런스는 완벽하지만 보는 재미는 떨어질 수 있습니다. 그렇다면 최고의 스트리트 파이터 III AI는 무엇일까요? 지라드가 수행한 테스트에 따르면, OpenAI의 GPT 3.5 Turbo가 8개의 LLM을 상대로 대결한 결과 적절한 승자(ELO 1776)로 선정되었습니다. Amazon의 임원인 Banjo Obayomi가 진행한 별도의 테스트에서는 14개의 LLM이 314개의 개별 매치에서 스파링을 벌인 결과, Anthropic의 claude_3_haiku가 최종적으로 승리했습니다(ELO 1613). 흥미롭게도 Banjo는 AI 환 각이나 AI 안전 레일과 같은 LLM 버그/기능이 특정 모델의 비트-엠-업 성능을 방해하는 경우가 있다는 사실도 관찰했습니다. 마지막으로, 이것이 LLM에 유용한 벤치마크인지 아니면 흥미로운 산만함일 뿐인지에 대한 의문이 생깁니다. 더 복잡한 게임은 더 많은 인사이트를 제공할 수 있지만 결과를 해석하기는 더 어려울 수 있습니다.

asj118

행성: 명왕성

포인트: 11,681 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 2개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(25.07.16)

퀘이사존

36.1k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
7	AMD, 최신 드라이버서 MFG 8배, RR 등 기능을 몰래 추가 13 그래픽카드 QM포시포시 1.2k 8시간 전
3	오픈AI "GPT-5.6 솔 울트라, 50년 수학 난제 1시간 만에 증명" 6 업계동향 빌보 618 9시간 전
27	RTX 5090 SE, 실제로는 RTX 5080 Ti 24GB일 가능성 42 그래픽카드 QM포시포시 4.3k 15시간 전
2	HKC, 세계 최초 31.4인치 및 27인치 RGB 미니 LED 모니터 상세 사양 공개 5 디스플레이 QM포시포시 716 15시간 전
12	IT 관리자들은 마이크로소프트와 윈도우 11의 "쓸모없는" 앱과 제품들에 극도로 질려 있습니다 11 소프트웨어 크로노 1.6k 16시간 전
8	윈도우 11과 윈도우 10을 섞어놓은 듯한 마이크로소프트의 기묘한 공식 디자인에 사용자들이 당황하고 있다 8 소프트웨어 크로노 4.7k 16시간 전
7	삼성전자, 용인 반도체 공장 가동 2년 앞당긴다…2029년 목표 11 업계동향 빌보 1.4k 20시간 전
8	CXMT IC 탑재 Colorful iGame Shadow II DDR5 메모리, 8600 MT/s 달성 14 CPU/MB/RAM QM오즈 1.6k 07-12
21	Thermaltake, 듀얼 시스템 지원 풀타워 케이스 'CAPO X' 출시 26 케이스 QM오즈 1.1k 07-12
19	루머로 떠도는 AMD RDNA 5 사양은 인상적인 성능 향상을 가리키지만 한 가지 세부 사항이 의구심을 불러일으킵니다 26 그래픽카드 QM깜냥 2.1k 07-12
26	SK하이닉스, 2027년 메모리 부족의 '최악의 해'가 될 것이라 언급하며 2030년까지 지속될 공급 부족 전망 31 CPU/MB/RAM QM깜냥 4.9k 07-12
4	AMD AM5 플랫폼과 800 시리즈 칩셋: 우리가 아는 모든 것 8 CPU/MB/RAM QM깜냥 1.1k 07-12
9	리버스 사기: Reddit 사용자가 Ryzen 7 7800X3D를 주문했으나 대신 9800X3D를 받음 12 CPU/MB/RAM QM깜냥 886 07-12
1	휴머노이드 로봇 30억대 시대 온다…투자액 7년 새 6배 확대 6 업계동향 빌보 536 07-11
20	삭제되었지만 완전히 삭제되지 않음: 엔비디아 RTX 50 시리즈 GPU "히든 핫스팟" 잠금 해제, 평균 온도 70-80℃, 부분적으로는 107℃ 초과 20 그래픽카드 QM깜냥 2.3k 07-11
12	넷플릭스, 스트리밍 넘어 생방송까지 노린다 26 업계동향 크로노 2k 07-11
7	영업 비밀 도용: Apple, OpenAI 고소 14 기타/주변기기 QM깜냥 1.1k 07-11
1	GameSir, 오리지널 Xbox 콘솔 테마의 새로운 컨트롤러 2종 출시 6 기타/주변기기 QM깜냥 1.2k 07-11
33	Keychron, 나무 장식과 8K 로우프로파일 기계식 키보드 K5 Ultra 출시 40 키보드/마우스 QM깜냥 2.5k 07-11
4	中, 로켓 1단추진체 회수 성공…美 독점 재사용로켓 시장 도전장 9 업계동향 빌보 1.1k 07-11
1	새로운 UHD 블루레이 플레이어 등장: Krovatar KBU-300 출시, 사양 및 상세정보 5 기타/주변기기 심심해❤️ 1.1k 07-11
36	이 윈도우 기능은 수년 동안 사용자들의 RAM을 과도하게 사용해 왔지만, 마이크로소프트는 아직도 이 문제를 해결하지 못했습니다 42 소프트웨어 크로노 19.2k 07-11
5	애플은 오픈AI를 상대로 영업 비밀 도용 혐의로 소송을 제기했다. 애플은 오픈AI가 신입 직원들에게 기밀 정보를 유출하는 방법을 교육했다고 주장했다 6 업계동향 크로노 661 07-11
19	리안리, UNI FAN FLEX 시리즈 쿨링팬 공개 34 쿨링솔루션 QM오즈 1.8k 07-11
4	인텔 ARC 그래픽 드라이버 32.0.101.8861 다운로드 7 그래픽카드 QM오즈 494 07-11
12	ASUS Republic of Gamers, Gjallar 게이밍 사운드바 발표 16 음향기기 QM오즈 1.1k 07-11
16	中, 반도체 필수 소재 헬륨 수출금지…오늘부터 시행 25 업계동향 빌보 3.4k 07-10
12	외신: RTX 5090 SE 루머, 가짜이거나 믿기 어렵다 13 그래픽카드 QM포시포시 2.1k 07-10
9	구형 시스템 문제: 마이크로소프트, 보안 부팅 인증서 배포 부분 중단 9 소프트웨어 QM바나 1.8k 07-10
7	DDR6에 근접하는 대역폭: MRDIMM 17600 MT/s 성능까지 10 CPU/MB/RAM QM바나 2.5k 07-10