하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

"스트리트 파이터 3"에서14명의 LLM이 최고의 스트리트 파이터를 가리는 AI대결

asj118

2 2253 1 2024.04.08 16:48

해외기사이므로 오역이 있을 수 있습니다. 규모가 작은 LLM이 더 빠른 반응을 보이는 것 같습니다. 지난주 샌프란시스코에서 열린 미스트랄 AI 해커톤에서 고전 아케이드 게임인 스트리트 파이터 III를 기반으로 한 새로운 인공 지능(AI) 벤치마크가 고안되었습니다. 오픈 소스 LLM 콜로세움 벤치마크는 Stan Girard와 Quivr Brain이 개발했습니다. 이 게임은 에뮬레이터에서 실행되며, LLM이 독특하면서도 멋진 방식으로 대결을 펼칠 수 있습니다. <iframe allowfullscreen="" frameborder="0" src="//www.youtube.com/embed/CGV0MlnOd30" width="640" height="360" class="note-video-clip"></iframe> AI 애호가인 Matthew Berman이 위에 임베드된 동영상에서 새로운 비트엠업 기반 LLM( 대규모 언어 모델 ) 토너먼트에 대해 소개합니다. Berman의 동영상은 길거리 격투 액션을 보여줄 뿐만 아니라 이 오픈 소스 프로젝트를 가정용 PC 또는 Mac에 설치하는 방법을 안내하므로 직접 테스트해 볼 수 있습니다. <img src="https://img2.quasarzone.com/editor/2024/04/08/6b13ccc8c3900bacb043125192c0a8fc.jpg" alt="퀘이사존"> 이것은 일반적인 LLM 벤치마크가 아닙니다. 일반적으로 작은 모델이 지연 시간과 속도에서 유리하며, 이는 이 게임에서 더 많은 시합에서 승리할 수 있다는 의미로 해석됩니다. 인간 비트-엠-업 플레이어는 상대방의 카운터 동작에 빠르게 반응하는 것이 유리하며, 이는 이 인공지능 대 인공지능 액션에서도 마찬가지입니다. LLM은 전투 방식에 대해 실시간으로 결정을 내리고 있습니다. 텍스트 기반 모델인 이들은 먼저 게임 상태를 분석하여 상황을 파악한 다음 이동 옵션을 고려한 후 게임 액션에 어떻게 반응할지 묻는 메시지를 받습니다. 이동 옵션에는 가까이 이동, 멀리 이동, 파이어볼, 메가펀치, 허리케인, 메가파이어볼 등이 있습니다. <img src="https://img2.quasarzone.com/editor/2024/04/08/91340872b6dfa52198ca3e8291fe3901.jpg" alt="퀘이사존"> 영상에서 보면 전투가 유동적으로 보이고 플레이어가 카운터, 블로킹, 필살기 사용 등 전략적으로 움직이는 것을 볼 수 있습니다. 하지만 현재 이 프로젝트에서는 켄 캐릭터만 사용할 수 있어 밸런스는 완벽하지만 보는 재미는 떨어질 수 있습니다. 그렇다면 최고의 스트리트 파이터 III AI는 무엇일까요? 지라드가 수행한 테스트에 따르면, OpenAI의 GPT 3.5 Turbo가 8개의 LLM을 상대로 대결한 결과 적절한 승자(ELO 1776)로 선정되었습니다. Amazon의 임원인 Banjo Obayomi가 진행한 별도의 테스트에서는 14개의 LLM이 314개의 개별 매치에서 스파링을 벌인 결과, Anthropic의 claude_3_haiku가 최종적으로 승리했습니다(ELO 1613). 흥미롭게도 Banjo는 AI 환 각이나 AI 안전 레일과 같은 LLM 버그/기능이 특정 모델의 비트-엠-업 성능을 방해하는 경우가 있다는 사실도 관찰했습니다. 마지막으로, 이것이 LLM에 유용한 벤치마크인지 아니면 흥미로운 산만함일 뿐인지에 대한 의문이 생깁니다. 더 복잡한 게임은 더 많은 인사이트를 제공할 수 있지만 결과를 해석하기는 더 어려울 수 있습니다.

asj118

행성: 명왕성

포인트: 11,671 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 2개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(25.07.16)

퀘이사존

35.9k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
5	RTX 50 Super SKU가 Seasonic 와트 계산기에서 제거되었습니다 4 그래픽카드 류오동 758 6시간 전
5	삼성전자, AI PC용 칩 '가이아' 개발…내년 양산 목표 9 업계동향 빌보 571 6시간 전
7	개인정보위, 회원 130만명 정보 유출 락앤락에 과징금 5억원 11 업계동향 크로노 757 10시간 전
4	세계 4위 D램 中 CXMT, IPO 절차 돌입…6조5000억원 조달 7 업계동향 크로노 879 10시간 전
8	HWiNFO v8.50 업데이트 배포 9 소프트웨어 QM달려 760 11시간 전
5	서버 DRAM 계약 가격, 3분기에 13~18% 상승 예상 7 CPU/MB/RAM QM포시포시 776 11시간 전
4	AMD, 라이젠 100 신제품 4종 출시…실제는 '호크 포인트' 11 CPU/MB/RAM QM모브 1.6k 13시간 전
5	Omdia: 2026년 2분기 글로벌 PC 출하량 전년 대비 3.6% 감소, 애플은 역행하여 15.9% 급증 7 업계동향 QM깜냥 487 14시간 전
13	기업용 SSD 수요 급증, 공급 부족 심화...DDR4 계약 가격 급등설 19 CPU/MB/RAM QM포시포시 2.2k 17시간 전
27	삼성전자 제조라인 '4시간 무인 가동' 성공…24시간 완전자율공장 추진 51 업계동향 빌보 3.8k 18시간 전
1	LG, MRGB87 TV의 가짜 미니 RGB 백라이트에 대한 진실 6 디스플레이 심심해❤️ 1.3k 18시간 전
7	AMD 미니 PC, Steam Machine보다 뛰어난 SteamOS 성능 16 기타/주변기기 QM유성 1.7k 18시간 전
6	ViewSonic VX27G60Z-2K 공개… 240Hz QHD QD-OLED 탑재 9 디스플레이 QM두파 382 19시간 전
0	VESA, 차세대 OLED용 DisplayHDR True Black 1400 발표 4 디스플레이 QM유성 918 19시간 전
2	탠덤 WOLED 탑재, ASUS ROG Strix OLED XG27AQWMG-R 출시 5 디스플레이 QM두파 605 19시간 전
4	ASUS ROG Strix XG27JCEG 사양 공개, 5K 180Hz 게이밍 모니터 6 디스플레이 QM두파 506 19시간 전
26	델타, 파워 서플라이 최대 20% 가격 인상 전망 35 파워 QM포시포시 2k 19시간 전
4	인텔 노바 레이크-S 및 -H CPU, 12코어 Arc Xe3P 내장 그래픽 탑재 예정 4 CPU/MB/RAM 크로노 1.3k 19시간 전
6	“더 빠른 화면, 더 빠른 승리” LGD, 게이밍 OLED 모니터 성능 실험 논문 발표 10 디스플레이 심심해❤️ 1k 19시간 전
1	애플, EU 디지털 시장법의 게이트키퍼 지정 취소 소송에서 패소 4 업계동향 QM카재 432 19시간 전
4	중국, 자체 엔비디아 규제 철회 검토… H200 20만 개 공급 가능성 6 업계동향 QM달려 1.5k 21시간 전
2	JEDEC, SPHBM4 표준 발표… AI 메모리 비용 낮춘다 4 업계동향 QM달려 2.1k 21시간 전
13	AMD 10코어 "메두사 포인트" Zen 6 APU, 성능 향상과 함께 긱벤치에 다시 등장 9 CPU/MB/RAM 크로노 6.2k 21시간 전
3	중국은 클로드 코드에 백도어가 포함되어 있다고 주장하며, 해당 메커니즘을 '심각한 위협'이라고 규정했습니다. 중국 정부는 클로드 코드가 동의 없이 민감한 정보를 ... 7 소프트웨어 크로노 1.2k 22시간 전
8	미국 이어 중국도 “첨단 AI 모델 해외 접근제한 방안검토” 17 업계동향 빌보 1.7k 07-08
32	패트리어트, 인피니티 미러 기술 적용한 DDR5 메모리 출시 36 CPU/MB/RAM QM카재 3.5k 07-08
22	딥시크, 우연히 실제 동작하는 랜섬웨어 제작 35 기타/주변기기 QM건빵 8.9k 07-08
17	애플, 삼성, SK하이닉스, 마이크론과의 협상력 확보를 앞두고 CXMT DRAM 테스트 착수 50 CPU/MB/RAM 크로노 7.6k 07-08
24	중국서 1년 간 1TB SSD는 132%, 32GB DDR5는 4배 폭등 32 CPU/MB/RAM QM포시포시 4.4k 07-08
2	Mac mini, AI 에이전트 시대 핵심 하드웨어 부상 5 기타/주변기기 QM유성 3.3k 07-08