기업들이 사실상 무제한에 가까운 자원을 동원해 AI를 쫓는 사이, 그로 인해 세상이 불타고 있는 지금, 이 모든 소동이 과연 무엇을 가져왔는지 살펴볼 필요가 있습니다. 최근 Ars Technica는 가장 인기 있는 AI 코딩 에이전트 네 가지를 대상으로 간단해 보이지만 만만치 않은 과제를 제시해 테스트를 진행했습니다. 과제는 웹용 지뢰찾기 게임을 만드는 것이었으며, 사운드 효과, 모바일 터치스크린 지원, 그리고 ‘재미있는’ 게임플레이 요소가 반드시 포함되어야 했습니다.
잘 모르는 이들을 위해 설명하자면, 지뢰찾기는 논리에 기반한 게임으로, 게임플레이를 규정하는 규칙과 함께 적절한 수준의 UI와 UX 요소가 결합돼 도전적인 경험을 제공합니다. 지뢰찾기 클론을 만드는 일 자체는 어렵지 않지만, 그 이면의 메커니즘에는 적어도 어느 정도의 창의성이 필요하며, 이는 보통 인간에게서 나오는 요소입니다. 결국 목표는 범용 인공지능인 셈입니다.
이번 테스트에는 앤트로픽의 클로드 코드, 구글의 제미니 CLI, 미스트랄 바이브, 그리고 GPT-5 기반의 오픈AI 코덱스 유료 버전이 포함됐습니다. 모든 에이전트는 동일한 지시를 받았으며, 최초 실행에서 생성된 결과물만으로 점수가 매겨졌습니다. 인간의 개입이나 추가 기회는 허용되지 않았습니다.
OpenAI Codex 9점  
가장 뛰어난 성능을 보인 것은 단연 코덱스였습니다. 시각적 완성도도 준수했을 뿐 아니라, 깃발을 정확히 배치했을 경우 주변 타일을 한 번에 여는 ‘코딩(Chording)’ 기능을 실제로 구현한 유일한 AI였습니다. 코딩(Chording)은 숙련된 플레이어들 사이에서 선호되는 기능으로, 이것이 빠지면 지뢰찾기 클론의 완성도가 크게 떨어집니다.
코덱스가 만든 결과물은 사운드 토글을 포함해 모든 버튼이 정상적으로 작동했으며, 시대감을 살린 효과음과 함께 모바일과 데스크톱 모두를 위한 화면 안내도 제공했습니다. 게임플레이 변주로는 일정 조건을 충족했을 때 안전한 타일 하나를 가끔 열어주는 ‘럭키 스윕’ 버튼이 추가됐습니다.
코딩 경험 역시 전반적으로 매끄러웠으며, 명령줄 인터페이스에는 깔끔한 애니메이션과 로컬 권한 관리 기능이 포함돼 있었습니다. 다만 코드 작성 속도는 다소 느린 편이었습니다. Ars Technica는 이 결과물을 최소한의 인간 개입만으로도 출시가 가능할 수준에 가장 근접한 사례로 평가하며 9점을 부여했습니다.
Claude Code 7점  
2위는 앤트로픽의 클로드로, 코덱스보다 절반 정도의 시간 만에 코드를 완성했으며, 미적으로 가장 세련된 결과물을 내놓았습니다. 폭탄에 커스텀 그래픽을 적용하고, 상단에는 기기와 무관하게 표시되는 스마일 이모지를 배치하는 등 전체적인 완성도가 높았습니다. 사운드 효과 역시 듣기 좋았고, 토글은 모바일과 데스크톱 모두에서 정상적으로 작동했습니다.
하지만 코딩(Chording) 기능이 빠져 있다는 점에서 평가가 크게 깎였습니다. 원문 작성자는 이를 용납할 수 없는 수준이라고 표현했습니다. 게임플레이 변주로는 간단한 파워업을 제공하는 ‘파워 모드’가 추가됐으며, 이는 에이전트의 실제 창의성을 요구하는 요소였습니다. 모바일에서는 타일 표시를 위해 길게 누르는 대신 ‘플래그 모드’ 버튼을 제공해 비교적 편리했습니다.
직접 사용해본 결과, 체감상 가장 플레이 감각이 좋은 클론이기도 했습니다. 클로드 코드의 오퍼스 4.5 모델은 5분 이내에 지뢰찾기 클론을 완성했으며, 가장 깔끔한 코딩(Chording) 인터페이스를 제공했습니다. 전반적인 완성도는 매우 탄탄했지만 코딩 기능 부재로 인해 최종 점수는 7점에 머물렀습니다.
Mistral Vibe 4점  
3위는 미스트랄의 바이브로, 결과물은 이름 그대로 바이브 코딩에 가까운 인상을 줬습니다. 게임은 정상적으로 작동했고 외형도 무난했지만, 핵심 기능인 코딩(Chording)이 빠져 있었고 사운드 효과도 없었습니다. 하단의 ‘커스텀’ 버튼은 아무런 기능을 하지 않았으며, 재미 요소 역시 추가되지 않아 감점 요인이 됐습니다.
상단의 스마일 이모지는 검은색으로 표시돼 테스트진에게 다소 불편한 인상을 줬고, ‘전문가’ 모드를 선택하면 격자가 배경 사각형을 벗어나는 시각적 오류도 발생했습니다. 데스크톱에서는 오른쪽 클릭으로 깃발 표시가 가능했지만, 모바일에서는 길게 눌러야 했으며, 이 과정에서 기기의 컨텍스트 메뉴가 뜰 가능성도 있었습니다.
코딩 인터페이스는 안정적이고 사용하기 쉬웠지만 속도는 빠르지 않았습니다. 그럼에도 Ars Technica 편집진은 대형 기업들에 비해 자원이 제한된 상황에서도 비교적 준수한 성능을 보였다는 점에 인상받았다고 전했습니다. 최종 점수는 4점이었으며, 설명에 비해 다소 낮은 평가처럼 보이기도 했습니다.
Google Gemini 0점  
최하위는 구글의 제미니 CLI로, 최근 여러 벤치마크에서 구글이 상위권을 차지해온 점을 고려하면 다소 의외의 결과였습니다. 공동 창업자 세르게이 브린이 복귀하며 부각된 반등 서사와도 대비됩니다. 그러나 제미니가 만든 지뢰찾기 클론은 아예 작동하지 않았습니다. 버튼은 존재했지만 타일이 없어 게임을 진행하거나 점수를 매길 수조차 없었습니다.
외형은 클로드 코드의 결과물과 기묘할 정도로 비슷했으며, 마치 코딩 도중 중단된 상태처럼 보였습니다. 코드 실행 시간도 가장 길었고, 매번 외부 의존성을 요구했습니다. HTML5만 사용하라는 명확한 지시와 함께 두 번째 기회를 줬음에도 불구하고, 정상적인 결과물을 만들어내지 못했습니다.
Ars Technica는 제미니 CLI가 최신 제미니 3 코딩 모델에 접근하지 못하고 제미니 2.5 계열 클러스터를 사용했다는 점을 언급했습니다. 더 상위 요금제를 사용했다면 결과가 달라졌을 가능성도 있지만, 이번 테스트만 놓고 보면 실망스러운 성과임은 분명합니다.
결국 이것이 우리가 메모리 가격을 네 배로 끌어올리고, 당분간 컴퓨터 환경을 망가뜨리면서까지 허용한 결과입니다. 코덱스가 1위를 차지했고, 미스트랄 바이브와 클로드 코드가 그 뒤를 이었으며, 구글은 사실상 경쟁에 참여하지 못했습니다. 이미 AI에 전면적으로 투자하지 않은 상태라면, 이번 실험이 생각을 바꿔주지는 못할 것으로 보입니다. |