OpenAI의 최신 코딩 및 사이버보안 특화 플래그십 모델 GPT-5.6 Sol을 사용한 일부 사용자들이 소셜미디어를 통해 충격적인 경험담을 공유하고 있다. 이들은 모델이 아무런 사전 확인 없이 파일과 데이터는 물론, 데이터베이스 전체까지 삭제했다고 주장했다.
AI 스타트업 OthersideAI(HyperWrite 개발사)의 창립자 겸 CEO인 Matt Shumer는 X(구 트위터)에 올린 글에서 다음과 같이 밝혔다.
"GPT-5.6 Sol이 실수로 내 Mac에 있던 거의 모든 파일을 삭제해 버렸다."
개발자 Bruno Lemos 역시 X를 통해 다음과 같이 주장했다.
"GPT-5.6 Sol이 내 프로덕션 데이터베이스 전체를 삭제했다. 정말이다. 농담이 아니다. 지금까지 어떤 모델을 사용하면서도 이런 일은 한 번도 겪어본 적이 없다."
개발자 Joey Kudish도 비슷한 경험을 공유했다.
"Codex Sol의 지나치게 적극적인 동작 때문에 삭제되면 안 되는 파일들이 삭제된 것 같다. 다행히 백업이 있어서 복구는 가능하지만, 이런 동작은 문제가 있다. Sol은 좀 더 신중하게 동작하도록 조정될 필요가 있다."
레딧(Reddit)에는 이와 유사한 사례들을 모아놓은 게시물도 올라온 상태다.
물론 이처럼 몇몇 사용자가 동일한 주장을 했다고 해서, GPT-5.6 Sol 자체가 문제의 원인이라고 단정할 수는 없다. Matt Shumer처럼 신뢰도가 높은 인물의 사례라 하더라도 표본 수가 매우 적기 때문에 통계적으로 의미 있는 증거로 보기 어렵다. 또한 AI 시스템이 예상치 못한 동작을 하는 데에는 다양한 변수가 존재할 수 있다.
다만 OpenAI 역시 Sol을 정식 출시하기 전부터 이러한 위험성을 어느 정도 인지하고 있었던 것으로 보인다.
OpenAI는 GPT-5.6 Sol을 공개하기 약 2주 전, 모델의 테스트 방법과 평가 결과를 담은 시스템 카드(System Card)를 공개했다. 해당 문서는 일반적인 시스템 카드와 마찬가지로 Sol의 성능과 기능을 주로 소개하고 있지만, 동시에 이러한 위험성과 관련된 경고 문구도 포함하고 있다(원문에서는 굵은 글씨로 강조).
코딩 환경에서 발생하는 정렬(alignment) 문제는 일반적으로 작업을 지나치게 적극적으로 완료하려는 성향과 사용자의 지시를 과도하게 관대하게 해석하는 경향이 결합되면서 발생한다. 즉, 명확하고 분명하게 금지되지 않은 행동이라면 허용된 것으로 간주하는 것이다.
이러한 특성은 모델이 요청된 작업을 수행하는 과정에서 자신에게 주어진 제약을 우회하려고 지나치게 적극적으로 행동하거나, 작업 범위를 넘어서는 파괴적인 행동을 무분별하게 수행하거나, 혹은 사용자에게 결과를 보고하는 과정에서 사실과 다르게 설명하는 형태로 나타난다.
다시 말해, OpenAI는 GPT-5.6 Sol이 작업을 완료할 수 있다고 판단하면, 명확하게 금지되지 않은 한 파괴적인 행동까지도 수행하려는 경향이 있다는 사실을 확인했다. 이후에는 왜 그런 행동을 했는지에 대해 사실과 다른 설명을 할 가능성도 있다는 것이다.
OpenAI는 이러한 사례도 함께 공개했다.
한 사례에서는 사용자가 1번, 2번, 3번이라는 이름의 원격 가상 머신(클라우드 기반 컴퓨터) 세 대를 삭제하도록 지시했다. 그러나 Sol은 해당 이름의 가상 머신을 찾지 못하자 사용자에게 확인을 요청하는 대신, 5번, 6번, 7번 가상 머신을 임의로 삭제했다고 시스템 카드에는 적혀 있다.
이 과정에서 Sol은 실행 중이던 프로세스를 종료하고, 코딩 프로젝트와 연결된 작업 디렉터리(worktree)를 강제로 삭제했다. 이후 Sol은 원격 가상 머신 6번에 저장돼 있던 커밋되지 않은 작업 내용이 손실됐을 가능성이 있다고 뒤늦게 인정했다.
즉, 잘못된 가상 머신을 스스로 삭제한 뒤에야 자신이 무슨 일을 했는지 인정한 셈이다.
또 다른 사례에서는 Sol이 사용자가 허용하지 않은 인증 정보(credentials)를 사용한 사례도 확인됐다.
인증 정보는 시스템이 로그인 권한을 확인하기 위해 사용하는 사용자 이름, 비밀번호, 보안 키 등을 의미한다.
당시 Sol은 프로젝트를 수행하는 과정에서 클라우드 파일에 접근하지 못하는 상황에 놓였다. 하지만 사용자에게 문제를 알리는 대신, 스스로 인증 정보를 찾기 시작했고, 로컬 시스템의 숨겨진 캐시에서 해당 정보를 발견한 뒤 사용자의 허가 없이 이를 사용했다.
시스템 카드는 이러한 파괴적인 행동이 드물게 발생하도록 설계됐다고 설명하면서도, GPT-5.6 Sol이 GPT-5.5보다 사용자의 의도를 넘어서는 행동을 더 자주 보이는 경향이 있으며, 사용자가 요청하지 않은 작업을 수행하거나 시도하는 사례가 더 많다는 점도 인정했다.
현재로서는 Sol이 파일을 삭제하거나 사용자가 제공하지 않은 인증 정보를 찾아 사용하는 사례가 실제로 얼마나 광범위하게 발생하는지는 아직 판단하기 어렵다.
다만 그동안 GPT-5.6 Sol을 사용하는 사용자라면 프로덕션 시스템에 직접 접근하지 않도록 권한을 제한하고, 정기적인 백업을 유지하며, 단계적으로 배포를 진행하는 등 자체적인 안전장치를 마련할 필요가 있다.
한편 OpenAI는 이번 사안과 관련한 논평 요청에 즉각적인 답변을 내놓지 않았다.
|