사람들은 종종 더우바오(Doubao)의 아첨하는 성격 때문에 "더우바오가 자주 잘못된 조언을 제공하여 문제를 악화시킨다"는 농담을 듣곤 하지만, 실제로 이러한 문제는 더우바오만의 것이 아니며 ChatGPT 또한 이전에 아첨 문제로 논란을 일으킨 적이 있습니다.
현지 시간 7월 21일, 미국 플로리다주의 55세 남성 스콧 윈터스는 미국 캘리포니아주 샌프란시스코 고등법원에 OpenAI 및 CEO 샘 올트먼(Sam Altman)을 고소했습니다.
원고인 윈터스는 자신이 ChatGPT에 지속적인 어지러움, 혈압 변동 등 건강 문제를 문의했을 때, 챗봇이 즉각적인 진료가 필요 없다고 여러 차례 권고했으며, 결국 양쪽 폐의 혈전으로 인한 광범위한 폐색전증이 발생하여 한때 죽음에할 뻔했다고 주장했습니다.
윈터스는 전직 목사입니다. 그는 2024년부터 ChatGPT-4o를 사용하여 신체 상태를 문의하기 시작했으며, 그 과정에서 어지러움, 혈압 이상 및 기타 증상에 대해 반복적으로 질문했습니다. ChatGPT는 처음에 전문 의사의 도움을 받을 것을 경고했으나, 대화가 지속됨에 따라 관련 경고를 점차 줄이고 스스로 그의 신체 상태를 진단하기 시작했습니다.
윈터스는 이후 서혜부 부위의 통증 등 증상이 나타났고, ChatGPT는 관련 상황이 "심각하지 않다"고 말하며 활동을 줄이고 집에 머물며 계속 "안락의자에 누워 있으라"고 권고했습니다.
소장에는 ChatGPT의 답변이 윈터스의 신앙과 결합되어 "하나님은 당신의 몸을 계속 쇠약해지도록 설계하지 않으셨습니다"라고 언급했다는 내용도 포함되었습니다. 윈터스가 ChatGPT에게 "교회 사람들은 내가 병원에 가지 않는 것을 미쳤다고 생각한다"고 말했을 때, ChatGPT는 집에서 자신의 도움을 받아 신경계를 조정하는 것은 "대부분의 사람들(친절한 교회 구성원 포함)이 전혀 이해하지 못하는" 일이라며 그를 안심시켰습니다.
2025년 7월, 윈터스는 양쪽 폐의 다발성 혈전으로 인한 광범위한 폐색전증으로 중환자실로 이송되었습니다. 의사들은 폐색전증이 장시간 앉아만 있었던 것과 관련이 있을 가능성이 높다고 판단했으며, 이러한 좌식 행동은 바로 ChatGPT가 권고한 내용이었습니다.
소장에는 병세가 악화되기 몇 시간 전, 윈터스가 서혜부 통증이 진료가 필요한지 물었을 때 ChatGPT가 여전히 "아마도 긴 이야기 속의 또 다른 작은 에피소드일 뿐입니다"라고 답변했다고 명시되어 있습니다.
원고 측 변호사는 ChatGPT가 권위적인 어조로 진단과 치료 권고를 제공함으로써 사용자가 AI의 권고에 과도하게 의존하게 만들고, 가족과 친구들이 제안한 진료 권고를 무시하게 만들었으며, 결과적으로 주거지와 직장을 잃고 수년간의 신체적 및 심리적 회복에 직면하게 되었다고 밝혔습니다.
소장은 OpenAI와 올트먼이 과실 및 "무면허 의료 행위"를 저질렀다고 고발합니다. 윈터스의 법률팀은 경제적 배상을 요구하며, 독립적인 평가를 통해 안전이 확인될 때까지 OpenAI 산하의 건강 문제 전담 서비스인 ChatGPT Health를 중단할 것을 법원에 요청했습니다.
윈터스를 대변하는 비영리 단체 Tech Justice Law의 집행 이사는 ChatGPT가 "사용자와 그들의 현실 생활 네트워크 사이에 자신을 쐐기처럼 삽입했다"고 말했습니다.
OpenAI 대변인 드루 푸사테리는 이에 대해 "ChatGPT는 의사가 아니며, 전문적인 의료 관리, 진단 또는 치료를 대체해서는 안 됩니다"라고 답변했습니다. 그는 AI가 사용자가 정보를 더 명확하게 얻고 의사와의 소통을 준비하는 데 도움을 줄 수 있지만, 챗봇을 의료 결정의 유일한 근거로 간주하는 것은 "더 큰 과제를 지나치게 단순화하는 것"이라고 말했습니다.
푸사테리는 또한 윈터스가 사용한 GPT-4o는 이전 모델이며, 새로운 모델은 문맥이 누락된 질문에 답하거나 불확실성을 표현하고 전문적인 관리가 필요한 시점을 식별하는 데 더 나은 성능을 보인다고 지적했습니다.
ChatGPT 사용 약관에 따르면, 사용자는 이를 유일한 신뢰 정보원으로 사용해서는 안 되며, 특히 의료 등 중대한 영향을 미칠 수 있는 결정에서 전문적인 의견을 대체해서는 안 됩니다.
IT홈은 최근 몇 년 동안 AI 챗봇이 의료 권고를 제공하여 피해를 입힌 여러 소송이 있었음에 주목했습니다. 올해 5월, 한 19세 청년의 부모는 ChatGPT가 금지 약물 사용에 대해 상세한 권고를 제공하여 자녀가 약물 과다 복용으로 사망했다고 OpenAI를 고소했습니다.
OpenAI가 올해 1월 발표한 보고서에 따르면, 매일 약 4,000만 명의 사용자가 ChatGPT에 의료 건강 관련 질문을 던집니다.
|