하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

연구원들은 둘 이상의 의미를 가진 단어에서 발생하는 AI 환각 버그를 없애기를 희망합니다

블랙웰

2 680 1 2024.06.24 06:41

<img src="https://img2.quasarzone.com/editor/2024/06/24/d5668682a037610ffcb78efb5143a69e.png" alt="퀘이사존"> 도구는 AI가 사물을 만들어낼 확률을 결정합니다.
 AI 붐으로 인해 일반 소비자들은 ChatGPT와 같은 AI 챗봇을 사용하여 폭과 깊이를 모두 보여주는 프롬프트에서 정보를 얻을 수 있게 되었습니다. 그러나 이러한 AI 모델은 여전히 잘못된 답변을 제공하는 착각에 빠지기 쉽습니다. 게다가 AI 모델은 명백히 잘못된(때로는 위험한) 답변을 제공할 수도 있습니다. 일부 환각은 잘못된 학습 데이터, 일반화 또는 기타 데이터 수집 부작용으로 인해 발생하지만, 옥스퍼드 연구진은 이 문제를 다른 각도에서 접근했습니다. 이들은 Nature에 새로 개발된 착각, 즉 임의적이고 잘못된 생성을 감지하는 방법에 대한 세부 사항을 발표했습니다.
 LLM은 학습 데이터에서 특정 패턴을 찾아 답을 찾습니다. 인간이 구름 속에서 동물 모양을 볼 수 있는 것처럼, AI 봇이 존재하지 않는 패턴을 찾을 수 있는 가능성이 여전히 존재하기 때문에 이 방법이 항상 효과가 있는 것은 아닙니다. 그러나 인간과 AI의 차이점은 그것이 구름 속의 형상일 뿐 실제 하늘에 떠 있는 거대한 코끼리가 아니라는 것을 알고 있다는 것입니다. 반면에 LLM은 이를 복음적 진리로 받아들여 아직 존재하지 않는 미래 기술이나 다른 말도 안 되는 것을 환각으로 받아들일 수 있습니다.
 시맨틱 엔트로피가 핵심
 옥스퍼드 연구진은 시맨틱 엔트로피를 사용하여 LLM의 환각 여부를 확률로 판단합니다. 의미론적 엔트로피는 같은 단어가 서로 다른 의미를 갖는 경우를 말합니다. 예를 들어 사막은 지리적 특징을 가리킬 수도 있고, 누군가를 버린다는 의미일 수도 있습니다. LLM이 이러한 단어를 사용하기 시작하면 무엇을 말하려고 하는지 혼동할 수 있으므로 연구진은 LLM 출력의 의미론적 엔트로피를 감지하여 환각 여부를 판단하고자 합니다.
 시맨틱 엔트로피를 사용하면 사람의 추가적인 감독이나 강화 없이도 LLM에서 작동하므로 AI 봇의 환각 여부를 더 빨리 감지할 수 있다는 장점이 있습니다. 작업별 데이터에 의존하지 않기 때문에 LLM이 이전에 접해보지 못한 새로운 작업에도 사용할 수 있으므로 AI가 특정 질문이나 명령을 처음 접하는 경우에도 사용자가 더욱 완벽하게 신뢰할 수 있습니다.
 연구팀은 "우리의 방법은 사용자가 LLM을 사용할 때 특별히 주의를 기울여야 할 때를 이해하고, 신뢰성이 떨어져서 사용하지 못했던 LLM을 사용할 수 있는 새로운 가능성을 열어줍니다."라고 설명합니다. 시맨틱 엔트로피가 환각을 감지하는 효과적인 방법임이 입증된다면, 이와 같은 도구를 사용해 AI의 출력 정확도를 재확인함으로써 전문가들이 AI를 더욱 신뢰할 수 있는 파트너로 신뢰할 수 있게 될 것입니다. 하지만 무결점인 사람은 없듯이, 아무리 최첨단 오류 탐지 도구를 사용하더라도 LLM은 여전히 틀릴 수 있다는 점을 기억해야 합니다. 따라서 ChatGPT, 코파일럿, 제미니 또는 Siri가 제공하는 답변을 항상 다시 한 번 확인하는 것이 현명합니다.

블랙웰

행성: 은하

포인트: 611,419 exp

작성물 댓글

모든회원 자기소개 펼치기

댓글: 2개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.5k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
0	Panmnesia, CXL 프로토콜을 사용하여 추가 DRAM 카드 또는 SSD로 GPU 메모리 확장 1 업계동향 QM달려 601 07-03
7	“마약·폭탄 제조법 다 알려주네”…범죄 악용될 질문에 걸려든 AI 10 업계동향 빌보 1.7k 07-03
5	국내 데이터센터 153곳···민간 매출규모 3.9조 9 기타/주변기기 블랙웰 816 07-03
8	삼성전자 노조, 총파업 앞두고 "생산 차질이 목적"…사측 압박 지속 43 업계동향 블랙웰 1.9k 07-03
5	중국, 뉴럴링크와 유사한 표준화된 뇌-컴퓨터 기술을 계획 6 업계동향 블랙웰 566 07-02
46	마이크로소프트, 윈도우 11의 날씨 앱을 재설계하면서 더 많은 광고 삽입 49 소프트웨어 Wormhole 6.4k 07-02
16	마이크로소프트 계정, 해커에 탈탈 털렸다…배후는? 26 업계동향 빌보 3.2k 07-02
34	Ryzen 9000 CPU, 향상된 오버클럭을 위한 커브 옵티마이저용 "커브 셰이퍼" 애드온 도입 25 CPU/MB/RAM Wormhole 6.6k 07-02
8	LGA 1851 소켓 핀아웃 계획과 함께 공개된 인텔 애로우 레이크 및 루나 레이크 I/O 구성 10 CPU/MB/RAM Wormhole 2.8k 07-02
92	녹투아, NH-D15 G2 시리즈 CPU 쿨러 및 NF-A14x25r G2 140mm 팬 발표 138 쿨링솔루션 Wormhole 11.2k 07-02
5	ACEMAGIC X1: Intel i7-1255U CPU를 탑재한 세계 최초의 360도 듀얼 스크린 노트북 7 노트북 QM달려 662 07-02
10	Teclab, 3090 Ti HOF OC Lab PCB에 NVIDIA AD102를 탑재한 RTX 4090 SUPER GPU 제작 9 그래픽카드 QM달려 1.7k 07-02
7	ASRock, AM5 마더보드용 AMD AGESA 1.2.0.0 BIOS 준비, Ryzen 9000 CPU 지원 추가 8 업계동향 QM달려 1.1k 07-02
2	ASUS, ZenWiFi BQ16 Pro 및 ZenWiFi BT10 라우터 출시 발표 2 네트워크 QM달려 469 07-02
4	화웨이와 XMC, HBM 개발 협력, 미국 제재 돌파 노려 6 업계동향 QM바나 394 07-02
3	NVIDIA, H200 주문 3분기부터 인도, 강력한 수요로 서버 공급망 확대 3 업계동향 QM바나 648 07-02
2	ASUS ProArt Display PA32UCXR: 컬러 미터와 미니 LED 백라이트가 통합된 32인치 4K 모니터 3 디스플레이 QM락형 898 07-02
8	Acer CB343CUR D, Red Dot Design Award 2024 수상 10 디스플레이 QM안나 482 07-02
4	Gigabyte G34WQCP는 34인치 곡면 WQHD VA 디스플레이와 180Hz 재생률로 공식 출시되었습니다. 4 디스플레이 QM안나 404 07-02
6	삼성, 9세대 낸드에 몰리브덴 첫 적용...소재시장 판 뒤집힌다 12 업계동향 QM포시포시 1.8k 07-02
63	메모리 가격 상승으로 RTX 5090이 더 비싸질 수 있습니다 158 그래픽카드 심심해❤️ 15.2k 07-02
4	삼성, 차세대 '3.3D' 반도체 패키징 개발 착수…AI 반도체 제조 승부 8 업계동향 QM포시포시 891 07-02
2	MSI, MPG 341CQPX QD-OLED 및 MAG 271QPX QD-OLED E2 모니터 발표 3 디스플레이 QM락형 647 07-02
2	뷰소닉, VX2779-2K-PRO-W 출시: 27인치 185Hz 2K 게임 모니터 3 디스플레이 QM이라 450 07-02
20	모니터 오디오, 절묘한 80년대 디자인 Studio 89 컴팩트 스피커 출시 31 음향기기 심심해❤️ 2.7k 07-02
6	Thunderbolt 4와 5MP 웹캠을 탑재한 Philips 49B2U6903CH 출시 6 디스플레이 QM이라 655 07-02
26	과학자들, 기존 광섬유 기술을 사용해 402,000 Gbps 인터넷 속도 달성 41 네트워크 QM건빵 5.2k 07-02
10	“예보관대신 AI가”…태풍 예측 정확해진다 12 업계동향 빌보 1k 07-02
6	뉴럴링크, 의료 문제로 두 번째 인간 환자 수술 중단 5 기타/주변기기 QM건빵 1.3k 07-02
6	Tidal이 FLAC 및 Dolby Atmos 오디오 포맷으로 전환합니다 5 음향기기 심심해❤️ 699 07-02