하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

Phi-2 SLM AI모델의 놀라운 힘(Microsoft Research Blog)

타샤

0 1094 1 2023.12.13 08:34

Phi-2  SLM(small language models) AI모델의 놀라운 힘.(단순 번역본이오니, 오역 의심시 원문링크 참조) <img src="https://img2.quasarzone.com/editor/2023/12/13/10ce86f7b9a404901232a0ede30a2d1e.png" alt="퀘이사존"> 지난 몇 달 동안 Microsoft Research의 기계 학습 기반 팀에서는 다양한 벤치마크에서 놀라운 성능을 발휘하는 "Phi"라는 소규모 언어 모델(SLM) 제품군을 출시했습니다. 첫 번째 모델인 13억 개의 매개 변수가 있는 Phi-1은 기존 SLM 중 Python 코딩에서 최첨단 성능을 달성했습니다(특히 Human*!* 및 MBPP 벤치마크에서). 그런 다음 상식적 추론과 언어 이해로 초점을 확장하여 5배 더 큰 모델에 필적하는 성능을 갖춘 13억 개의 매개변수 모델인 Phi-1.5를 새로 만들었습니다. 
이제 뛰어난 추론 및 언어 이해 능력을 보여주는 27억 개 매개변수 언어 모델인 Phi-2를 출시하여 130억 개 미만의 매개변수를 가진 기본 언어 모델 중에서 최첨단 성능을 선보입니다. 복잡한 벤치마크에서 Phi-2는 모델 확장 및 학습 데이터 큐레이션의 새로운 혁신 덕분에 최대 25배 더 큰 모델과 일치하거나 더 뛰어난 성능을 발휘합니다. 
Phi-2는 크기가 작기 때문에 기계적인 해석 가능성, 안전성 개선, 다양한 작업에 대한 미세 조정 실험 등 연구자에게 이상적인 놀이터입니다. 언어 모델에 대한 연구 개발을 촉진하기 위해 Phi-2를 Azure AI Studio 모델 카탈로그에서 사용할 수 있도록 했습니다. Phi-2의 주요 통찰력
언어 모델의 크기가 수천억 개의 매개변수로 엄청나게 증가하면서 자연어 처리 환경을 재정의하는 수많은 새로운 기능이 잠금 해제되었습니다. 데이터 선택과 같은 훈련을 위한 전략적 선택을 사용하여 그러한 창발 능력을 더 작은 규모에서 달성할 수 있는지 여부에 대한 의문이 남아 있습니다.
Phi 모델을 사용하는 우리의 작업 라인은 훨씬 더 큰 규모의 모델과 동등한 성능을 달성하는(아직 개척 모델과는 거리가 먼) SLM을 교육하여 이 질문에 대답하는 것을 목표로 합니다. Phi-2를 사용하여 기존 언어 모델 확장 법칙을 깨는 데 대한 주요 통찰력은 두 가지입니다. 
첫째, 훈련 데이터 품질은 모델 성능에 중요한 역할을 합니다. 이는 수십 년 동안 알려져 왔지만 우리는 이전 작업인 "교과서가 필요한 전부입니다 "에 이어 "교과서 품질" 데이터에 중점을 두어 이러한 통찰력을 최대한 활용합니다. 우리의 훈련 데이터 혼합물에는 과학, 일상 활동, 정신 이론 등을 포함한 상식 추론과 일반 지식을 모델에 가르치기 위해 특별히 만들어진 합성 데이터 세트가 포함되어 있습니다. 우리는 교육적 가치와 콘텐츠 품질을 기준으로 필터링된 엄선된 웹 데이터로 교육 자료를 더욱 강화합니다. 둘째, 우리는 13억 개의 매개변수 모델인 Phi-1.5에서 시작하여 27억 개의 매개변수 Phi-2 내에 해당 지식을 내장하는 혁신적인 기술을 사용하여 확장합니다. 이러한 확장된 지식 이전은 교육 융합을 가속화할 뿐만 아니라 Phi-2 벤치마크 점수가 확실히 향상되는 것을 보여줍니다. <img src="https://img2.quasarzone.com/editor/2023/12/13/bf0a9ba5658c3dc9ac2a4b3013e0f4b1.png" alt="퀘이사존"> 교육 세부정보
Phi-2는 다음 단어 예측 목표를 갖춘 Transformer 기반 모델로, NLP 및 코딩을 위한 합성 및 웹 데이터 세트가 혼합된 다중 패스에서 1.4T 토큰에 대해 훈련되었습니다.  Phi-2에 대한 훈련은 96개의 A100 GPU에서 14일이 걸렸습니다.  Phi-2는 인간 피드백 강화 학습(RLHF)을 통한 정렬을 거치지 않았으며 미세 조정 지시도 받지 않은 기본 모델입니다. 그럼에도 불구하고 우리는 정렬을 거친 기존 오픈 소스 모델에 비해 독성 및 편향과 관련하여 더 나은 동작을 관찰했습니다(그림 3 참조). 이는 맞춤형 데이터 큐레이션 기술로 인해 Phi-1.5에서 본 내용과 일치합니다. 이전 기술 보고서 이에 대한 자세한 내용은 를 참조하세요. Phi-2 모델에 대한 자세한 내용을 보려면 Azure AI | Machine Learning Studio . <img src="https://img2.quasarzone.com/editor/2023/12/13/29f188f0fda399cc3397837987a72b1b.png" alt="퀘이사존"> Phi-2 평가
아래에서는 인기 있는 언어 모델과 비교하여 학문적 벤치마크에 대한 Phi-2 성능을 요약합니다. 우리의 벤치마크는 Big Bench Hard(BBH)(CoT를 사용한 3샷), 상식 추론(PIQA, WinoGrande, ARC easy and Challenge, SIQA), 언어 이해(HellaSwag, OpenBookQA, MMLU(5샷), SQuADv2(2샷), BoolQ), 수학(GSM8k(8샷)) 및 코딩(Human*!*, MBPP(3샷)). 
27억 개의 매개변수만으로 Phi-2는 다양한 집계 벤치마크에서 7B 및 13B 매개변수에서 Mistral 및 Llama-2 모델의 성능을 능가합니다. 특히 코딩 및 수학과 같은 다중 단계 추론 작업에서 25배 더 큰 Llama-2-70B 모델에 비해 더 나은 성능을 달성합니다. 또한 Phi-2는 크기가 더 작음에도 불구하고 최근 발표된 Google Gemini Nano 2와 동일하거나 그보다 뛰어난 성능을 발휘합니다. 
물론, 우리는 모델 평가와 관련된 현재의 과제와 많은 공개 벤치마크가 훈련 데이터로 유출될 수 있다는 점을 인정합니다. " 에서 확인할 수 있습니다 첫 번째 모델인 Phi-1에 대해 우리는 이러한 가능성을 없애기 위해 광범위한 오염 제거 연구를 수행했습니다. 이는 첫 번째 보고서인 " 교과서가 필요한 전부입니다 . 궁극적으로 우리는 언어 모델을 판단하는 가장 좋은 방법은 구체적인 사용 사례에서 테스트하는 것이라고 믿습니다. 이러한 정신에 따라 우리는 여러 Microsoft 내부 독점 데이터 세트 및 작업을 사용하여 Phi-2를 평가하고 Mistral 및 Llama-2와 다시 비교했습니다. 비슷한 경향을 관찰했습니다. 즉, 평균적으로 Phi-2가 Mistral-7B보다 성능이 뛰어나고 후자는 Llama-2 모델(7B, 13B 및 70B)보다 성능이 뛰어납니다. <img src="https://img2.quasarzone.com/editor/2023/12/13/51a42adf9cdd990184cd6534dd038eaa.png" alt="퀘이사존"> 이러한 벤치마크 외에도 연구 커뮤니티에서 일반적으로 사용되는 프롬프트에 대한 광범위한 테스트도 수행했습니다. 우리는 벤치마크 결과를 통해 기대했던 것과 일치하는 동작을 관찰했습니다. 예를 들어, 우리는 최근 Gemini Ultra 모델의 기능을 평가하는 데 사용된 모델의 물리 문제 해결 능력을 조사하는 데 사용되는 프롬프트를 테스트하여 다음과 같은 결과를 얻었습니다. <img src="https://img2.quasarzone.com/editor/2023/12/13/c30aa02df066d743c466e0de9d22f74e.png" alt="퀘이사존">

타샤

행성: 슈퍼지구

포인트: 22,301 exp

작성물 댓글

음, 이슈를 모르던 구매자들도 이 게임을 접하는 순간 기절. 07-03

모든회원 자기소개 펼치기

댓글: 0개

하드웨어 뉴스 - 최신 IT/하드웨어 정보를 만나보세요

공지 뉴스게시판 특별 규정(23.09.07)

퀘이사존

20.4k

11-08

전체 CPU/MB/RAM 그래픽카드 케이스 쿨링솔루션 저장장치 파워 키보드/마우스 음향기기 디스플레이 네트워크 소프트웨어 노트북 업계동향 기타/주변기기

추천	제목
3	EK, RTX 6000 Ada GPU용 프로 랙 워터 블록 출시 4 쿨링솔루션 QM달려 912 07-07
17	엔비디아, GeForce RTX 4060 Ti 16GB 499달러에 7월 18일 출시 예정 31 그래픽카드 Wormhole 6.2k 07-06
18	ASUS, 12VHPWR 전원 커넥터 탑재 RTX 3060 Ti Atlas Shark 그래픽카드 출시 21 그래픽카드 Wormhole 2.2k 07-06
36	마침내 그래픽카드 클럭 4.0GHz 돌파 성공! RTX 4090으로 4005MHz 달성 40 그래픽카드 QM포시포시 5.7k 07-06
12	4GHz까지 25MHz! RTX 4090, 3975 MHz 기록, 전력 피크치 1100W 18 그래픽카드 QM포시포시 2k 07-06
35	[루머]엔비디아 RTX 4060 Ti 16GB 제품은 7월 18일 출시 52 그래픽카드 QM포시포시 4.4k 07-06
26	지포스 RTX 4080 가격 인하, 뉴에그에서 $999로 판매 중 54 그래픽카드 QM벤치 8.8k 07-06
52	유럽 소매업체, 일주일도 안 돼 GeForce RTX 4060의 가격을 6% 인하 79 그래픽카드 Wormhole 6.2k 07-04
66	RTX4080/RTX4090 판매량이 사상 최저 수준으로 급락 96 그래픽카드 QM포시포시 14.6k 07-04
63	[루머] NVIDIA GeForce RTX 4090 Ti 프로토타입 쿨러 추가 유출 107 그래픽카드 Wormhole 10.7k 07-04
48	컬러풀, 닌자 고양이가 등장하는 GeForce RTX 4060 MEOW 그래픽카드 출시 66 그래픽카드 Wormhole 4.6k 07-03
16	기가바이트, GeForce RTX 4070 Ti 시리즈 수냉식 그래픽카드 출시 23 그래픽카드 Wormhole 3.1k 07-03
10	NVIDIA와 Broadcom의 주문이 여전히 강력...TSMC 투자, 24년까지 급증 예상 11 업계동향 QM포시포시 1.9k 07-03
151	M.2 SSD를 장착하는 RTX 40 그래픽카드 등장 192 그래픽카드 QM포시포시 24.7k 07-01
21	NVIDIA, 중국 시장서 환율로 인해 RTX 4060 8GB 가격 인상 조정 29 그래픽카드 QM포시포시 4.1k 06-30
18	NVIDIA는 중국서 최신 기능, 긍정적 평가를 한 특정 RTX 4060 리뷰만 전달 20 그래픽카드 QM포시포시 2.4k 06-30
7	TSMC, 랜섬웨어 공격으로 해커가 7,000만 달러 요구 및 연간 매출 세부사항 게시 9 업계동향 QM대세 2.7k 06-30
29	ASUS, ROG Strix, Dual 및 ProArt GeForce RTX 4060 그래픽카드 공개 49 그래픽카드 Wormhole 2.9k 06-30
8	MSI, NVIDIA GeForce RTX 4060 시리즈 그래픽카드 공개 9 그래픽카드 Wormhole 1.2k 06-30
21	지포스 RTX 4060 출시, 아키하바라에서 야간 판매 실시 32 그래픽카드 QM달려 3.2k 06-30
9	기가바이트, GeForce RTX 4060 시리즈 그래픽카드 출시 10 그래픽카드 Wormhole 1k 06-30
4	TSMC, Arizona Fab 속도 향상을 위해 더 많은 대만 근로자를 미국으로 파견 5 업계동향 QM안나 721 06-30
22	Asus ROG Matrix RTX 4090, 액체 질소 냉각으로 3,945 MHz 달성 26 그래픽카드 QM대세 3.8k 06-29
57	일본, RTX 4060 출시 당시 단 한 명만이 찾아와 구매 68 그래픽카드 QM대세 11.1k 06-29
12	NVIDIA GeForce RTX 4060 공식 출시, 299달러부터 시작 20 그래픽카드 Wormhole 2.2k 06-29
32	Yeston, RTX 4060 CUTE PET Mini-ITX 그래픽카드 출시 37 그래픽카드 Wormhole 2.4k 06-29
15	RTX 4060 각종 벤치, 렌더링, 인코딩, 오버, 소음등 전체 테스트 22 그래픽카드 심심해❤️ 4.4k 06-29
13	PNY, 중국에 블로워팬 탑재 지포스 RTX 4070 출시 19 그래픽카드 QM오즈 1.7k 06-29
38	엔비디아 曰:현재 RTX 4060의 전력측정에는 버그가 있다 76 그래픽카드 류오동 7.9k 06-29
17	게인워드, GeForce RTX 4060 Ghost 및 Pegasus 시리즈 그래픽카드 출시 31 그래픽카드 Wormhole 1.4k 06-28