[LLM Technical Report Study] Deepseek V2의 MoE 알아보기
·
AI/LLM
Intro토큰이 피드포워드네트워크 하나에 무지성 접근이 아닌, 토큰 마다 고른 전문가에게만 갈 수 있게 해서 연산 효율을 챙긴다.일반 MoE는 N개 중 top-k를 고르는 방식이라면, DeepSeekV2의 경우, Shared Expert 2개에 160개 중 Routed Expert 2개를 골라서 총 8개에 대해서 토큰이 접근하게 된다. MoE가 마냥 장점만 있는 것은 아님. 단점이라 하면, 특정 GPU에 쏠리거나 통신의 문제가 있을 수 있음 위와 같이 Shared Expert와 Routed Expert의 구성으로 이루어짐 통신의 문제Expert를 여러 GPU에 떨어뜨려놓았으니 토큰이GPU 왔다갔다 해야하는 문제가 생김. 토큰은 Shared Expert2개와 라우터에 의해 라우팅 전문가 6개에 접근한다..
[LLM Technical Report Study] Qwen 2->2.5->3
·
AI/LLM
한줄평- 데이터 스케일과 품질 ⬆️ , SFT->DPO-> GRPO로 Post Training을 하면서 성능을 향상해 나감. Post Training - Qwen은 사전 학습된 기본 언어 모델인 Qwen, Alignment로 미세 조정된 채팅 모델 Qwen Chat을 포함- 기본 언어 모델을 토대로 코딩 특화 모델인 Code-Qwen, Code-Qwen-Chat, 수학 특화모델인 Math Qwen-Chat도 개발Self-Instruct- 질문이 들어왔을 때 행동을 관찰해서 전체적인 행동의 내용을 SFT에 활용한다. Continued Pretraining- Continued Pretraining을 통해서 Qwen Base를 도메인 특화형 Qwen모델로 만들어가는 과정이라고 이해함✅ Continued Pre..
[LLM Technical Report] LLaMA2 Technical Report 스터디
·
AI/LLM
가짜연구소 LLM Technical Report Study를 진행하며 스터디 준비 및 공부자료를 정리하였습니다. https://pseudo-lab.com/projects/a5975fe9-0b62-4b54-a99c-223817f4e80a?tab=attendance 한줄평- LLaMA1이랑 큰 차이는 없음- Safety, Rewarding에 초점을 둔 모델 (26년10월 현재는 Safety에 집중하진 않음) 1.Background- 내가 맡은 부분: Tokenzier, BPE, ByteFallBack 1-1. Tokenizer- 문자열을 모델이 인식할 수 있게 토큰화 하는 과정- 토큰으로 자르고 -> 정수 ID로 바꾸고 -> ID로 임베딩 벡터를 찾는다. 1-2. Subword 그리고 BPE- Subwo..
CSR 방식으로 호스팅된 웹은 왜 IGW를 거쳐야하는가? (Ingress를 통해 알아본)
·
Network
의문의 시작점현재 상황: 프론트엔드 pod와 백엔드 pod를 같은 Cluster에서 운영중API 요청은 프론트엔드 pod에서 백엔드 pod로만 흐르는데,왜 1) 백엔드 service에 대한 라우팅 규칙이 ingress에도 올라가고, 2) 백엔드가 ingress 트래픽을 받아야하는가? 에 대한 의문이 생겼다.그래서 궁금해졌다. 리액트로 만들어진 웹사이트에서 API 요청을 보내면 왜 굳이 IGW를 거쳐야하는지!!CSR과 SSR에서 등장하는 서버가 대체 뭔데?이 의문을 풀기 위해서는 CSR과 SSR의 동작 방식에 대한 차이를 알아야한다.CSR은 웹 브라우저에서 JS를 사용하여 웹페이지를 렌더링하는 방식이다. 사용자의 브라우저가 서버로 부터 데이터를 받아와서 직접 웹사이트를 생성한다.SSR은 서버에서 HTML을..