[LLM Technical Report Study] Deepseek V2의 MoE 알아보기
·
AI/LLM
Intro토큰이 피드포워드네트워크 하나에 무지성 접근이 아닌, 토큰 마다 고른 전문가에게만 갈 수 있게 해서 연산 효율을 챙긴다.일반 MoE는 N개 중 top-k를 고르는 방식이라면, DeepSeekV2의 경우, Shared Expert 2개에 160개 중 Routed Expert 2개를 골라서 총 8개에 대해서 토큰이 접근하게 된다. MoE가 마냥 장점만 있는 것은 아님. 단점이라 하면, 특정 GPU에 쏠리거나 통신의 문제가 있을 수 있음 위와 같이 Shared Expert와 Routed Expert의 구성으로 이루어짐 통신의 문제Expert를 여러 GPU에 떨어뜨려놓았으니 토큰이GPU 왔다갔다 해야하는 문제가 생김. 토큰은 Shared Expert2개와 라우터에 의해 라우팅 전문가 6개에 접근한다..