네모트론 3 노 30B의 구조와 성능 특징은 어떻게 구성되고 왜 중요한가?

TL;DR

네모트론 3 노 30B는 레이어별로 겉은 만바 FFN으로 구성되고 속은 FFN 이외에 라우터가 전문가를 매 층에서 뽑아 하는 MOE 구조를 사용합니다. 이 접근은 파라미터 배치와 연산 효율성에 따라 Dense와 Sparse의 장단점을 비교하게 하며, 추론 효율과 메모리 요구를 좌우합니다. 이 영상은 MOE의 전문가 동적 구조와 스파스 패스의 의미를 설명합니다.

Transcript

훈련에는 큰 칩, 추론에는 작은 칩을 쓰고 범용은 GPU, 훈련이든 추론이든 각각 특화는 A식을 써 왔습니다. A식 중에서도 웨이퍼 한 장의 처리해 지연을 최대한 낮추고 한 장당 어마어마한 가격을 받는 세레브라스. 세레브라스는 최근 갑자기 IPO를 철해했죠. 왜 그럴까요? 세레브라스와 함께 제네시스 미션에 합류한 그록은 초저지연 출론을 목표로 S램을 달았는데요. 최근 잠잠합니다. 왜일까요? 준 GPU의 길을 걷는 구글의 TPU, 아마존의 트레이니엄, 인플런시아 가면 갈수록 범용 GPU보다 특화 A식이 전력 효율이 좋을 것이고 훈련보다는 추론 쪽 컴퓨팅이 더 늘어날 것이기에 출론에는 GPU가 분리하니 가성비 좋게 조각한 ... Read More

Key Insights

• 레이어 구조에서 어텐션과 FFN이 파라미터를 어떻게 분산하는지 명확히 이해한다.
• MOE의 라우터가 층마다 서로 다른 전문가를 동적으로 뽑아 분업하는 방식의 특징을 파악한다.
• 네모트론의 M층과 스타층 구성에서 경량화 아키텍처와 FFN의 관계를 설명한다.
• 공유 전문가와 개별 전문가의 차원 조합이 전체 파라미터 수와 깊이에 미치는 영향을 이해한다.
• 댄스 vs 스파스 패스의 차이점과 실무상 적용 시나리오를 정리한다.
• 라이트웨이트 FFN의 중간 차원과 어텐션의 연산 규모를 비교한다.
• Dense 모델과 Grokking 같은 트렌드의 영향력을 파악한다.
• FP8, FP4 채택이 메모리 대역폭과 연산 효율에 미치는 의미를 설명한다.

Questions & Answers

Q: 네모트론 3 노 30B의 구조에서 MOE가 실제로 어떻게 작동하나요

MOE는 레이어마다 라우터를 통해 여러 전문가 중 하나를 선택하고 그 선택된 전문가가 해당 토큰을 처리하게 하는 구조입니다. 이 과정은 토큰의 흐름을 다르게 하여 특정 작업에 특화된 전문가를 동적으로 활용합니다.

Q: 경량화 아키텍처인 만바2와 FFN 사이의 관계는 무엇인가요

만바2는 겉은 경량화하고 속은 FFN으로 구성된 층으로, 어텐션의 비용을 줄이면서도 FFN이 토큰의 차원을 확장해 의미를 학습하도록 설계된 구성입니다.

Q: Dense와 Sparse의 차이는 무엇인가요

Dense는 한 층에 여러 FFN이 고정된 방식으로 모든 토큰이 동일한 경로를 거치고, Sparse는 라우터가 토큰별로 다른 FFN으로 분배되어 부분적으로만 처리합니다.

Q: 네모트론의 52층 구성에서 레이어 구분은 어떻게 이뤄지나요

52층은 M층과 스타층으로 구분되며 M층은 겉은 만바 속은 FFN, 스타층은 겉은 어텐션 속은 M과 같거나 비슷한 방식으로 구성되어 있습니다.

Q: 인터미디어 사이즈의 역할은 무엇인가요

인터미디어 사이즈는 FFN의 중간 차원으로, 라우터가 뽑는 전문가마다 다르게 설정되며 전체 파라미터의 효율성과 처리 속도에 영향을 줍니다.

Q: MOE의 공유 전문가의 역할은 무엇인가요

공유 전문가는 각 층에서 반드시 학습에 참여하는 한 명의 핵심 전문으로, 다양한 영역의 데이터를 학습해 전체 모델의 일반화를 돕습니다.

Q: 스파스와 댄스의 구분은 어떻게 이해하나요

댄스는 층 전체에서 하나의 FFN을 통해 모든 토큰을 처리하는 방식이고, 스파스는 라우터가 매번 다른 FFN으로 토큰을 분배하는 방식으로 자원 활용을 최적화합니다.

Q: FP8과 FP4의 의미는 무엇이고 왜 중요한가요

FP8과 FP4는 정밀도 축소 기술로, 메모리 대역폭과 연산 효율에 영향을 주며 더 작은 정확도에서의 운영이 가능해지지만 정확도 관리가 필요합니다.

Summary & Key Takeaways

• 네모트론 3 노 30B의 기본 설계는 M 층으로 구성되며 각 층은 겉은 경량화 아키텍처인 만바2, 속은 FFN으로 구성됩니다. 모듈은 Layer당 파라미터를 절약하기 위해 FFN의 중간 사이즈를 조절하고, 어텐션은 입력 토큰 간 관계를 파악합니다. MOE는 라우터가 매 층에서 다른 전문가를 선택해 동적으로 분업합니다.

• 네모트론의 파라미터 구성은 레이어별로 다르게 배치되며, 공유 전문가와 라우터가 선택하는 여섯 명의 전문가가 합쳐져 7명의 전문가가 실질적인 연산에 참여합니다. 이로써 FFN의 중간 차원과 어텐션의 관계를 통해 효율성을 확보하고, 스트럭처의 깊이는 ME의 규모에 영향을 받습니다.

• Dense 대비 Sparse 전략에서의 장단점은 무엇이며, 어떤 상황에서 어떤 전략이 유리한가에 대해 설명합니다. Dense는 한 층의 FFN이 고정 다수의 토큰 처리에 강점이지만, 스파스는 라우터를 통해 필요 토큰만 특정 FFN에 보냄으로써 계산 자원 사용을 줄이고 효율을 높일 수 있습니다.