2025년 4월 28일, 알리바바가 무려 2,350억 개의 파라미터를 갖춘 ‘큐원 3(Qwen 3)’를 공개했습니다. 2,350억 개의 파라미터가 얼마나 큰 규모인지 감이 오시나요? 비교 해보면, ChatGPT의 기반이 된 GPT-3.5는 약 1,750억 개, Claude 2는 약 1,000억 개의 파라미터를 가지고 있습니다. 보통 이런 대형모델들은 추론 시, 모든 파라미터를 사용하기 때문에 엄청난 컴퓨팅 자원이 필요한데요.

흥미로운 점은 큐원3는 ‘MoE((Mixture of Experts)’라는 기술 덕분에 실제 계산을 진행하는 추론 단계에서약 220억개의 파라미터만 사용한다는 것입니다. 즉, 모델이 가지고 있는 지식의 크기(파라미터 수)는 커졌지만 실제 연산 비용은 더 줄일 수 있게 된 것이죠. 이 상황은 마치 “사공이 많으면 배가 산으로 간다”는 속담을 뒤집고, 전문가들이 더 빠르고 효율적인 항로를 찾아가는 모습을 떠올리게 합니다.

오늘은 MoE가 등장하게 된 배경부터, 어떻게 동작하며, 왜 중요한지에 대해 함께 이해해보려 합니다.

1.MoE란 무엇인가?

MoE(Mixture of Experts)는 이름 그대로 ‘전문가들의 혼합’이라는 개념을 바탕으로 한 모델 학습 방법입니다. 하나의 거대한 모델이 모든 작업을 처리하는 대신, 여러 개의 ‘전문가’ 네트워크 중 상황에 맞는 일부만 선택해 사용함으로써 성능과 효율성을 동시에 잡는 것이죠. 마치 종합병원에서 각 전문의에게 진료를 받는 것 처럼요.

따라서, 모델에 입력이 들어오면, 이를 가장 잘 처리할 수 있는 전문가만 선택되어 계산에 참여하게 되고 이러한 방식 덕분에, 모델의 전체 용량은 크지만 실제 연산은 일부만 수행되어 계산 비용을 크게 줄일 수 있습니다.

2.MoE의 등장배경

MoE 개념은 1991년, “Adaptive Mixture of Local Experts” 논문에서 처음 소개되었습니다.

이 시스템은 여러 전문가 네트워크와 이들 중 어떤 전문가를 사용할지 결정하는 게이팅 네트워크(Gating Network)로 구성되어, 입력에 따라 적절한 전문가를 선택하는 방식이었습니다.

이후 2010년대에는 두 가지 연구 흐름이 MoE 발전을 이끌었습니다.

• 컴포넌트형 MoE: MoE를 독립적인 모델이 아닌, 더 큰 딥러닝 네트워크의 구성 요소로 활용하는 접근입니다. 이를 통해 모델 전체 구조에 MoE를 유연하게 통합할 수 있게 되었습니다.
• 조건부 계산(Conditional Computation): 모든 입력이 모든 레이어를 통과하는 기존 방식에서 벗어나, 입력에 따라 일부 전문가만 선택적으로 활성화하는 방식이 도입되었습니다.

이러한 기술적 기반 위에, 2017년 Google은 MoE 개념을 바탕으로 137억 파라미터 규모의 LSTM 모델을 개발해 NLP 분야에 적용했습니다.

당시에는 번역 등 특정 태스크에 초점이 맞춰졌지만, 이후 Switch Transformers처럼 파라미터 수가 1조를 넘는 모델에도 MoE가 적용되며 효율적인 대규모 학습이 가능해졌습니다.

3.MoE 아키텍처

MoE를 실현하기 위해서는, 다음 세 가지 주요 구성 요소가 필요합니다.

MoE 아키텍처 1) 혹은 2)

• 전문가(Experts)  

모델 내부의 독립적인 신경망으로, 각 전문가는 특정 유형의 입력을 처리하는 데 특화되어 있습니다. 트랜스포머에서는 주로 기존의 FFN(Feed-Forward Network)을 전문가로 사용합니다. 예를 들어 8개의 전문가가 있다면, 이들은 모두 다른 특성과 파라미터를 가진 FFN 네트워크입니다.

• 게이팅 네트워크(Gating Network)

그럼 어떤 기준으로 전문가가 선택될까요?

바로 이 역할을 수행하는 것이 게이팅 네트워크(Gating Network) 또는 라우터(Router)입니다. 라우터는 입력 데이터의 특성을 분석해, 어떤 전문가가 해당 입력을 가장 잘 처리할 수 있을지를 예측합니다. 이 과정은 입력 데이터와 전문가 사이의 적합도를 수치화한 뒤, 그 중 상위 몇 개(Top-k)의 전문가에게 데이터를 분배하는 방식으로 이루어집니다. 예를 들어, 문법적으로 복잡한 문장은 이를 잘 처리하는 전문가 1로, 텍스트의 맥락이나 흐름을 분석하는 문장은 전문가 2로 보내는 식입니다. 즉, 라우터는 각 입력이 어떤 전문가를 거칠 때 가장 좋은 결과를 낼 수 있을지를 판단하는 ‘중간 관리자’ 역할을 한다고 볼 수 있습니다.

• 희소 활성화(Sparse Activation)

앞서 언급했듯이, 모델에는 수십 개의 전문가가 존재하지만, 각 입력은 그중 1~2개의 전문가만 거치게 됩니다. 이렇게 일부 전문가만 선택적으로 활성화되는 구조를 ‘희소 활성화(sparse activation)‘ 라고 부르며, 핵심은 모든 전문가를 동시에 사용하는 것이 아니라, 입력에 적합한 일부 전문가와 그에 해당하는 매개변수만 작동한다는 것입니다. 이로 인해 모델 전체의 파라미터 수는 크지만, 실제 연산에 사용되는 부분은 제한적이어서 모델의 표현력은 유지하면서도 연산 비용은 크게 절약할 수 있게 됩니다.

4.MoE의 과제 : 토큰 분산과 로드 밸런싱

하지만 MoE가 마냥 완벽한 구조인 것은 아닙니다.
MoE에서 가장 대표적인 과제 중 하나는 바로 토큰 분산의 불균형, 즉 일부 전문가에게 입력이 과도하게 몰리는 현상입니다. 일반적으로 학습이 진행되면, 게이팅 네트워크는 특정 전문가만 반복적으로 선택하는 경향을 보입니다. 이러한 현상은 특정 전문가가 더 빠르게 성능을 높이고, 더욱 자주 선택되는 자기 강화(Self-reinforcement)를 유발합니다.

결과적으로, 일부 전문가만 과도하게 사용되고 나머지는 거의 활용되지 않아 학습이 비효율적으로 이루어지게 되는 것이죠.

이 문제를 해결하기 위해 다음과 같은 로드 밸런싱 기법들이 제안되었습니다:

• 전문가 용량(Expert Capacity)

각 전문가가 처리할 수 있는 토큰의 최대 개수를 제한하고, 이를 통해 특정 전문가에 과부하가 걸리는 것을 방지합니다.용량이 초과되면 가장 낮은 라우팅 점수를 가진 토큰부터 제외됩니다.

• 노이즈 추가(Noisy Gating)

Mixtral에서 사용하는 Noisy Top-K 방식처럼 라우팅 점수에 노이즈를 추가하고 이는 다양한 전문가가 활용될 기회를 늘려 로드 밸런싱을 개선합니다.

• 보조 손실(Auxiliary Loss)

모든 전문가에게 동등한 중요성을 부여하도록 장려하는 추가 손실 함수로, Hugging Face의 transformers 라이브러리에서는 aux_loss 파라미터로 제공됩니다.

5.결론 및 향후 전망

MoE(Mixture of Experts)는 성능과 효율성을 동시에 만족시켜야 하는 최신 AI 시대에 최적화된 아키텍처로 자리잡고 있습니다. 입력에 따라 필요한 일부 전문가만 선택적으로 활성화하는 구조 덕분에, 모델의 표현력은 그대로 유지하면서도 연산 비용은 획기적으로 줄일 수 있다는 점이 가장 큰 강점입니다.

최근에는 Qwen3, DeepSeek-V2, Mixtral과 같은 최신 모델들이 MoE 구조를 더욱 정교하게 발전시키고 있으며, 이러한 기술은 단순히 언어 모델뿐만 아니라 기계 번역, 멀티태스크 학습, 비전 및 음성 인식 등 다양한 분야로 확대 적용되고 있습니다.

결국, MoE는 “많은 사공이 배를 빠르게 나아가게 만드는” 구조입니다.

효율적인 분업과 균형 잡힌 전문가 활용을 통해, 우리는 더 크고 더 똑똑한 모델들을 활용한 AI 비즈니스를 구축해 나갈 수 있을 것입니다.