고효율 모델 아키텍처

더 적은 자원으로 더 똑똑해지는 방법

8개 게시글

작은 모델이 먼저 쓰고 큰 모델이 검토하는 추론 가속

작은 모델이 다음 몇 토큰을 미리 써 두면 큰 모델이 한 번에 검토해 승인하는 방식으로, 답을 바꾸지 않고 생성 속도를 2~3배 끌어올리는 추측 디코딩의 원리와 한계를 정리했다.

거대한 모델에서 일부만 깨워 쓰는 설계

전체 파라미터와 활성 파라미터가 왜 다른 숫자인지, 라우터가 토큰마다 전문가를 어떻게 고르는지 정리합니다. 파라미터 글에서 짧게 짚었던 전문가 혼합 구조를 실제 모델 사례로 끝까지 따라가 봅니다.

텍스트, 이미지, 음성을 한 모델이 함께 이해하다

글자만 읽던 AI가 이미지, 음성, 영상까지 하나의 모델 안에서 함께 처리하는 것이 기본값이 되고 있습니다.

AI가 한 번에 기억할 수 있는 범위

모델이 한 번의 대화에서 참고할 수 있는 정보량인 컨텍스트 윈도우가 꾸준히 늘어나면서 활용 방식도 달라지고 있습니다.

큰 모델의 능력을 작은 모델에 옮겨 담기

값비싼 초대형 모델의 판단 능력을, 훨씬 저렴하게 돌릴 수 있는 작은 모델에 압축해서 학습시키는 기법입니다.

AI와 외부 도구를 잇는 공용 표준이 되다

Anthropic이 2024년 공개한 MCP가 OpenAI, 구글, 마이크로소프트까지 채택하는 사실상의 업계 표준으로 자리잡았습니다.

회사 문서를 정확히 인용하는 AI로

환각을 줄이고 최신 정보를 반영하기 위해, 외부 문서를 검색해 답변에 근거로 삼는 RAG가 한 단계 정교해지고 있습니다.

작아서 더 쓸모 있는 AI

모든 문제를 초대형 모델로 풀 필요는 없습니다. 특정 업무에 최적화된 경량 모델이 비용과 속도 면에서 각광받고 있습니다.