테스트 타임 컴퓨팅은 모델을 더 크게 학습시키는 대신, 실제로 답을 생성하는 추론(inference) 단계에서 연산량을 늘려 성능을 높이는 방식이다. 여러 후보 답변을 생성해 비교하거나, 중간 사고 과정을 길게 늘려 스스로 검토하게 만드는 식으로 구현된다. 이 접근이 주목받는 이유는 사전 학습에 들어가는 비용이 기하급수적으로 커지는 반면, 추론 시점에 연산을 추가하는 쪽은 상대적으로 유연하게 조절할 수 있기 때문이다.
쉬우면 적게, 어려우면 많이 생각하는 동적 조절
문제가 쉬우면 적게, 어려우면 많이 생각하게 하는 식의 동적 조절도 가능하다. 영국 AI안전연구소(AISI)의 최근 분석은, 제한된 연산 조건에서 평가하면 모델의 실제 능력을 과소평가하게 될 수 있다고 지적했다. 즉 같은 모델이라도 얼마나 많은 연산을 답변 생성에 허용하느냐에 따라 벤치마크 점수 자체가 달라진다는 뜻이다.
모델 크기와 추론 연산, 함께 설계해야 하는 두 축
결과적으로 ‘얼마나 큰 모델을 만들 것인가’와 ‘답할 때 얼마나 생각하게 할 것인가’라는 두 개의 축을 함께 설계하는 것이 최근 모델 개발의 핵심 과제가 됐다.
두 축은 서로 대체 가능한 자원처럼 다뤄지기 시작했다.
계층형 요금제, 그리고 더 생각하면 항상 더 정확한가
실무에서는 이 개념이 요금제 설계로도 이어진다. 기본 응답은 저렴하게, 깊은 추론이 필요한 요청은 더 많은 연산을 쓰는 만큼 비용을 더 받는 계층형 구조가 여러 서비스에서 자리잡고 있다. 다만 사용자 입장에서는 ‘더 생각한다고 항상 더 정확해지는가’라는 의문도 남는다.
지나치게 많은 단계를 거치면 오히려 스스로 만든 중간 결론에 얽매여 방향을 잃는 경우도 보고되고 있어, 무한정 늘리는 것이 능사는 아니다.
self-consistency, 후보 답변 여러 개를 비교하는 방식
예를 들어 같은 질문이라도 후보 답변을 5개 생성해 서로 비교한 뒤 가장 일관된 답을 고르는 방식(self-consistency)은, 한 번만 답하게 하는 것보다 훨씬 안정적인 결과를 낸다는 것이 여러 벤치마크에서 확인됐다. 이 개념은 앞서 다룬 추론 모델과 사실상 같은 뿌리를 공유한다. 추론 모델이 ‘어떻게 생각하게 할 것인가’의 문제라면, 테스트 타임 컴퓨팅은 그 생각에 ‘얼마나 많은 연산을 배정할 것인가’를 결정하는 더 넓은 틀이라고 볼 수 있다.
추론 시점 스케줄링과 두 번째 스케일링 법칙
이 개념이 상용화되면서 새로운 형태의 최적화 문제도 등장했다. 정해진 예산(시간, 비용) 안에서 어떤 방식으로 연산을 배분해야 가장 좋은 답을 얻을 수 있는지를 결정하는 ‘추론 시점 스케줄링’이 그것이다. 일부 연구자들은 이 흐름을 ‘두 번째 스케일링 법칙’이라고 부르기도 한다. 첫 번째가 모델 크기와 학습 데이터를 키우는 것이었다면, 두 번째는 추론 시점의 연산을 키우는 것으로, 향후 몇 년간 AI 성능 향상의 핵심 축이 될 것으로 전망된다.
탄력적인 인프라와 ‘더 깊이 생각하기’ 버튼
이 접근은 하드웨어 활용 전략에도 변화를 준다. 예전에는 학습에 필요한 만큼만 GPU를 확보하면 됐지만, 이제는 서비스 운영 중에도 요청마다 탄력적으로 연산량을 늘릴 수 있는 인프라 유연성이 함께 요구된다. 일반 사용자 입장에서 체감할 수 있는 변화는 ‘느리지만 더 정확한 답변’ 옵션의 등장이다. 일부 서비스는 사용자가 직접 ‘더 깊이 생각하기’ 버튼을 눌러, 평소보다 시간이 걸리더라도 더 검증된 답을 받아볼 수 있게 하고 있다.
효과가 큰 영역과 작은 영역, 사고 강도에 따른 차등 과금
테스트 타임 컴퓨팅은 특히 수학과 코딩처럼 답을 검증하기 쉬운 영역에서 효과가 크게 나타난다. 반대로 정답이 명확하지 않은 창작이나 의견 제시 영역에서는 상대적으로 이득이 적다는 연구 결과도 있다. 이 흐름은 AI 서비스의 요금 체계에도 영향을 주고 있다. 더 깊이 생각하는 답변일수록 더 많은 연산 자원을 쓰기 때문에, 답변의 ‘사고 강도’에 따라 차등 과금하는 모델이 늘어나는 추세다. 결국 이 흐름이 시사하는 바는, AI의 성능 향상이 이제 모델 자체의 개선뿐 아니라 ‘얼마나 잘 활용하는가’의 문제로도 확장되고 있다는 점이다.
같은 모델이라도 사용 전략에 따라 결과물의 질이 크게 달라질 수 있다. 국내 IT 기업들도 이 개념을 자사 서비스에 적용해, 사용자가 필요에 따라 ‘빠른 답변’과 ‘정밀 분석’ 중 선택할 수 있는 옵션을 제공하기 시작했다.
정리
결국 테스트 타임 컴퓨팅은 학습이라는 한 번의 투자와, 추론이라는 매번의 투자 사이에서 어디에 자원을 쓸지를 고르는 새로운 선택지를 열어준 셈이다. 이 균형점을 찾는 것이 앞으로 모델 설계의 상당 부분을 차지할 것으로 보인다.