벤치마크

AI 모델에 “모르는 걸 물어보면 어떻게 답할까?“라고 묻는다고 해 보자. 사람이라면 “잘 모르겠는데요"가 정답에 가깝다. 그런데 최신 대형 모델은 그 자리에서 그럴듯한 거짓말을 만들어 답한다. 이걸 환각(hallucination, 사실이 아닌 내용을 사실처럼 답하는 현상)이라고 부른다. 지난 한 주 사이 Hacker News·X·여러 벤치마크 분석 글에서 같은 숫자가 동시에 회자됐다. GPT-5.5가 정확도 1위를 기록한 바로 그 평가에서, 환각률도 86%로 1위였다. 정확도를 끌어올리는 동안 “모른다고 말하는 능력"이 같이 무너졌다는 뜻이다. 86%가 정확히 뭘 의미하나 먼저 숫자부터 풀자. AA-Omniscience(Artificial Analysis Omniscience, 6개 도메인 42개 경제적 주제에 걸친 6,000개 질문으로 모델의 사실 인식과 환각을 동시에 재는 벤치마크)는 모델의 답을 세 가지로 분류한다. ...

지금까지 “성능 좋은 모델은 비공개, 공개 모델은 그 다음 라인"이라는 구도가 한동안 유지됐다. GPT-5.5나 Claude Fable 같은 비공개(closed weights, 회사 서버에서만 돌고 가중치를 받을 수 없는) 모델이 최상위였고, 그 아래에 DeepSeek·Qwen·Llama 같은 오픈 가중치(open weights, 누구나 다운로드해 자기 GPU에서 돌릴 수 있는) 모델들이 따라가는 형태였다. 이 구도가 어제(6월 16일~17일) 또 한 번 흔들렸다. 중국의 Z AI(구 Zhipu AI, 칭화대 출신 연구자들이 세운 LLM 회사)가 공개한 GLM-5.2가 오픈 가중치 모델 중 1위에 올랐고, 종합 지표에서 OpenAI GPT-5.5의 고추론(extra high reasoning) 모드와 사실상 동률을 기록한 것이다. ...

지난 1년 LLM 업계의 합의는 분명했다. “스케일을 키우려면 MoE(Mixture of Experts, 모델 안에 여러 전문가 sub-network를 두고 입력마다 일부만 활성화하는 아키텍처).” DeepSeek-V3, Mixtral, Qwen MoE 시리즈가 차례로 활성 파라미터(매 입력에 실제 사용되는 파라미터) 수십억을 유지하면서 총 파라미터 수백억~수천억대를 굴리는 구조를 굳혀왔다. 그런데 IBM이 어제(4월 30일) Granite 4.1을 풀면서 정반대 베팅을 공개했다 — decoder-only dense transformer(모든 파라미터가 매 입력에 활성화되는 전통 아키텍처, GPT/Llama 같은 형태). 흥미로운 건 결과다. 8B dense 모델이 같은 회사의 32B MoE 모델(Granite 4.0-H-Small)을 BFCL V3(Berkeley Function Calling Leaderboard, 함수 호출 능력 벤치마크)에서 68.3 vs 64.7로 +3.6점 앞섰다. ArenaHard(사용자 선호 기반 종합 벤치마크)에서도 69.0을 기록해 같은 32B MoE를 능가했다. GSM8K(초등 수학) 92.5, DeepMind-Math(고난도 수학) 80.1로 수학 추론도 단단하다. 30B 모델은 BFCL V3 73.7로 Gemma-4-31B(72.7)를 상회한다. ...