🔎 핵심만 콕콕
- 독자 AI 파운데이션 모델 2차 평가에서 모티프테크놀로지스가 탈락하고 LG AI연구원·SK텔레콤·업스테이지가 다음 단계에 올랐습니다.
- 탈락한 모티프는 성능 지수 점수가 가장 높았지만 사용성과 활용성 평가에서 밀렸는데요.
- 정부는 3차 평가까지 기존 방식을 유지할 예정이나, 한편으론 프로젝트 방향성을 재편할 가능성 역시 점쳐집니다.
국가대표 AI 선발, 두 번째 관문 결과는?
🥇 독파모 경쟁자, 3팀으로 좁혀졌다: 과학기술정보통신부가 지난 18일, 독자 AI 파운데이션 모델(독파모) 프로젝트의 2차 단계평가 결과를 발표했습니다. 네 팀 가운데 AI 스타트업 모티프테크놀로지스(모티프)가 최하위로 탈락하고, LG AI연구원과 SK텔레콤, 업스테이지가 다음 단계로 올라갔습니다.
📋 독파모가 뭐야?: 독파모는 정부가 우리 손으로 만든 AI 기반 모델을 확보하겠다며 추진 중인 프로젝트입니다. 작년 국정과제로 시작됐고, 외국 AI에 대한 의존을 줄여 기술 주권을 확보한다는 목표를 내걸었습니다. 방식은 토너먼트에 가깝습니다. 여러 후보를 선정한 후, 단계마다 평가를 통해 탈락시키고, 마지막 남은 2팀에는 수천 장의 최신 GPU를 몰아주죠.
파운데이션 모델: 대량의 데이터로 미리 학습시켜 여러 용도로 갖다 쓸 수 있게 만든 대형 AI 모델입니다. 챗봇이든 번역이든 코딩 도구든, 그 밑에 깔리는 토대가 되죠. 한번 만드는 데 막대한 데이터와 연산 자원이 들어가는데요. 그래서 이걸 자체적으로 보유했는지가 AI 경쟁력의 기준으로 꼽힙니다. 정부가 국가 차원에서 개발을 지원하는 이유기도 하죠.
🕐 여기까지 온 길: 독파모는 이번이 두 번째 평가였습니다. 작년 8월에는 네이버클라우드와 NC AI도 이름을 올렸는데요. 올해 1월 1차 평가에서 두 곳이 독자성과 성능 부족으로 탈락하면서, LG AI연구원과 SK텔레콤, 업스테이지 세 팀만 남았습니다. 이후 과기정통부는 2차 평가에 네 팀이 참여한다는 기존 방식을 유지하기 위해 2월에 모티프를 추가로 뽑았죠. 그렇게 넉 달가량 뒤늦게 합류하게 됐지만, 이번에 탈락의 고배를 마시게 됐습니다.
👑 전반적으로 나쁘지 않았다?: 과기정통부와 정보통신산업진흥원에 따르면, 이번 2단계 평가에 참여한 기업의 모델은 글로벌 AI 모델 평가 전문 기관인 아티피셜 애널리시스가 매기는 지능·성능 종합 지수 AAII에서 모두 31점 이상을 획득했습니다. 40점을 초과한 최상위 점수를 기록한 건 미국과 중국의 모델을 제외하면 한국 모델이 유일했고, 유럽과 캐나다의 주요 모델을 앞서는 기록이었죠.
2차 평가, 세부 결과는 어땠나
📊 점수는 어떻게 정해졌을까?: 이번 평가는 벤치마크 40점, 전문가 35점, 사용자 25점의 100점 만점 구성으로 결정됐습니다. 벤치마크는 AAII 25점과 한국지능정보사회진흥원 지표 15점을 합쳤고, 전문가 평가에는 외부 AI 전문가 10명이, 사용자 평가에는 AI 전문 사용자 49명과 일반 국민 185명이 참여했는데요. 항목별 전체 평균은 벤치마크 22.5점, 전문가 28.8점, 사용자 17.6점이었고 1위와 4위의 격차는 각각 4.0점, 2.4점, 5.0점에 그쳤습니다.
😭 모티프, 1위 기록도 있었다는데: 탈락한 모티프의 모티프3는 AAII에서 47점을 기록해 전 세계 기업별 AI 모델 중 10위, 네 모델 가운데 1위를 기록하며 눈길을 끌기도 했습니다. 하지만, 전문가 평가와 사용자 평가에서 낮은 점수를 기록한 게 문제였는데요. 류제명 과기정통부 2차관은 모티프의 AAII 점수가 눈에 띄는 성과인 건 사실이지만 이는 100점 만점에서 25점에 불과하다며, 사용성과 활용성의 문제를 지적했죠. 다른 기업에 비해 중간에 합류한 탓에 개발 시간을 확보하지 못한 게 아니냐는 평가도 나옵니다.
⚠️ 점수 부풀리기 의혹도?: 한편, 이번 평가를 앞두고는 몇 가지 논란이 일기도 했습니다. 먼저 벤치마크 신뢰성에 의문 부호가 따라붙었는데요. 특정 시험에서 점수가 잘 나오도록 모델을 손보는 벤치맥싱이 있었던 게 아니냐는 의혹이 나왔죠. 다만, 류 차관은 논란이 일자 아티피셜 애널리시스에 공식 분석을 의뢰했고, 시험을 목적으로 최적화했다는 문제를 입증할 단서는 찾지 못했다는 답을 받았다고 해명했습니다.
벤치맥싱: AI의 전체적인 능력을 끌어올리는 대신, 공개된 평가 방식이나 특정 문제 유형에 맞춘 학습을 통해 벤치마크 점수를 올리는 데 치중하는 행위를 말합니다. 벤치마크 점수는 높은데 처음 보는 문제나 실제 업무에서는 힘을 못 쓰는 일이 벌어질 수 있죠. 최근에는 벤치마크 점수가 AI의 실사용 성능을 제대로 보여주지 못한다는 문제 의식으로도 이어집니다.
🚗 실사용 후기도 애매?: 한편, 실제로 써 본 일반 사용자의 후기 역시 논란이 됐습니다. 일상적인 질문에 제대로 답하지 못했다는 지적이 이어졌는데요. 보통 온라인에서는 "세차장이 50m 앞에 있는데 세차를 하려면 걸어가야 할까, 차로 가야 할까?" 같은 질문이 AI 성능을 재는 잣대로 쓰입니다. 세차를 하려면 차가 필요하지만, 단순히 가깝다는 이유로 걸어가야 한다는 오답을 내놓는 AI가 왕왕 있었기 때문이죠. 이는 국내 모델 평가 당시에도 활용됐는데, 평가 기간 중 국내 모델 여럿이 오답을 내놨다는 후기가 이어지면서 성능에 대한 우려의 목소리도 들려옵니다.
최종 2팀을 향해, 독파모 남은 스텝은
🗓️ 다음 관문은 3차 평가: 과기정통부는 2차 평가 결과에 대한 이의제기 절차를 거쳐 결과를 확정한 뒤 3차 단계평가에 들어갈 계획인데요. 모티프가 이의를 제기하지 않기로 하면서 별도 소명 절차 없이 다음 단계 준비가 이어지게 됐습니다. 임정환 모티프테크놀로지스 대표는 이의제기할 계획은 없다며 아쉽지만 앞으로도 AI 산업에서 해야 할 일을 열심히 해 나가겠다고 밝혔습니다. 이어 세 팀 중 두 팀을 고르는 3차 평가 결과는 내년 초 발표될 예정입니다. 세 팀은 그때까지 다시 모델 고도화 경쟁에 들어가게 되죠.
💾 살아남으면 GPU가 쌓인다: 과기정통부는 엔비디아의 차세대 GPU인 B200 지원 규모를 올해 상반기 768장에서 하반기 1,000장 수준으로 늘릴 계획입니다. 업스테이지는 포털 다음 서비스 실증과 퓨리오사AI 신경망처리장치 협업 같은 국산 소프트웨어·하드웨어 결합 성과를, SK텔레콤은 국방·제조·법무·세무 등 산업 특화 에이전트 실증을, LG AI연구원은 국제기구 협업 전략과 모델 위험 관리를 인정받았는데요. 새로운 지원을 통해 더 발전을 이룰 수 있을지가 주목받습니다.
🔄 판 자체가 바뀔 수도: 다만, 지금 같은 경쟁형 방식이 바뀔 가능성도 언급됐습니다. 류 차관은 최상위급 독자 AI 모델을 확보할 필요가 있다며, 새로운 지원 체계를 관계 부처와 논의 중이라고 밝혔는데요. 글로벌 프런티어 모델과 겨룰 수 있도록 하려면 경쟁 구조를 벗어나 재편이 필요하다는 공감대가 형성됐다는 이야기도 나왔습니다. 빠르게 발전하는 AI 산업 구조상 최종 1팀이 선정될 때까지 시간이 걸리는 것도 문제고, 여러 기업에 GPU 자원이 분산되는 것 또한 한계로 지적됐습니다. 3차까지는 기존 체계가 유지되지만, 향후에는 방식이 바뀔 수도 있는 상황입니다.