최근 서울 삼성동 코엑스에서 진행된 'SK AI 서밋 2025'은 3만5000명의 온·오프라인 참가자가 참석하며 성황리에 막을 내렸다. 지난해보다 5000명이 늘어난 참가자 수와 함께 8개국 78개 기관이 참여하며, 국내 최대 AI 행사에서 '글로벌 AI 플랫폼'으로 한층 진화했다는 평가다.
지난 3일 최태원 SK그룹 회장은 행사 포문을 여는 기조연설에서 'AI 나우 앤드 넥스트(AI Now & Next)'를 주제로 AI의 현재를 진단하고 미래를 조망했다. 최 회장은 폭발적인 AI 수요에 대응하기 위한 해법으로 '효율 경쟁'을 제시하며 메모리반도체 증산, AI 인프라 구축, 적극적인 AI 활용 전략을 강조했다.
AI 인프라(AI Infra), AI 모델(AI Model), AI 전환(AIX) 등 3개 트랙으로 구성된 본행사 중 테크42가 찾은 것은 첫날 AI Model 트랙이다. 국내 각 기업들이 AI 기술 주권을 확보하기 위한 치열한 경쟁과 혁신 과정이 소개된 이날 트랙에서는 SK텔레콤 AI R&D센터 AI Model Lab에서 LLM·LMM의 post-training을 책임지고 있는 조석환 팀장, 업스테이지 김자현 리드, 트릴리온랩스 신재민 대표 등의 발표로 이어졌다.
SK텔레콤의 독자 AI 파운데이션 모델 A.X의 현재와 미래를 공유한 조 팀장은 사내와 그룹사 곳곳에서 실제로 활용될 수 있는 다양한 use-case 확산에 기여한 인물이다. 현재는 독자 AI 파운데이션 모델 학습을 실무적으로 이끌며 한국형 AI의 새로운 가능성을 만들어가고 있다.
두 번째 발표자로 나선 업스테이지 김자현 리드는 B2B 시장에서 생존을 위해 치열하게 고민하고, 경쟁을 위해 차별화된 강점을 만들어온 과정을 공유했다. 김 리드는 업스테이지에서 파트너 사업을 총괄하고 있으며, 이전에는 카카오와 카카오 엔터프라이즈에서 AI 사업을, 그 전에는 SK에서 미디어 사업과 미디어 전략 관련 영역을 담당했다.
세 번째 발표자인 트릴리온랩스 신재민 대표는 초기 스타트업으로써 글로벌에서도 손꼽히는 70B 규모 풀스택 LLM을 from-scratch 방식으로 직접 개발한 과정을 소개했다. 신 대표는 네이버 HyperClova X 핵심 연구원 출신으로 LLM 대규모 사전학습과 합성데이터 전문가다. 2500회 이상 인용된 약 20편의 논문을 발표했으며, NAACL 2025에서 최고 논문상을 수상하는 등 학계에서도 뛰어난 연구 역량을 인정받았다.
SK텔레콤 조석환 팀장, "에이닷 엑스로 AI 주권 강화...통화요약 1일 5000만건 처리"
조석환 SK텔레콤 팀장은 발표 서두에 AI 패러다임 전환의 역사를 짚으며 2017년 트랜스포머 논문 등장을 현재 AI 혁명의 시작점으로 꼽았다. 조 팀장은 “트랜스포머 이후 연구 성과에 불과하던 AI 기술들이 산업과 서비스 전반으로 빠르게 확산됐다”며 “이후 모델 크기와 학습 데이터가 지속적으로 증가하고 컴퓨팅 파워가 대규모로 투입되는 시기가 이어졌다”고 설명했다. 조 팀장은 올해 초 딥시크 쇼크 역시 업계에 중요한 전환점으로 꼽았다.
"사실 딥시크 v3, r1 이 모델들은 여전히 큽니다. 그럼에도 MoE 구조를 차용을 해서 추론 속도를 빨리 끌어당겨서 적은 GPU만으로도 고성능의 모델을 만들어 냈다는 게 가장 큰 쇼크였던 것 같습니다. 저희 입장에서는 지속적으로 확장만 하던 흐름을 다시 생각해 보게 된 계기가 됐죠.”
그러면서 조 팀장은 서비스 측면에서 AI 패러다임의 변화를 지식의 확장, 멀티모달리티, 에이전트 AI로 꼽았다. RAG와 MCP를 활용한 실시간 외부 지식 연결로 환각 현상을 감소시키고, 텍스트를 넘어 이미지·음성·영상·센서까지 확장하며 직관적 상호작용이 가능해진 점 등이 이유다. 특히 에이전트 AI는 단순 답변을 넘어 복잡한 작업을 스스로 설계·계획·실행하는 단계로 진화했으며, MCP 같은 외부 인터페이스 연결을 통해 워크플로우 자동화와 최적화가 이루어지고 있다고 강조했다.
이러한 발전을 담아내기 위한 핵심으로 조 팀장은 SKT가 자체 개발한 파운데이션 모델 A.X(에이닷 엑스)를 소개했다. 한편으로 조 팀장은 앞서 코엑스 발표에서 국내 유명 LLM 기업들 다음 순서로 소개했을 때 인지도가 낮았던 일화를 언급하며, 그룹 행사에서 가장 먼저 소개할 수 있게 된 것에 대해 언급하며 현장의 웃음을 자아냈다.
"SKT가 자체 개발한 LLM입니다만 아직 모르시는 분들이 많으실 수 있습니다. 하지만 저희는 진심으로 LLM을 열심히 개발해 오고 있고 점점 홍보도 열심히 하고 있어서 그 이름이 계속 멀리 퍼지고 있다고 저는 생각합니다."
SKT의 AI 모델 개발 역사는 2019년 한국 최초의 한국어 딥러닝 모델 KoBERT와 최초의 한국어 생성형 모델 KoGPT-2부터 시작됐다. 두 모델은 누적 다운로드 100만 이상을 기록한 대표 모델이다. 2022년 이후에는 처음으로 A.X라는 이름으로 LLM 개발을 본격화했으며, 각 버전별로 감성 대화, 지식 대화, 통화 요약 등에 활용했다. 올해는 72B급의 범용 모델로 GPT-4 대비 더 높은 한국어 성능을 가진 4.0을 공개했고, 적은 데이터로도 고성능을 내는 3.1 모델, 추론형 모델, 비전언어 모델, 한국어 특화 모델까지 다양한 모델을 개발하는 중이다.
조 팀장의 설명에 따르면 에이닷 엑스의 핵심 특징은 한국어 최적화다. 한국어 특화 토크나이저를 적용해 처리 비용을 약 34% 절감하고 1.5배 더 빠르게 처리할 수 있다. 한국어 능력 향상을 위해 다른 모델 대비 한국어 학습 데이터를 약 300배 이상 증가시키고 정교하게 큐레이션했으며, 한국어와 영어의 언어 분포도 균형 잡히게 학습했다. 유즈케이스 도메인 특화 데이터를 제작·학습하고, 딥러닝 모델 기반의 웹 데이터 가공, 도서 및 전문 서적 데이터, 고품질 합성 데이터를 활용했다.
에이닷 엑스의 사용성 강화를 위해서는 사람이 선호하는 답변을 제공하는 프리 트레이닝과 긴 입출력을 가능하게 하는 롱 컨텍스트 학습을 진행했다. 성능 면에서 지식형 모델 4.0은 72B급임에도 GPT-4보다 한국어 전문 지식과 작업 지시 수행 정확도에서 우수했고, 4.1 34B 모델은 비슷한 크기의 타 모델보다 뛰어났다. 7B급 비전 랭귀지 멀티모달 모델 4.0 VLM은 한국어 비즈니스 문서와 문화 지식 측면에서 더 큰 모델보다도 좋은 성능을 보였다.
실제 적용 사례로 가장 대표적인 것이 SKT의 통화 요약 서비스다. 3.0부터 시작해 올해 4.0으로 전환한 이 서비스는 전화 통화 내용의 주제, 한 줄 요약, 투두 리스트 추천, 부분 요약을 제공한다.
"통화 요약 서비스는 1일 API 호출 수가 약 5000만 건에 달할 정도로 어마어마한 대규모의 서비스입니다. 이를 에이닷 엑스로 100%로 활용을 해서 쓰이고 있고요. 이를 통해 저희가 그전에 이제 API를 타사 API를 쓰던 것 대비해서는 당연히 비용을 확 줄일 수 있었고 파인 튜닝을 통해서 성능도 높일 수 있었습니다."
사무 영역에서는 60분, 1만자 분량의 대용량 회의 내용을 자동 요약하는 회의록 요약 서비스에 활용되고 있으며, 제조 도메인에서는 복잡한 도면 분석에 비전 랭귀지 모델을 적용하고 있다. 에이닷 엑스는 대국민 서비스인 통화 요약부터 사무 업무, 제조 도메인까지 적용 영역을 지속적으로 확대하고 있다.
SKT는 이러한 성과를 바탕으로 올해 독자 파운데이션 모델 프로젝트에 컨소시엄 형태로 선정됐다. SKT가 대형 모델 학습 경험을 담당하고, 크래프톤·포티투닷·라이너가 AI 서비스와 모델 서빙, 리벨리온이 NPU, 셀렉트스타가 데이터 제작, 서울대·카이스트가 선행 연구를 맡는 구조다. 컨소시엄 참여 기업 중 5개사는 천만명 규모의 AI 서비스를 상용화한 경험을 보유하고 있으며, AI 서비스·데이터 제작 노하우·모델 학습 경험·인프라 운영 등 풀스택 AI 기술을 갖춰 AI 주권 강화를 목표로 하고 있다.
조 팀장은 글로벌 AI 패권 경쟁 속에서 한국의 위치를 진단했다. 미국은 투자와 컴퓨팅 파워, 모델 수에서 압도적 선두를 유지하고 있고, 중국은 국가 주도로 저비용 확산을 통해 빠르게 격차를 좁히고 있다.
조 팀장은 “이들 사이에서 한국은 인프라 개선과 함께 에이전트 같은 복잡한 태스크를 해결할 수 있는 모델을 빠르게 육성해야 한다”며 “향후 SK 그룹은 산업군별 대표 기업부터 중소기업까지 유즈케이스를 넓히고, 코드 생성·과학적 추론·수학적 사고 등 LLM의 추론 능력과 전문 모델의 지식을 융합해 반도체·에너지·의료·로봇 등 고부가가치 산업으로 확장할 계획”이라고 설명했다.
업스테이지 김자현 리드, "AI 도입 성공률 5% 불과... 해법은 에이전트"
업스테이지는 2020년 창업한 생성형 AI 분야 스타트업으로, OCR(광학문자인식)과 LLM 기반 다양한 AI 모델 및 에이전트를 개발하며 B2B 엔터프라이즈 분야에서 사업을 공고히 하고 있다. 최근 가장 주목받은 성과는 국가대표 AI 프로젝트인 WBL(월드 베스트 LLM) 선정이다. 네이버, SK, NC, LG 등 4개 대기업 사이에서 업스테이지는 유일한 스타트업으로 선정됐다.
최근 업스테이지 시리즈B 브릿지 투자에서 AWS와 AMD가 참여한 것도 의미가 크다. 기존 AI 모델 기술력에 대한 투자를 넘어, 하드웨어와의 결합 및 시너지 측면에서 글로벌 기업들의 관심을 받고 있다는 방증이다. 업스테이지의 미션은 기업 업무 환경을 AI 모델과 에이전트로 혁신하는 것이며, 이를 위해 DX(디지털 트랜스포메이션) 관점의 다큐먼트 AI와 LLM 기반 의사결정 지원 두 가지 사업 영역을 운영하고 있다.
이날 발표에 나선 김자현 리드는 AI 시장의 급격한 변화를 강조하며 MIT 리포트를 인용, 충격적인 통계를 제시했다. 바로 생성형 AI 등장 이후 전 세계적으로 약 50조원(400억달러)이 AI 도입에 투자됐지만, 실제로 손익 개선 등 측정 가능한 성과를 낸 기업은 단 5%에 불과하다는 것이다. 나머지 95%는 파일럿이나 일부 부서 도입 수준에 그쳐 사실상 실패한 것으로 평가된다. 김 리드는 “실패라는 의미가 완전히 망했다는 것은 아니”라고 전제하며 말을 이어갔다.
"단순히 AI 도입을 파일럿으로 진행을 하거나 아니면 일부 부서에 도입을 해서 업무의 효율을 가져왔다는 것만으로는 AI 생성형 AI 도입에 대한 성공이라고 보기는 어렵다는 의미입니다. 진정한 성공은 비즈니스 모델 자체가 강화되거나 핵심 운영 방식이 재설계돼 폭발적으로 실제 PNL(손익)이 개선되는 것이라는 점에서 실패라는 거죠.”
김 리드가 인용한 MIT 보고서의 AI 도입 성공 전략은 첫째, 고객 대면 서비스보다 백오피스부터 시작해 ROI를 확보하라. 둘째, 호리존탈한 광범위 도입보다 버티컬하게 특정 문제에 집중하라. 셋째, 자체 구축보다 역량 있는 파트너와 전략적 협업을 진행하라 등이다. 김 리드는 “실제로 성공 기업의 66%가 파트너십 기반 도입을 택했다”며 말을 이어갔다.
“최근 시장 변화를 체감하고 있습니다. 지난해까지만 해도 해도 대부분 프로젝트가 온프레미스 환경 구축, RAG 플랫폼, LLM Ops 같은 운영 환경 제공이 주요 니즈였다면, 올해부터는 실제 문제를 해결하는 에이전트 중심으로 명확하게 시장 시선이 이동하고 있죠. 이에 맞춰 업스테이지도 LLM·다큐먼트 AI에서 AI 에이전트(AI 스페이스, 인포메이션 익스트랙트) 및 업스테이지 엔터프라이즈 워크스페이스 플랫폼으로 제품 전략을 전환했습니다.”
그러면서 김 리드는 “지난해 발표 자료를 다시 보며 스테이지 3(워크플로우 전체 AI 도입) 진입이 이렇게 빠를 줄 몰랐다”며 “불과 1년 만에 시장이 극적으로 변했다”고 덧붙였다.
그러한 업스테이지가 에이전트에 집중하는 이유는 두 가지다. 첫째는 글로벌 프런티어 모델(ChatGPT, Claude 등)과의 경쟁에서 살아남기 위한 차별점 확보다. 둘째는 오픈AI나 앤트로픽(Anthropic, 클로드 개발사)이 새 기술을 공개할 때마다 스타트업 2~30개씩 사라지는 상황에서 뾰족한 차별점이 필요하다는 절박함이다.
업스테이지의 차별화는 기업 사무 혁신에 집중하는 것이다. AI 도입의 시작은 디지털화로, 기업의 비정형 문서나 데이터를 AI가 활용 가능한 구조화된 데이터로 전환하는 것이 첫 단계다. 이후 LLM을 활용해 실제 태스크 지향적 업무를 수행하는 구조로 이어진다. 이를 위해 업스테이지는 DX 관점의 인포메이션 익스트랙트 에이전트와 AX 관점의 AI 스페이스 에이전트를 제공한다.
인포메이션 익스트랙트는 AI가 사용할 수 있는 온톨로지(비즈니스 데이터)를 추출하는 에이전트다. 기존에는 OCR 모델 튜닝으로 보험 문서에서 금액이나 증권 코드를 추출했다면, 현재는 LLM과 다큐먼트 파싱 모델의 결합으로 어떤 문서든 자연어 프롬프트로 정의하면 스키마가 생성되고 LLM이 즉시 데이터를 추출할 수 있다. 이는 팔란티어가 이야기하는 온톨로지 데이터와 유사한 개념이다.
이어 김 리드는 실제 유즈케이스로 인하대병원과의 협력 사례를 제시했다. 대학병원에서 의사들이 가장 많은 시간을 소비하는 업무 중 하나가 다른 병원에서 온 전원 환자의 100쪽 이상 되는 의무 기록을 확인하는 것이다. 업스테이지는 생성형 AI 기반 의무 기록 어시스턴트를 개발해, 문서를 입력하면 원하는 데이터를 OCR이나 딥러닝 추가 학습 없이 즉시 추출한다. 단순 숫자나 텍스트뿐 아니라 검사 결과가 정상 범위에 있는지 여부까지 판단해준다.
트릴리온랩스 신재민 대표, "70B 모델 개발...10배 효율 혁신"
트릴리온랩스 신재민 대표는 “세계에서 가장 작은 회사로서 한국에서 가장 큰 오픈소스 from-scratch LLM을 구축하고 있다”며 발표를 시작했다.
신 대표는 10년간 자연어처리(NLP)와 대규모 언어 모델(LLM) 연구를 이끌어왔고, 네이버 하이퍼클로바X의 핵심 연구원으로 일하기도 했다. 김 대표는 “AI 열풍이 절정인 지금이 스타트업을 창업하지 않으면 안 되는 시기라고 판단해 트릴리온랩스를 설립했다”고 밝혔다.
트릴리온랩스는 한국에서 창업해 프리시드 단계에서 약 580만달러(약 83억원)를 유치하며 단숨에 업계 관심을 집중시켰다. 신 대표 역시 “한국 AI 업계에서는 전례 없는 큰 금액이며, 창업 1년 반 만에 다수의 모델을 출시하고 흥미로운 연구를 진행하고 있다”고 자평하며 말을 이어갔다.
“작은 회사가 직면한 도전 과제는 명확합니다. LLM이 산업과 삶의 방식을 변화시키고 있지만, 모델 구축 진입 장벽은 여전히 엄청나죠. 여전히 수조 개의 토큰, 수백만 달러의 컴퓨팅 비용, 페타바이트급 인프라가 필요하며, 이는 오픈AI, 구글, 앤트로픽, 메타 같은 대기업만 감당할 수 있는 수준입니다. 이러한 상황에서 ‘네이버에서도 할 수 없었던 일을 어떻게 더 빠르고, 더 저렴하고, 더 개방적으로 할 수 있을까?’라는 질문이 트릴리온랩스 창업의 기초가 됐습니다.”
그러면서 신 대표는 “많은 사람들이 왜 한국어 LLM을 만드는지, 왜 처음부터 구축하는지 의문을 제기했다”고 돌이켰다. 오픈소스 LLM이 많은데 왜 파인튜닝하지 않느냐는 질문들이 쏟아질 때, 신 대표는 “진정으로 모델을 커스터마이징하려면 데이터와 모델 가중치에 대한 완전한 소유권이 필요하다”고 답하곤 했다고. 이는 최근 우리나라 정부가 소버린 AI를 후원하는 현재 상황과 맞물리며 부각되고 있다.
실제 트릴리온랩스가 이제까지 선보인 성과는 인상적이다. 0.1B부터 5B, 1B, 7B, 21B까지, 가장 큰 프론티어 규모인 70B까지 모든 풀스택 파이프라인을 단 11명의 연구원으로 불과 1년 만에 개발했다.
또 MMLU와 KMMLU라는 핵심 성능 지표에서 영어와 한국어(일본어, 중국어도 포함) 모두 이전 모델 대비 20%에서 최대 90%까지 개선을 보였다. 특히 신 대표가 강조한 것은 수학과 코딩 성능도 60~90% 향상돼 이제 프론티어 규모에 도달했다는 점이다. 이 모든 것은 21B와 7B 모델을 통해 달성됐다.비용 효율성 역시 핵심 차별화 포인트다. 7B 모델은 약 14만 달러(약 2억원), 프론티어 규모인 21B 모델은 50만 달러(약 7억원) 미만으로 구축했다.
신 대표는 "대략 현재 볼 수 있는 최고의 오픈소스 모델인 Gemma 2, Gemma 2.5, Llama 3보다 10배에서 12배 저렴한 수준”이라며 “훨씬 저렴한 가격뿐만 아니라 매우 경쟁력 있는 성능을 달성했으며, 더 많은 자본이 있으면 훨씬 더 잘할 수 있다”고 자신감을 드러냈다.
이러한 트릴리온랩스의 독점 혁신 기술은 XLDA(Cross-Lingual Document Attention)라 할 수 있다. 다른 한국어 모델들이 수조 개의 한국어 토큰을 사용한 것과 달리 단지 수십억 개, 즉 10% 미만의 한국어 데이터만 사용한 것이 특징이다. 신 대표는 “새로운 어텐션 메커니즘인 XLDA를 통해 수많은 합성 교차 언어 데이터 쌍을 생성하는 효과를 낼 수 있었다”며 말을 이어갔다.
"기본적으로 10배 더 높은 훈련 효율성을 달성했습니다. 10배 적은 데이터와 10배 적은 컴퓨팅을 사용했으니까요. 이런 종류의 혁신이 우리 같은 스타트업이 훨씬 적은 자금으로도 혁신을 만들어낼 수 있게 합니다."
오픈소스 전략도 혁신적이다. 트릴리온랩스는 세계 최초로 영리 조직으로서 모든 중간 체크포인트를 오픈소스로 공개했다. 유사한 시도를 한 곳은 비영리 연구기관인 Allen AI와 허깅페이스뿐이다. 트릴리온랩스는 무작위 초기 베이스라인부터 완전히 사전 훈련된 버전까지 LLM의 중간 체크포인트 가중치를 모두 공개해, 연구자와 개발자가 전례 없는 연구개발을 수행하고 완전한 커스터마이징이 가능하도록 했다.
"제가 이러한 시도를 한 가장 큰 이유는 저는 오픈 인텔리전스를 믿기 때문입니다. AI가 세상을 바꿀 것이라고 믿습니다. 좋은 일도 많이 할 수 있고 나쁜 일도 많이 할 수 있지만, 더 중요한 것은 우리가 그것을 개방적으로 유지하고 레시피를 개방한다면 세상을 더 안전하게 유지할 수 있다고 생각합니다."
이어 신 대표는 최신 연구 성과인 'Our Bridge'도 소개했다. 신 대표에 따르면 이는 트릴리온랩스가 모델을 훨씬 저렴하게 훈련할 수 있게 하는 여러 비밀 중 하나다. 딥시크, 구글, 오픈AI의 사전 훈련 연구는 스케일링 법칙 연구로 수렴되지만, 실제 훈련 환경이 아닌 학술 환경에서만 발표됐다. 트릴리온랩스는 실제 프로덕션 레벨 훈련 환경에서 이를 구현했으며, 특히 현재 AGI의 연료인 추론 모델에 집중했다.
신 대표에 따르면 Our Bridge의 핵심은 차별적인 프록시 모델이다. 대규모 추론 모델을 훈련하려면 보통 성능을 예측하기 위해 매우 큰 프록시 모델이 필요한데, 트릴리온랩스는 100배 작은 프록시 모델로도 대규모 추론 모델 성능을 예측할 수 있게 만들었다. 이를 통해 100배 비용 절감과 최대 7700배 컴퓨팅 효율성을 달성했다. 발표 말미, 신 대표는 회사명 트릴리온랩스(Trillion Labs)의 의미를 설명했다.
“첫 번째 T는 LLM훈련에 필요한 trillion tokens(수조 개의 토큰)을 의미합니다. 두 번째 T는 trillion parameters(수조 개의 파라미터)로, 언젠가 이것이 표준이 될 것이라고 믿기 때문이죠. 세 번째 T는 trillion dollar company(1조 달러 기업)로, 트릴리온랩스의 궁극적 목표입니다.”
