솔트룩스가 지난달 28일 서울 역삼 GS타워 아모리스홀에서 개최한 연례 AI 컨퍼런스 ‘SAC(Saltlux AI Conference) 2026’은 ‘AX 2.0, AI 에이전트 폭증의 시대’를 주제로 열렸다. 솔트룩스는 온톨로지 파운드리(Ontology Foundry)와 차세대 언어모델 ‘루시아(LUXIA) 4.0’, 에이전트 스튜디오(Agent Studio), 온프레미스형 AI 어플라이언스 ‘루시아 온 2.0(LUXIA-ON)’ 등 기업 AI 에이전트 구현을 위한 풀스택 AI 구상을 공개했다.
이날 함께 진행된 패널 토론에서는 AI 에이전트가 기업 업무를 넘어 피지컬 AI와 로봇, 산업 자동화 영역으로 확장될수록 이를 뒷받침할 추론 인프라와 AI 반도체의 경제성이 핵심 의제로 떠올랐다. 첫 번째 패널 토론이 ‘물리 세상으로 나온 인공지능’을 주제로 휴머노이드 로봇과 피지컬 AI의 상용화 조건을 다뤘다면, 두 번째 패널 토론은 그 연산 수요를 감당할 반도체 문제로 시선을 옮겼다.
‘NVIDIA, 적인가 친구인가? 소버린 AI 반도체의 미래’라는 제목으로 열린 두 번째 패널 토론에는 이경일 솔트룩스 대표가 모더레이터로 참여하고, 김광정 리벨리온 리더, 윤상현 모빌린트 CSO, 조영진 퓨리오사 VP(부사장)가 패널로 나섰다. 리벨리온은 데이터센터와 대규모 추론 인프라를 겨냥한 국산 NPU(Neural Processing Unit, AI 모델의 추론 연산을 낮은 전력과 비용으로 처리하기 위해 설계된 인공지능 전용 반도체) 팹리스 기업이다. 모빌린트는 엣지·온디바이스 AI에 특화된 저전력 NPU를 개발한다. 퓨리오사는 인퍼런스용 NPU와 텐서 컨트랙션 프로세서(TCP, AI 모델에서 반복적으로 발생하는 텐서 연산을 효율적으로 처리하기 위한 퓨리오사AI의 전용 연산 구조) 구조를 앞세워 전성비와 구조적 효율성을 차별화 지점으로 삼고 있다.
이날 토론의 핵심은 엔비디아가 만든 GPU(Graphics Processing Unit, 그래픽처리장치) 중심 생태계를 어떻게 볼 것인가였다. GPU는 AI 시장을 폭발적으로 키웠지만, 동시에 전력, 비용, 공급망, 종속성 문제도 드러냈다. 국산 NPU 기업들은 이 거대한 생태계와 경쟁하면서도, 그 생태계가 만든 시장 위에서 기회를 찾아야 한다. 이날 세 패널이 공유한 AI 반도체의 다음 승부처는 더 빠른 칩이 아니었다. 그 보다는 실제 서비스에서 얼마나 낮은 비용과 전력으로 지속 가능한 추론을 제공할 수 있느냐에 집중됐다.
AI 반도체 시장의 중심축은 ‘성능’에서 ‘운영비’로 이동
토론은 각 기업의 정체성을 드러내는 것으로 시작됐다. 김광정 리더는 리벨리온을 국산 추론용 NPU를 설계·생산하는 팹리스 기업으로 소개했다. 리벨리온이 바라보는 핵심 질문은 ‘추론 서비스를 어떻게 효율적으로 제공할 것인가’였다. 국내 AI 산업, 이른바 K-AI 생태계가 성장하려면 효율적인 추론 인프라가 필요하고, 리벨리온은 그 기반을 제공하고 있다는 것이다. .
조영진 VP는 퓨리오사를 인퍼런스용 NPU 기업으로 설명하며 구조적 차별성을 강조했다. 다수의 NPU가 행렬 연산을 규칙적으로 반복 처리하는 구조에 최적화돼 있다면, 퓨리오사는 텐서 컨트랙션 프로세서(TCP)를 통해 대규모 AI 모델의 다양한 텐서 연산을 더 유연하게 처리하면서 전력 효율을 높이는 전략을 취하고 있다는 설명이다. 조 VP는 퓨리오사의 칩이 전력 대비 성능비(전성비) 측면에서 경쟁력을 보여주고 있으며, 사업화와 양산 단계에 들어갔다고 말했다.
한편 윤상현 CSO는 모빌린트의 시장이 데이터센터용 대규모 NPU와 다르다고 짚었다. 모빌린트는 서버 중심의 초대형 연산 인프라보다 엣지 영역에 적합한 NPU를 개발하고 있다. 윤 CSO는 지난해 하반기 AI 가속기 칩 ‘아리스(ARIES)’가 양산에 들어갔고, 온디바이스 AI용 초저전력 AI SoC 상용화도 준비하고 있다고 소개했다. 모빌린트가 겨냥하는 시장은 엔비디아식 고성능 경쟁 자체가 아니라, 피지컬 AI 시대의 특성에 맞는 저전력·고효율 솔루션이라는 설명이었다.
이경일 대표는 GPU와 NPU의 차이도 짚었다. GPU가 병렬 연산을 기반으로 AI 학습·추론 인프라의 중심이 됐다면, NPU는 트랜스포머 모델에서 반복되는 텐서·행렬 연산을 더 낮은 전력으로 처리하기 위해 특화된 반도체다. 같은 AI 반도체라고 해도 데이터센터, 엣지, 전력 효율, 소프트웨어 호환성 등 각 기업이 겨냥하는 차별화 지점은 다르다는 설명이다.
첫 번째 본격 질문은 공급 부족이었다. 이 대표는 메모리 반도체 가격 상승과 엔비디아 신제품 가격 인상, AI 반도체 공급 부족 현상을 언급하며, 전 세계적으로 AI 반도체가 실제로 부족한 것인지, 아니면 빅테크와 투자자금이 몰리면서 데이터센터를 과도하게 짓는 과정에서 생긴 일시적 과열인지에 대해 물었다. 이와 관련 이에 대해 윤상현 CSO는 공급 부족이 실제라고 봤다.
“수요 대비 공급이 부족한 것은 맞는 것 같습니다. 공급량은 한정돼 있는데 AI 시대가 워낙 빠르게 성장하고 있습니다. 기존 레거시 칩 기업부터 새롭게 AI 반도체를 만드는 기업까지 모두 같은 공급망을 바라보고 있습니다. 결국 제한된 공급을 두고 수요가 훨씬 더 몰리는 상황입니다.”
조영진 VP도 단기적으로 수요가 꺾일 가능성은 낮다고 봤다. 조 VP는 “생산 쪽과 만났을 때 2027년, 2028년까지는 크게 걱정하지 않는 분위기를 전해 들었다”고 말했다. 다만 2029년 이후에는 불확실성이 있다는 의견도 덧붙였다.
김광정 리더는 국내 시장 관점에서 보면 메모리 부족과 가격 상승이 더 명확하다고 말했다. 글로벌 전체로 보면 거품 논쟁이 가능하지만, 국내 기업과 실제 사업 현장에서는 메모리가 부족한 것은 분명하다는 것이다.
“국내 관점에서 보면 메모리가 없는 것은 분명합니다. 저희도 메모리를 구하느라 굉장히 힘들고, 서버 가격과 메모리 가격이 작년 이맘때 대비 크게 올랐습니다. 특정 메모리에만 수요가 몰리는 것이 아니라 LPDDR부터 GDDR까지 다양한 메모리가 추론 서비스에 적용되고 있습니다. 당분간 메모리는 계속 부족할 수밖에 없다고 봅니다.”
공급 부족 논의는 곧 고객의 선택 기준으로 이어졌다. 초기 AI 반도체 시장에서는 처리량(throughput), 지연시간(latency), 초당 토큰 생성 속도 같은 성능 지표가 강조됐다. 그러나 실제 서비스 단계로 넘어가면서 전기요금, 운영성, 총소유비용(TCO)이 더 중요한 기준으로 떠오르고 있다. 최고 성능 GPU를 전력 비용과 무관하게 들여오는 시장 외에도, 다른 의사결정 기준을 가진 시장이 커지고 있다는 의미다.
이와 관련해 조영진 VP는 “엔비디아의 최신 고성능 제품은 일반 데이터센터에 그대로 넣기 어려운 경우도 있고, 데이터센터 자체를 새로 지어야 하는 수준의 전력·냉각 조건을 요구할 수 있다”며 의견을 더했다.
“처음에는 처리량과 지연시간 중심으로 봤습니다. 지금은 비용, 전성비, TCO를 많이 따지는 방향으로 오고 있습니다. 최신 고성능 GPU는 일반 데이터센터에 그대로 들어가지 못하는 경우도 있습니다. 데이터센터부터 새로 지어야 한다면 고객 입장에서는 전력과 운영비를 따질 수밖에 없습니다. 레거시 데이터센터나 전력 제한이 있는 고객에게는 최고 성능보다 운영 가능한 효율이 더 중요하니까요.”
한편 윤상현 CSO는 엣지 시장에서는 이 문제가 더 극단적으로 나타난다고 설명했다. 데이터센터에서는 300~400W급 GPU를 운용할 수 있지만, 디바이스나 가정용 전력 환경, 배터리 기반 장치에서는 불가능하다. 과거 엣지 NPU 수요는 주로 비전 모델에 집중됐지만, 챗GPT 이후 사용자는 디바이스 단에서도 언어모델과 트랜스포머 기반 AI 기능을 기대하기 시작했다. 이 때문에 엣지 반도체는 성능, 전력, 가격이라는 삼중고를 동시에 해결해야 한다. 이어 김광정 리더는 “NPU가 실증 단계를 지나 실제 서비스 단계로 들어가면서 평가 지표도 바뀌고 있다”며 말을 덧붙였다.
“GPU가 쓰일 수 있는 곳은 분명히 있고, 압도적으로 성능을 내는 영역도 있습니다. 하지만 그 비용이 너무 크다면 일반적인 추론 서비스에서는 토큰당 비용을 따질 수밖에 없습니다. 지금 고객들은 엔드투엔드 AI 서비스의 TCO와 운영성을 훨씬 더 중요하게 보고 있습니다. 바로 그 지점이 NPU의 경쟁력이라고 봅니다.”
이 첫 번째 논의에서 모아진 의견을 정리해보면, GPU 중심 생태계는 여전히 강력하지만 모든 추론 서비스를 최고 성능 GPU로만 처리하는 방식은 비용과 전력 측면에서 지속 가능하지 않을 수 있다는 점이다. 기업 AI, 피지컬 AI, 온디바이스 AI, 엣지 AI가 확산될수록 더 많은 고객은 ‘가장 빠른 칩’보다 ‘실제로 운영 가능한 칩’을 찾게 된다. 국산 AI 반도체 기업들이 겨냥하는 시장도 바로 이 지점이다.
승부처는 소프트웨어 스택, 인터커넥트, 메모리 아키텍처
두 번째 주제에서 논의는 더 기술적인 방향으로 깊어졌다. 이경일 대표는 NPU 내부에서도 다양한 구조와 시도가 나오고 있고, AI 반도체 시장에서는 GPU와 NPU를 결합하거나 새로운 메모리 구조를 도입하는 등 여러 실험이 진행되고 있다고 짚었다. 이어 향후 1~3년 사이 AI 반도체 시장에서 가장 큰 기술 변화가 무엇일지 물었다.
이에 대해 조영진 VP는 “모델과 하드웨어가 동시에 커지면서 메모리 비용이 AI 반도체의 핵심 병목으로 부상하고 있다”며 말을 이어갔다.
“가장 큰 어려움은 역시 메모리 비용입니다. 지금은 지금까지는 AI 모델이 질문을 이해하는 단계와 답변을 생성하는 단계를 나눠 처리하는 방식이 주로 논의돼 왔지만, 앞으로는 모델 내부의 핵심 연산도 성격에 따라 더 세분화해 처리하려는 시도가 늘어날 것으로 봅니다. 일부 연산을 SRAM(Static Random Access Memory, 반도체 칩 안에 가까이 붙여 넣을 수 있는 빠른 메모리) 기반으로 처리하는 방향이 큰 변화로 다가올 수 있습니다. 그런 구조가 현실화되면 AI에서 필요한 메모리 규모를 크게 줄이는 충격이 될 수 있습니다.”
이 대표는 이 대목을 받아 AI 반도체의 병목이 순수 연산량에서 메모리 대역폭과 비용으로 이동하고 있다고 정리했다. 컨텍스트 길이가 길어지고 모델이 커질수록 HBM, SRAM, 웨이퍼 스케일 칩 등 새로운 메모리·칩 아키텍처 실험이 중요해진다는 설명이다. 결국 AI 반도체 경쟁은 칩 하나의 성능이 아니라, 연산과 메모리, 네트워크를 어떻게 묶어 시스템으로 설계하느냐의 문제로 확장되고 있다.
한편 김광정 리더는 리벨리온의 기술 전략을 ‘효율적인 추론 서비스의 딜리버리’로 설명했다. 아무리 칩을 잘 설계해도, 실제 고객이 쓰는 다양한 AI 에이전트와 추론 서비스를 큰 노력 없이 옮겨와 쓸 수 없다면 의미가 작다는 것이다. 그러면서 NPU 서버 하드웨어와 이를 지원하는 오픈소스 기반 AI 프레임워크, 소프트웨어 스택을 어떻게 결합하고 확장할지가 리벨리온의 핵심 과제라고 말했다.
“칩을 잘 만드는 것만으로는 충분하지 않습니다. 글로벌하게 많은 사람이 쓰는 다양한 에이전트 서비스와 추론 서비스를 효율적으로 지원해야 합니다. 다른 반도체 환경에서 쓰던 서비스를 저희 쪽으로 큰 노력 없이 가져와 쓸 수 있어야 합니다. 그래서 하드웨어와 오픈소스 기반 AI 프레임워크, 소프트웨어 스택을 어떻게 결합할지가 굉장히 중요합니다.”
김 리더는 하드웨어 측면에서는 여러 개의 작은 반도체 조각을 하나처럼 묶어 성능을 키우는 칩렛 구조와, 이 칩들을 빠르게 연결하는 인터커넥트 기술이 중요하다고 봤다. 칩렛 기반으로 기능과 모듈을 확장해 가면, 서버 내부와 데이터센터, 엣지 디바이스, 메모리 사이를 연결하는 네트워킹 문제가 커진다. 결국 네트워크 프로토콜과 인터커넥트 솔루션에 투자해야 글로벌 시장에서 경쟁할 수 있다는 설명이다. 이런 접근은 각국과 각 산업이 자체 인프라 기반의 AI 서비스를 요구하는 소버린 AI 흐름과도 맞물린다.
이어 이 대표는 엔비디아의 진짜 경쟁력이 무엇인지도 짚었다. 많은 사람이 엔비디아를 반도체 설계 기업으로만 보지만, 실제 경쟁력은 CUDA(Compute Unified Device Architecture, GPU 병렬 연산 플랫폼·프로그래밍 환경)를 비롯한 소프트웨어 프레임워크, 풀스택 개발 환경, 그 위에서 일할 줄 아는 거대한 엔지니어 생태계에 있다는 것이다. 한국 AI 반도체 기업들이 취약한 부분도 바로 이 지점이다. 칩 설계 못지않게 소프트웨어 스택과 개발자 생태계를 어떻게 쌓을지가 숙제로 남는다.
이에 조영진 VP 역시 인터커넥트를 가장 중요한 기술 변화로 꼽았다. 스케일업을 효율적으로 수행하려면 칩과 칩, 서버와 서버, 노드와 노드 사이를 연결하는 기술이 필수다. 실제 시스템을 구성할 때 백플레인 케이블, 연결 토폴로지, 패키징, 시스템 통합 기술이 매우 높은 수준의 기술을 요구한다는 것이다.
“지금 가장 중요한 부분은 인터커넥트 기술이라고 봅니다. 스케일업을 어떻게 효율적으로 하느냐가 핵심입니다. 실제 시스템을 구성하면 백플레인 케이블부터 연결 토폴로지까지 모두 높은 수준의 기술입니다. 솔직히 말하면 엔비디아와의 기술 격차가 3~4년 이상 벌어져 있다고 느낍니다. 특히 인터커넥트, 패키징, 시스템 통합에서 격차가 큽니다.”
다만 조 VP는 소프트웨어 스택에 대해서는 퓨리오사가 오랜 기간 준비해 왔다고 말했다. 칩이 나오고 사업화 단계까지 가는 데 가장 큰 걸림돌 중 하나가 소프트웨어 스택의 완성도였고, 이 부분이 일정 수준의 완성 단계에 이르렀다는 것이다. 이는 국산 NPU 기업들이 단순 칩 스타트업에서 시스템·소프트웨어 기업으로 진화해야 한다는 점을 보여주는 대목이다.
해외 AI 반도체 기업도 화두에 올랐다. 이 대표는 그록(Groq), 세레브라스(Cerebras), 텐스토렌트(Tenstorrent) 등을 언급하며 한국 AI 반도체 관계자들이 주목해야 할 해외 기업이 어디인지 물었다.
이와 관련 윤 CSO는 미국과 중국 기업, 퀄컴 같은 대형 기업들이 막대한 자본력으로 매년 새로운 칩을 내놓는 상황도 언급했다. 그러면서 윤 CSO는 “국내 스타트업이 매년 새로운 칩을 출시하는 것은 현실적으로 어렵다”며 “2~3년의 하드웨어 세대 차이가 존재하더라도, 모델 경량화와 양자화, 소프트웨어 최적화로 경쟁 가능한 솔루션을 만들어야 한다”고 말했다.
한편 김광정 리더와 조영진 VP는 모두 그록을 주목했다. 김 리더는 엔비디아와 그록의 비독점 추론 기술 라이선스 계약 및 핵심 인력 이동 사례를 두고, 추론 시장이 본격적으로 열리고 있다는 신호로 해석했다. 또 그록이 가진 소프트웨어 포팅 능력, 많은 SRAM을 연결해 서빙하는 네트워킹·인터커넥트 기술을 높이 평가했다.
조 VP는 “특히 GPU가 어텐션 영역의 유연성을 가져가고, 그록식 구조가 피드포워드 연산의 효율을 맡는 방식이 현실화되면 기존 NPU 기업에는 더 강한 경쟁 구도가 만들어질 수 있다”며 “일반 사용자가 접하는 1000억~2000억 파라미터급 모델을 훨씬 낮은 비용으로 서비스할 수 있는 길이 열릴 수 있기 때문”이라고 덧붙였다.
두 번째 논의를 종합하면 엔비디아와 경쟁한다는 것은 소프트웨어 스택, 개발자 생태계, 인터커넥트, 패키징, 메모리 구조, 모델 최적화, 시스템 통합까지 포함돼 있다는 것이다. 이에 대응해 한국 AI 반도체 기업들에 주어진 과제는 NPU 자체의 전성비뿐 아니라, 실제 고객이 기존 AI 서비스를 옮겨와 쓸 수 있는 사용성, 대규모 추론을 안정적으로 처리하는 시스템 기술, 엣지와 피지컬 AI에 맞는 모델 최적화 역량을 함께 확보하는 것이다.
“엔비디아는 스승이자 경쟁자”…소버린 AI 반도체의 미래는 상용화와 생태계에 달렸다
토론 말미에는 투자와 상용화 문제도 언급됐다. 이경일 대표는 리벨리온이 국민성장펀드 직접투자 1호 기업으로 주목받고, 공식 발표 기준 기업가치가 3조4000억원 수준으로 평가된 점을 거론하며 AI 반도체 기업을 보는 시장의 기준을 물었다. 이에 김광정 리더는 “이제 투자자와 시장이 단순 기술 검증보다 실제 상용화 여부와 매출의 맥락을 본다”며 말을 이어갔다.
“이제는 기술적으로 검증됐다는 것만으로는 중요하지 않습니다. 실제 상용화된 서비스에 적용됐느냐가 제일 컸던 것 같습니다. 매출이 일어났다면 그 규모가 어느 정도인지, 그 매출이 어떤 맥락에서 생겨난 것인지가 중요합니다. 지금 NPU는 기술 검증 수준을 넘어 실제 레거시 인프라 위로 올라오고 있는 단계라고 봅니다.”
마지막 공통 질문은 패널 토론의 제목과 같았다. ‘엔비디아는 한국 AI 반도체 기업에게 적인가, 친구인가’, 그러면서 이 대표는 국내 AI 스타트업이 글로벌 기술 변화 속에서 느끼는 압박을 언급했다. 국내 기업들이 어렵게 기술을 준비해도 글로벌 빅테크는 다시금 새로운 모델, 새로운 서비스, 새로운 반도체 아키텍처를 계속 내놓는다. 정부의 관심과 투자만으로는 지속 가능하지 않은 상황이다. 그렇다면 국산 AI 반도체 기업은 어떻게 생존하고, 어떻게 글로벌 경쟁에서 자리를 잡아야 할까? 이에 대해 윤상현 CSO는 흥미로운 생각을 털어 놨다.
“엔비디아는 저희의 스승이자 적이라고 보는 게 맞는 것 같습니다. 엔비디아가 AI 시장을 활성화시켰다는 데는 이견이 없을 겁니다. 다만 그들이 깔아준 판 위에서 실제 AI에 최적화된 반도체 솔루션의 확실한 승자는 아직 없습니다. 그 자리를 차지하기 위해 저희도 고군분투해야 하고, 결국 엔비디아를 이겨야 하는 숙제가 있습니다.”
이에 더해 윤 CSO는 국내 NPU 기업들이 여기까지 온 데에는 정부 지원과 관심이 컸다고 인정했다. 특히 온디바이스 AI와 피지컬 AI는 정부가 주력 산업으로 바라보고 있고, 마중물 역할을 하려는 움직임이 있음을 언급했다. 국내 기업들은 이 기회를 발판 삼아 국내 기반을 쌓고, 이후 해외 시장으로 나아가 글로벌 기회를 만들어야 한다는 것이 윤 CSO의 결론이었다.
조영진 VP는 엔비디아를 보다 직접적으로 경쟁사라고 규정했다. 그러면서도 현재의 GPU 중심 시장을 초기 컴퓨팅의 메인프레임 시대에 비유하며 공략법을 밝혔다.
“엔비디아는 대놓고 저희 경쟁사라고 말합니다. 지금은 AI GPU의 쓰임이 정해져 있는 것처럼 보이지만, 앞으로는 시장이 많이 분화될 것이라고 생각합니다. 개인 PC가 나오고 모바일이 나온 것처럼 AI 반도체도 계속 나뉠 겁니다. 저희는 직접 맞붙기 어려운 영역보다 인퍼런스에서 포지셔닝을 잘하고, 모델 크기와 비용 구조를 활용해 경쟁할 것입니다. 10년 뒤에는 한국의 AI 반도체 기업들이 세계 1위가 되는 날도 올 수 있다고 믿습니다.”
한편 김광정 리더는 엔비디아를 적으로 만들어서는 안 된다고 봤다. 거대한 AI 생태계를 이끌고 있는 기업을 단순한 적으로 규정하기보다, AI 산업을 함께 발전시키는 협력자이자 동반자로 봐야 한다는 것이다.
“엔비디아라는 거대한 기업을 어떻게 적으로 돌릴 수 있겠습니까. 적으로 만들어서도 안 되고, 좋은 협력자나 동반자로 가는 것이 맞다고 생각합니다. 다만 AI 시장은 정말 리얼월드에 있고, 누구나 잘 쓸 수 있어야 합니다. 어떤 시장이든 독과점 구조는 좋지 않습니다. 많은 협력자와 생태계가 만들어질 때 더 좋은 결과물이 나옵니다. 국산 반도체 기업들도 그 생태계에서 상당한 지분을 갖고 글로벌로 나갈 수 있다고 봅니다.”
