딥러닝 프로젝트 발목 잡는 네트워크-스토리지 성능 해결 팁

[AI 요약] 딥러닝 프로젝트에서 기업들이 처리해야 하는 작업이 증가하고 있지만 모델이 점점 커지고 있다는 것이 문제이다. 그래서 모델 개발과 트레이닝 관련 성능부족, 간선 현상을 어떻게 해결할 지에 대한 답이 필요한데, 이를 위해 데이터 처리 최적화, 데이터를 가까이에 두고 성능을 해결하는 것이 기본 중의 기본이라는 것 외에도 네트워크 토폴로지 최적화는 어려운 과제라고 한다. 딥러닝 전문가가 될 필요는 없지만, 딥러닝 클러스터를 쓰는 곳이라면 이들 기술을 이해도 바탕이 되어야 한다.


딥러닝 프로젝트에서 컴퓨팅 성능에 대한 기업의 고민이 깊어지고 있습니다. 클러스터가 처리해야 하는 작업은 나날이 늘고있죠. 문제는 모델이 점점 커지는 데다 트레이닝을 위해 사용하는 데이터 양이 많아지고 있다는 것입니다.

그래서 모델 개발과 트레이닝 관련 성능부족, 그리고 병목 현상을 어떻게 해결할 지에 대한 답이 필요합니다.

이러한 성능문제에 대해 정답은 없습니다. 사례에 따라 병목을 일으키는 원인과 구간이 다를 수도 있죠. 물론 성능 문제 해결을 위한 기본은 먼저 데이터 처리 최적화 입니다. 데이터가 이동하는 경로를 최단으로 잡는 것이 중요합니다. 데이터를 가까이에 두고 성능을 해결하는 것이 기본 중의 기본이죠.

유클릭의 김광정 상무와 비대면 인터뷰를 통해, 대규모 분산 컴퓨팅 환경에서 딥러닝 프로젝트에 필요한 네트워크와 스토리지 성능 문제 해결 팁을 들어봤습니다.

유클릭 김광정 상무

콜드와 핫 데이터 구분이 중요

다른 분야와 마찬가지로 딥러닝 역시 티어링 개념을 적용해 가까이 둘 데이터와 거리를 조금 두어도 되는 데이터를 구분합니다.

자주 쓰지 않는 콜드 데이터 성격의 데이터 세트는 가성비가 좋은 오브젝트 스토리지에 저장합니다. 사용 빈도가 더 높은 웜 데이터는 올플래시 스토리지 같은 고성능 스토리지에 둡니다.

그리고 매우 빈번하게 사용하는 핫 데이터는 로컬 캐시나 메모리를 이용하는 것이 가장 좋습니다. 보통 GPU를 이용하는 환경에서는 GPU 메모리를 사용합니다.

딥러닝 트레이닝 관련 속도와 효율에 영향을 끼치는 네트워크 토폴로지 최적화는 어려운 과제입니다. 알아야 할 것이 너무 많죠. InfiniBand, RoCE, RDMA, SHARP(Scalable Hierachical Aggregation & Reduction Protocole), AR(Adaptive Routing) 등을 두루 알아야 하죠.

또한 GPU 클러스터를 쓰는 곳이라면 NVLink, GPUDirect 등의 기술 이해도 바탕이 되야 합니다.

이 모든 것에 통달하는 것은 사실 딥러닝 클러스터 사용자 관리자의 몫이 아닙니다. 본영의 업무가 아니죠. 그렇다면 어떻게 네트워크 토폴리지 최적화를 바탕으로 스토리지 병목 문제를 해결할 수 있을까요?

딥러닝 및 GPU 클러스터 관리자가 네트워크, 스토리지 전문가가 될 필요는 없다

몇가지 팁을 정리해 봅니다.

첫번째는 cnvrg.io나 slurm 같은 도구를 이용하는 것입니다. 트레이닝 잡과 사용자 관련 자원 오케스트레이션 자동화 도구를 이용하면 손쉽게 성능 문제를 해결할 수 있습니다. 데이터센터 인프라 모니터링 솔루션으로 GPU 활용률, 텐서코어 활용률, CPU 활용율, IO 평균값 등을 체크하면서 선제적으로 성능 문제가 생기기 전에 아이들 잡 같은 것을 정리하는 것도 방법일 수 있죠.

NVIDIA A100 GPU를 장착한 최신 시스템을 사용 중이라면 NVIDIA Magnum IO의 혜택을 누릴 수 있습니다. 이 기능은 NCCL, NVLink, NVSwitch, GPUDirect P2P, GPUDirect RDMA, GPUDirect Storage, UCX, MPI 같은 기술을 활용해 IO를 가속합니다. 물론 사용자는 이들 기술을 몰라도 됩니다. 그저 이 기술이 제공하는 가속의 혜택을 Magnum IO로 간편이 누리면 됩니다.

이 밖에도 코드 수준에서 가속하는 방법도 있습니다. NGC가 제공하는 최신 소프트웨어, 컨테이너 이미지 등을 이용하면 CUDA-X 환경에서 딥러닝 프레임워크를 손쉽게 가속할 수 있습니다.

이상으로 딥러닝 클러스터 성능 이슈를 네트워크와 스토리지 측면에서 어떻게 해결할 수 있는지 간단히 알아 봤습니다.

김효정 기자

hjkim@tech42.co.kr
기자의 다른 기사보기
저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지

관련 기사

'특금법·금소법 시행' '플랫폼 국감'... 추석 끝나고 봅시다!

10월 네이버, 카카오, 쿠팡, 야놀자 ‘네카쿠야 플랫폼 국감 돌입 25일 특금법, 금소법 시행 어떻게 될까? 코로나19 확진자가 여전히 2000명 대를...

알파벳, 룬 프로젝트 불씨 살렸다···풍선대신 레이저로 글로벌 인터넷 재점화

풍선도, 태양광 드론도, 인공위성도 아니다. 이젠 ‘레이저 빔’이다. 알파벳 자회사 ‘X’가 ‘글로벌 인터넷 구축’의 꿈에 다시 불을 댕겼다. 아프리카에서 레이저...

나는 '지금' 원한다... BNPL은 왜 주목받는가?

상품은 돈이 있어야 살 수 있다. 이커머스 시장의 확장은 결제 능력의 성장과 함께 움직이는 셈이다. 그러나 그 의미가 꼭 현재...

온라인 광고 캠페인을 알아서 집행하는 AI

온라인 광고의 비중을 높이는 곳이 많다. 퍼포먼스 마케팅 인력을 고용하거나 대행사를 이용해 광고를 집행하는데, 앞으로는 AI에 맡겨봐도 좋을 것 같다....