Runpods, A100 80GB를 1시간에 2400원: Colab, AWS보다 저렴!

안녕하세요, 여러분! 오늘은 AI 및 기계 학습 애플리케이션을 위한 혁신적인 클라우드 컴퓨팅 플랫폼, ‘RunPods’에 대해 소개하려고 합니다. 최근 많은 관심을 받고 있는 이 플랫폼은 GPU 인스턴스, 서버리스 GPU, AI 엔드포인트 등 다양한 기능을 제공하며 클라우드 컴퓨팅 분야에서 새로운 바람을 일으키고 있습니다.

RunPods은 사용한 시간을 기준으로 과금이 청구되는 서비스이며, 비용이 다른 서비스와 비교했을 때 월등히 저렴하다는 장점이있습니다. 무려! A100 80GB/1시간을 사용하는데 1.79달러입니다. 2023년 08월 17일 기준으로 2401원입니다. 좋은 PC방 1시간 이용 요금과 유사합니다.

Runpods을 처음들어보신 분들 계시죠? 우리가 일반적으로 알고 있는 인공지능 학습 플래폼은 Colab과 AWS입니다. 그러나, Colab은 비용이 너무 높아졌고, 런타임이 너무 자주 끊긴다는 이슈가 발생하고 있습니다. AWS는 진입장벽이 너무 높아 어떻게 학습을 해야하는지 고민되는 경우가 있습니다. 이런 경우, PC방 요금과 유사한 Runpods을 사용하시면 됩니다.

1. RunPods에 대한 소개

1.1. GPU 인스턴스: 초고속 처리의 시작

RunPods의 GPU 인스턴스는 사용자의 요구에 따라 퍼블릭 및 프라이빗 리포지토리를 활용해 몇 초 만에 컨테이너 기반 GPU 인스턴스를 배포합니다. Secure Cloud와 Community Cloud 두 가지 옵션으로 제공되는데, Secure Cloud는 높은 안정성과 보안을 자랑하는 T3/T4 데이터 센터에서, Community Cloud는 P2P 시스템을 통해 실시간으로 연결됩니다.

1.2. 서버리스 GPU: 끊임없는 확장

서버리스는 현대의 클라우드 컴퓨팅 세계에서 빼놓을 수 없는 키워드입니다. RunPods의 서버리스 GPU 서비스는 자동 확장을 제공하여 프로덕션 환경에서도 원활한 작업이 가능하게 합니다. 특히 콜드 스타트 시간이 짧아 작업 효율이 크게 향상됩니다.

1.3. AI 엔드포인트: 다양한 애플리케이션을 위한 완벽한 대응

RunPods의 AI 엔드포인트는 Dreambooth, Stable Diffusion, Whisper 등 다양한 애플리케이션에 적용될 수 있도록 설계되었습니다. 각종 워크로드를 효과적으로 처리하며, 필요에 따라 확장할 수 있는 구조로 되어 있습니다.

1.4. 추가 기능 및 사용자 경험

RunPods는 사용자의 편의와 효율성을 위한 다양한 기능을 제공합니다. CLI/GraphQL API를 활용한 워크플로 자동화, AI/ML 작업 최적화, 온디맨드 및 스팟 GPU 제공, Cloud Sync 등을 통해 사용자는 더욱 원활한 클라우드 컴퓨팅 경험을 누릴 수 있습니다.

2. Secure vs Community Cloud

Secure Cloud란? Community Cloud보다 인터넷이 안정적이며, 빠른 학습 속도를 제공하는 서비스 입니다. 단, 0.1달러 Community Cloud보다 비싸다는 단점도 존재합니다. 특정 GPU는 아직 사용할 수 없기에 Unavailable로 처리되어 있습니다. 저는 이번 프로젝트에서 A100 80GB, Container Disk 200GB, Volume Disk 200GB로 세팅하고 사용하였습니다. 제가 cloudways도 사용해보고 성능을 비교해 보았는데, 체감상 훨씬 RunPods이 빠르게 작동하는 것 같습니다.