44C캐스트 2026년 첫 번째 방송에서 DGX Spark 사용자 3인이 모여 리얼 사용기를 나눴다.
출연진
- 전희원 - 네이버 LLM 모델링, 2025년 11월 MSI 서드파티 제품 구매
- 에션 - 당근마켓 SRE팀, 2025년 11월 DGX Spark 구매
- 변규현 - 당근마켓 ML 데이터 플랫폼팀, 2025년 12월 초 구매
왜 샀는가
세 사람 모두 약 700만 원이라는 가격에도 불구하고 각자의 이유로 구매를 결심했다.
전희원 - 2017~18년부터 1080 GPU 두 장으로 개인 머신러닝 PC를 운영해왔던 경험이 있었고, 오픈소스 LLM 파인튜닝을 개인적으로 해보고 싶었다. 회사 머신으로는 개인 프로젝트를 할 수 없기 때문이다. 그리고 둘째 아이가 개발자를 꿈꾸고 있어서 함께 프로젝트를 해보려는 목적도 있었다.
에션 - 회사에서 LLM을 많이 활용하고 있어서 SRE로서 ML 워크로드의 특성을 알아야 할 필요가 있었다. 맥북 대신 CUDA 생태계를 직접 경험하고 싶었고, 엔비디아 에코시스템이 완전히 동기화된 환경에서 해보는 것이 도움이 되기 때문이다.
변규현 - M3 울트라, M4 맥스를 고민하다가 실제 사용해보니 맥의 아웃풋 토큰과 컨텍스트 처리 속도에 한계를 느꼈다. DGX Spark가 M4 맥스와 가격이 비슷한데 CUDA 생태계와 우분투 기반 서버 환경이 갖춰져 있어서 6개월 고민 끝에 구매했다.
어떻게 쓰고 있는가
로컬 LLM 서빙
세 사람 모두 Ollama를 기본 서빙 도구로 사용하고 있었다. 간편하게 한 줄로 모델을 올릴 수 있고, 웹 UI도 쉽게 띄울 수 있기 때문이다. 좀 더 커스텀이 필요한 경우에는 vLLM을 사용한다.
128GB 유니파이드 메모리에서 GPT OSS 120B 수준의 모델까지 잘 돌아가고, 최근 업데이트를 거치며 아웃풋 토큰 속도도 눈에 띄게 빨라졌다.
파인튜닝과 강화학습
전희원 님은 Unsloth와 TRL을 활용한 통합 Docker 환경을 직접 구축해서 포럼에 공유하고 있었다. vLLM과 Unsloth가 함께 동작하는 환경이 필요한데, 공식 플레이북은 각각 별도의 Docker로 분리되어 있어서 이를 통합한 것이다.
12B 이하 모델을 LoRA로 튜닝하며, GRPO 같은 강화학습 트레이닝을 돌리면 약 72시간 정도 소요된다. 느리지만 결과는 확인할 수 있고, 한번 켜면 꺼진 적이 없다고 한다.
개발 서버로 활용
나는 DGX Spark를 개발 서버로도 적극 활용하고 있다.
- VS Code / Cursor 리모트 접속으로 DGX에서 직접 개발
- Claude Code를 DGX 안에서 돌려서 여러 프로젝트를 동시에 자율 주행
- 맥북이 뜨거워지는 대신 DGX가 대신 뜨거워지는 효과
- tmux 세션으로 작업 컨텍스트를 유지하며 끊김 없이 개발
일반적인 웹/서버 개발도 포트 바인딩으로 로컬과 동일하게 작업할 수 있어서, iOS 빌드 외에는 거의 모든 개발을 DGX에서 하게 됐다.
기타 활용
- 주식 뉴스 스크래핑 및 정리 자동화
- 이미지/영상 생성 파이프라인 (밤에 돌려놓으면 아침에 결과물)
- 마인크래프트 서버 운영 (둘째 아이가 직접)
- NAS 대용
셋업과 삽질
DGX Spark는 우분투 기반으로 엔비디아가 세팅한 환경이 설치되어 있고, 매뉴얼이 잘 되어 있어서 셋업 자체는 어렵지 않다.
다만 ARM CPU 기반이라 일부 소프트웨어는 직접 빌드해야 하는 경우가 있다. 예를 들어 btop을 설치하면 GPU 사용량이 안 나오는데, ARM CPU에서는 GPU가 없다고 가정하고 Makefile이 만들어져 있기 때문이다. 전희원 님이 이를 수정해서 포럼에 공유했다.
비용과 현실
- 본체 가격: 약 700~740만 원 (서드파티 1TB 모델은 약 480만 원부터)
- 전기세: 약 200W 소비, 월 3~4만 원 추가 예상 (누진세 주의)
- 소음/발열: 풀로드 시 소음 있음. 방이 따뜻해질 정도의 발열. 별도 공간 권장
- NVLink 케이블: 약 20~50만 원. 두 대 연결 시 메모리 통합 가능
방송에서 나온 이야기들
“느려서 좋다. 느림의 미학이 있다.”
“생산 설비가 집에 있는 것. 공장 노동자가 아닌 개인 장인이 된 느낌.”
“의도적으로 불편한 것들을 많이 하다 보면 배우는 게 정말 많다.”
세 사람 모두 공통적으로 말한 것은, API로 LLM을 소비하는 사용자가 아닌 빌더로서 직접 만져보는 경험의 가치였다. 비용 걱정 없이 자유롭게 실험할 수 있고, 평소에는 접근하기 어려운 경험들을 집에서 할 수 있다는 점에서 만족도가 높았다.
720만 원을 교육비라고 생각하면 인터넷 강의 10번 결제한 셈이고, 매일 손에 들고 실습할 수 있는 환경이라는 점에서 충분한 투자라는 의견이었다.
개인적으로 느낀 점
M3 울트라, M4 맥스를 한동안 고민했었다. 실제로 M3 울트라를 빌려서 써보기도 했는데, 아웃풋 토큰 속도나 컨텍스트 처리 능력에서 한계를 느꼈다. 그러다 DGX Spark가 눈에 들어왔는데, M4 맥스와 가격이 거의 같았다. CUDA 생태계와 우분투 기반 서버 환경이 갖춰져 있다는 점이 결정적이었다.
사고 나서 가장 크게 달라진 것은 개발 환경이다. 맥북 에어 하나 들고 DGX에 붙어서 개발하는 구조가 생각보다 훨씬 편했다. VS Code나 Cursor로 리모트 접속하면 로컬호스트 포트가 자동으로 바인딩되니까 웹 개발도 불편함 없이 된다. iOS 빌드만 아니면 거의 모든 개발을 DGX에서 하게 됐다.
특히 Claude Code를 DGX 안에서 돌리는 것이 좋았다. 여러 프로젝트에 Claude Code를 각각 띄워 놓고 스펙을 짜서 엔터를 치면, 커피 한 잔 하고 오는 동안 자율 주행이 끝나 있다. 맥북으로 이걸 하면 손가락이 데일 정도로 뜨거워지는데, DGX가 대신 뜨거워지니까 나는 괜찮다.
클라우드에서 GPU를 빌려 쓸 수도 있지만, 클라우드를 쓰면 ‘혹시 내가 돈을 낭비하고 있는 건 아닌가’ 하는 생각을 자꾸 하게 된다. 내 데이터셋 10만 건을 LLM API로 처리하려면 5천만~7천만 원 수준의 비용이 드는데, DGX에서는 자유롭게 테스트하면서 퀄리티를 올릴 수 있다. 비용 걱정 없이 실험할 수 있다는 것 자체가 큰 차이다.
그리고 하나 더 인정해야 할 것이 있다. 인테리어 효과가 생각보다 크다. 거실에 딱 놓고 보면 그냥 기분이 좋다. 엔비디아가 하드웨어를 정말 잘 만들었다고 느낀 것은 이 제품이 처음이었다. 알루미늄 커팅이나 마감이 애플 제품과 견줄 만한 수준이다. 매일 보면서 ‘오늘은 뭘 돌려볼까’ 하는 생각이 자연스럽게 든다.
앞으로의 커리어를 생각하면, 회사들이 점점 자체 GPU 클러스터를 구축하고 운영하게 될 것이다. 그런 면에서 개인적으로 이 환경을 경험해 두는 것은 분명히 도움이 된다. 맥에서 모델을 올려보는 것과 실제 CUDA 위에서 돌리는 것은 온도가 완전히 다르다.