Posts

Overview If you’re running Apache Beam pipelines with GPUs or large ML models, you’ve probably hit “CUDA out of memory” errors. Here’s what’s happening: each worker process loads its own copy of your model, eating up memory until everything crashes. Apache Beam 2.49.0 added MultiProcessShared to fix this. It lets you share one copy of a resource (like a GPU model) across all processes on a worker, instead of loading it separately in each process. This can drop your memory usage from 24GB to 3GB. ...

들어가며: 하나의 장미를 둘러싼 고민 생텍쥐페리의 ‘어린 왕자’를 읽으며 나는 계속해서 한 가지 질문에 사로잡혔다. 어린 왕자의 장미는 정말 특별한 것일까, 아니면 그가 시간을 들였기에 특별하다고 믿게 된 것일까? 이 질문은 단순해 보이지만, 깊이 파고들수록 우리 삶의 근본적인 가치 판단 문제와 맞닿아 있다는 것을 깨닫게 된다. 나는 이 글에서 명확한 답을 제시하려 하지 않는다. 오히려 여러 관점에서 이 문제를 바라보고, 각 관점이 어떤 통찰을 주는지, 또 어떤 한계를 가지는지 함께 고민해보고자 한다. 어쩌면 내 생각이 틀릴 수도 있고, 독자 여러분은 전혀 다른 결론에 도달할 수도 있다. 그것이 철학적 사유의 본질이 아닐까. ...

Overview This article covers our journey building a large-scale ML inference pipeline at Karrot (당근) using Python, Apache Beam, and Google Cloud Dataflow. The presentation was given at PyConKR 2025 by Park JunSeong and Byun Kyuhyun from the ML Infrastructure and ML Data Platform teams. AI Platform with Python (PDF) This browser does not support PDFs. Please download the PDF to view it: Download PDF Table of Contents Part 1: ML Infrastructure with Python (by Park JunSeong) Service Growth with AI Models ...

I’ve been using Cursor for a while and found it to be an excellent editor. However, when working on projects that require multiple programming languages, I often experience performance issues with the editor becoming sluggish. This reduces my productivity, so I’ve been searching for a way to use different editor setups for each language. Using Profiles In Cursor (an editor based on VSCode), you can use Profiles to apply different settings for each language. This method doesn’t involve using different settings for each language directly, but rather uses different profiles to manage settings for each language. ...

한동안 Cursor를 사용했고 이것이 훌륭한 에디터라고 생각한다. 하지만 여러 프로그래밍 언어가 필요한 프로젝트에서 작업할 때, 종종 에디터가 무거워지는 경우가 있었다. 이럴 때 생산성이 떨어져서 각 언어마다 다른 에디터 설정을 사용하는 방법을 찾고 있었다. Profile을 이용하는 방법 Cursor에서는 Profile을 이용해서 각 언어별로 다른 설정을 사용할 수 있다. 이 방법은 각 언어별로 다른 설정을 사용하는 것이 아니라, 각 언어별로 다른 프로필을 사용하는 것이다. cmd+shift+p 를 눌러서 >Profiles: New Profile... 를 선택하면 profile을 생성할 수 있다: ...

훌륭한 리더란 무엇인지, 팀의 성과와 잠재력을 진정으로 끌어올릴 수 있는 사람이 어떤 사람인지 고민하는 것이 중요하다. 이러한 고민은 “10x Leader” - 팀의 효율성을 10배로 높일 수 있는 리더라는 개념을 탐구하게 하는 계기가 되었다. “역발상: 어리석음을 피하는 힘” Charlie Munger의 개념은 매우 인상적이다. 이 친숙한 원칙에서 영감을 받아, -10x leader가 되는 것이 무엇인지부터 살펴보았다. 무엇을 추구해야 하는지 아는 것보다 무엇을 피해야 하는지 아는 것이 종종 더 가치있기 때문이다. -10x 리더 팀원들로부터 존경을 얻기 위해 리더가 피해야 할 중요한 점들이 있다. 다음은 리더가 피해야 할 핵심 측면들이다: ...

I’ve been thinking about what makes a great leader - someone who can truly elevate their team’s performance and potential. This led me to explore the concept of a “10x leader” - a leader who can multiply their team’s effectiveness tenfold. I’ve long been fascinated by Charlie Munger’s concept of “Inversion: The Power of Avoiding Stupidity”. Drawing from this familiar principle, I’ll begin by examining what makes a -10x leader, as understanding what to avoid is often more valuable than knowing what to pursue. ...

“AWS Hero가 선정한 2025년 클라우드 트렌드와 신규 서비스 - AWS re:Invent reCap 온라인 콘퍼런스” 에서 공유한 내용을 정리했다. Youtube Summary 주요 발표 내용 기본 빌딩 블록 강화: AWS는 컴퓨팅, 스토리지, 데이터베이스와 같은 기본적인 클라우드 서비스에 더욱 집중하는 모습을 보였습니다. 특히, 4세대 Graviton 칩을 예고하며 데이터베이스 및 웹 애플리케이션 구동 시 성능 향상을 강조했습니다. Amazon S3 테이블 기능 추가로 4K 데이터 처리를 위한 기능이 개선되었고, 글로벌 애플리케이션을 위한 멀티 리전 액티브-액티브 DB가 다수 발표되었습니다. ...

들어가며: 왜 통합 ML 플랫폼인가 머신러닝 플랫폼을 구축하고 운영하다 보면 공통적으로 마주치는 문제들이 있다. 데이터 엔지니어는 Athena와 Glue를 사용하고, ML 엔지니어는 SageMaker를 사용하며, 애플리케이션 개발자는 Bedrock을 사용한다. 각 팀은 서로 다른 도구와 워크플로우를 가지고 있고, 이는 협업의 마찰을 증가시킨다. 더 근본적인 문제는 도구의 파편화가 조직의 인지 부하를 증가시킨다는 점이다. 새로운 팀원이 합류하면 여러 콘솔을 배워야 하고, 권한 관리는 서비스마다 다른 방식으로 이루어지며, 비용 추적은 복잡하고 불투명하다. Amazon SageMaker Unified Studio는 이러한 문제에 대한 AWS의 답이다. 단순히 UI를 통합한 것이 아니라, 데이터-AI-ML의 전체 라이프사이클을 하나의 일관된 추상화로 제공하려는 시도다. ...

소프트웨어 개발 조직에서 성과를 정량적으로 측정하는 것은 오래된 숙제다. 개발 프로세스가 개선되고 있다는 느낌은 있지만, 이를 명확한 숫자로 증명하기란 쉽지 않다. “어떤 팀이 정말 잘하고 있는가?”, “개선 노력이 실제로 효과가 있는가?“라는 질문에 객관적으로 답하기 위해서는 신뢰할 수 있는 측정 방법이 필요하다. DORA 메트릭스는 이러한 문제에 대한 과학적 접근이다. 측정과 기록, 관리가 필요한 일이라 실무에 적용하기는 쉽지 않다는 평가가 많지만, DevOps 성과를 바라보는 관점을 이해하는 것만으로도 의미가 있다. 이 글에서는 DORA 메트릭스에 대해 깊이 있게 살펴본다. ...