Posts

Overview This article covers our journey building a large-scale ML inference pipeline at Karrot (당근) using Python, Apache Beam, and Google Cloud Dataflow. The presentation was given at PyConKR 2025 by Park JunSeong and Byun Kyuhyun from the ML Infrastructure and ML Data Platform teams. AI Platform with Python (PDF) This browser does not support PDFs. Please download the PDF to view it: Download PDF Table of Contents Part 1: ML Infrastructure with Python (by Park JunSeong) Service Growth with AI Models ...

I’ve been using Cursor for a while and found it to be an excellent editor. However, when working on projects that require multiple programming languages, I often experience performance issues with the editor becoming sluggish. This reduces my productivity, so I’ve been searching for a way to use different editor setups for each language. Using Profiles In Cursor (an editor based on VSCode), you can use Profiles to apply different settings for each language. This method doesn’t involve using different settings for each language directly, but rather uses different profiles to manage settings for each language. ...

한동안 Cursor를 사용했고 이것이 훌륭한 에디터라고 생각한다. 하지만 여러 프로그래밍 언어가 필요한 프로젝트에서 작업할 때, 종종 에디터가 무거워지는 경우가 있었다. 이럴 때 생산성이 떨어져서 각 언어마다 다른 에디터 설정을 사용하는 방법을 찾고 있었다. Profile을 이용하는 방법 Cursor에서는 Profile을 이용해서 각 언어별로 다른 설정을 사용할 수 있다. 이 방법은 각 언어별로 다른 설정을 사용하는 것이 아니라, 각 언어별로 다른 프로필을 사용하는 것이다. cmd+shift+p 를 눌러서 >Profiles: New Profile... 를 선택하면 profile을 생성할 수 있다: ...

훌륭한 리더란 무엇인지, 팀의 성과와 잠재력을 진정으로 끌어올릴 수 있는 사람이 어떤 사람인지 고민하는 것이 중요하다. 이러한 고민은 “10x Leader” - 팀의 효율성을 10배로 높일 수 있는 리더라는 개념을 탐구하게 하는 계기가 되었다. “역발상: 어리석음을 피하는 힘” Charlie Munger의 개념은 매우 인상적이다. 이 친숙한 원칙에서 영감을 받아, -10x leader가 되는 것이 무엇인지부터 살펴보았다. 무엇을 추구해야 하는지 아는 것보다 무엇을 피해야 하는지 아는 것이 종종 더 가치있기 때문이다. -10x 리더 팀원들로부터 존경을 얻기 위해 리더가 피해야 할 중요한 점들이 있다. 다음은 리더가 피해야 할 핵심 측면들이다: ...

I’ve been thinking about what makes a great leader - someone who can truly elevate their team’s performance and potential. This led me to explore the concept of a “10x leader” - a leader who can multiply their team’s effectiveness tenfold. I’ve long been fascinated by Charlie Munger’s concept of “Inversion: The Power of Avoiding Stupidity”. Drawing from this familiar principle, I’ll begin by examining what makes a -10x leader, as understanding what to avoid is often more valuable than knowing what to pursue. ...

“AWS Hero가 선정한 2025년 클라우드 트렌드와 신규 서비스 - AWS re:Invent reCap 온라인 콘퍼런스” 에서 공유한 내용을 정리했다. Youtube Summary 주요 발표 내용 기본 빌딩 블록 강화: AWS는 컴퓨팅, 스토리지, 데이터베이스와 같은 기본적인 클라우드 서비스에 더욱 집중하는 모습을 보였습니다. 특히, 4세대 Graviton 칩을 예고하며 데이터베이스 및 웹 애플리케이션 구동 시 성능 향상을 강조했습니다. Amazon S3 테이블 기능 추가로 4K 데이터 처리를 위한 기능이 개선되었고, 글로벌 애플리케이션을 위한 멀티 리전 액티브-액티브 DB가 다수 발표되었습니다. ...

들어가며: 왜 통합 ML 플랫폼인가 머신러닝 플랫폼을 구축하고 운영하다 보면 공통적으로 마주치는 문제들이 있다. 데이터 엔지니어는 Athena와 Glue를 사용하고, ML 엔지니어는 SageMaker를 사용하며, 애플리케이션 개발자는 Bedrock을 사용한다. 각 팀은 서로 다른 도구와 워크플로우를 가지고 있고, 이는 협업의 마찰을 증가시킨다. 더 근본적인 문제는 도구의 파편화가 조직의 인지 부하를 증가시킨다는 점이다. 새로운 팀원이 합류하면 여러 콘솔을 배워야 하고, 권한 관리는 서비스마다 다른 방식으로 이루어지며, 비용 추적은 복잡하고 불투명하다. Amazon SageMaker Unified Studio는 이러한 문제에 대한 AWS의 답이다. 단순히 UI를 통합한 것이 아니라, 데이터-AI-ML의 전체 라이프사이클을 하나의 일관된 추상화로 제공하려는 시도다. ...

업무를 하다 보면 성과를 정량적으로 측정하는 방법에 대해 고민하게 된다. 업무 효율이 향상되더라도 이를 명확한 지표로 나타내기는 쉽지 않다. 이러한 고민 속에서 DORA라는 방법론을 통해 업무를 측정할 수 있다는 것을 알게 되었다. 실제로 측정과 기록, 관리가 필요한 일이라 실무에 적용하기는 쉽지 않지만, 업무를 바라보는 관점을 이해하는 것은 중요하다고 생각한다. 이에 DORA 메트릭스에 대해 조사하고 정리해보았다. DORA(DevOps Research and Assessment) 메트릭스는 DevOps 팀의 성과와 효율성을 평가하는 4가지 핵심 지표이다. 이 지표들을 통해 소프트웨어 제공 프로세스의 품질을 객관적으로 측정할 수 있다. ...

회고를 진행할 때 활용할 수 있는 다양한 방법론들을 소개한다. 각 방법의 특징과 장점을 참고하여 상황에 맞는 방법을 선택하여 회고를 진행할 수 있다. 1. KPT (Keep, Problem, Try) 간단하면서도 실용적인 회고 방식으로, 개인 회고에 매우 적합하다. 때로는 가볍게 프로젝트 회고를 진행할 때도 유용하다. Keep: 잘했던 것, 유지하고 싶은 것 Problem: 문제점, 개선이 필요한 것 Try: 앞으로 시도해볼 것, 개선 방안 2. 5F (Fact, Feeling, Finding, Future, Feedback) 감정적인 부분까지 깊이 있게 돌아볼 수 있는 방법이라고 한다. 실제 업무에서 사용해본 적은 없다. 다만 감정을 느낀다는 측면에서 개인 회고에 적합하다고 한다. ...

개요 ML Data platform engineering에서 Feature Store의 성능을 개선하기 위해 storage 옵션들을 검토하고 있다. Remote cache만으로는 network latency 문제가 있어서, disk storage를 활용하면 더 빠른 데이터 접근이 가능할 것으로 기대된다. 이 글에서는 AWS EC2에서 사용할 수 있는 주요 storage 옵션들을 비교 분석한다: Storage 최적화 EC2 인스턴스: 로컬에 직접 연결된 NVMe SSD로 최고의 I/O 성능 제공 EBS (Elastic Block Store): EC2에 연결되는 블록 스토리지로 높은 IOPS와 처리량 지원 FSx: 완전 관리형 파일 시스템으로 여러 EC2 인스턴스에서 공유 가능 EFS (Elastic File System): 완전 관리형 NFS 파일시스템으로 자동 확장/축소 지원 AWS EC2의 Storage 최적화 인스턴스 대용량 데이터셋에 대한 고성능 읽기/쓰기 작업이 필요한 워크로드를 위해 설계되었다. ...