보통 Airflow 와 EMR 조합으로 통계 파이프라인을 관리하곤 한다. 사내에서 빠르게 통계를 구축하고 관리하기 위해 불필요한 인프라 관리를 제외하고 pipeline에 대해서만 집중할 수 있도록 step functions를 도입하고, 이 경험에 대해서 공유해보았다. Youtube Slides Athena & Step Function 으로 통계 파이프라인 구축하기 - 변규현 (당근마켓) :: AWS Community Day Online 2021 from AWSKRUG - AWS한국사용자모임 References https://youtu.be/MS7CulWSc2g https://www.slideshare.net/awskr/athena-step-function-aws-community-day-online-2021
Docker desktop이 유료로 전환된다는 소식이 있다. (링크) 이 소식을 들은 많은 개발자들은 당황했을거라 생각하는데 언제나 그랬듯이 대안은 있다. 사내에 이미 이런 내용에 대해서 대응하신 분이 있고, 그걸 글로 녹여보려고 한다.(Ian 감사해요) 아래 내용은 Mac에만 해당되며, Window는 별도의 방법을 찾아야할지도 모른다. Docker Desktop 삭제하기 이건 어렵지 않다. 다음 그림과 같이 docker desktop > Preferences > troubleshootings > uninstall 을 눌러 삭제한다.(그림참고) 그리고 말끔하게 Applications(응용프로그램)에 있는 docker desktop도 삭제한다. minikube 설치하기 m1 mac인 경우에는 “Disable all drivers except “docker” and “ssh” on darwin/arm64” PR의 내용을 요약하자면, minikube에서는 m1 mac을 사용할 수 없다는 내용이다. docker를 사용하던지 아니면 ssh로 remote host를 써야한다. 로컬에 virtualbox나 vmware로 띄우고 ssh를 써도 사용은 되겠지만, localhost에서 사용하기 위한 다른 설정을 하는 건 조금 수고스럽다고 생각된다. ...
Jandi라는 업무메신저를 개발하는 토스랩에서 어떻게 일하는지 공유할 수 있냐고 요청이 왔다. 이번에 번아웃, One-on-one Meeting, 그리고 회의등에 대해서 고민을 많이 했는데, 마침 적절한 기회라 생각해서 참여했다. 역시 전문적인 사람들이라 인터뷰 내용을 블로그에 깔끔하게 정리해주셨는데, 강조한 내용들을 그림으로 넣어주어 이해를 도왔다. 자세한 내용은 Youtube 영상 및 블로그 글을 참고하길 바란다. Youtube Jandi Blogs http://blog.jandi.com/ko/2021/08/31/how_to_work_carrot_interview/ References http://blog.jandi.com/ko/2021/08/31/how_to_work_carrot_interview/ https://www.youtube.com/watch?v=5I94tQJUrh8
여태까지 서버개발자로 성장하며 생각했던 바를 정리해보았다. 모두 똑같이 성장할 수는 없다. 이렇게 성장한 사람도 있다는 관점에서 봐주었으면 한다. 영상은 원티드 구독을 해야만 볼 수 있다. 발표를 아티클화하였는데, 다음 글을 보는게 제일 빠르게 영상을 이해할 수 있다. 5분도 안걸리니 읽는 것을 추천한다. https://www.wanted.co.kr/events/22_02_s01_b06 참고로, 이때 들었던 분의 요약본도 있는데 이 블로그를 읽어봐도 좋다. Slides 성장하는 서버 개발자 되기 - Wanted Livetalk from Kyuhyun Byun References https://www.wanted.co.kr/events/22_02_s01_b06 요약정리: https://covenant.tistory.com/248 https://www.wanted.co.kr/events/livetalk28 https://www.wanted.co.kr/wantedplus/video/K7txZeA2?category=518
Golang은 Open source project 이며 모든 개발 내역이 Github에 코드로 구현되어 있다. 하나하나의 구현 내용을 이해하고 싶다면 각 패키지를 읽어보며 이해할 수 있다. 그렇지만 방대한 양이기 때문에 처음에 접하는 경우에는 어디서부터 읽어야할지, 그리고 기본적인 구조를 어떻게 잡아야하는지 어렵기만 하다. 그렇다면 Golang의 기본적인 구조에 대해서 이해하고 싶다면 어떻게 시작해야할까? 다행히도 고언어 개발자들은 HANKING.md에 기본적인 내용을 정리해두었다. 고언어의 런타임이 어떤 구조로 이뤄져 있는지, 그리고 동시성 처리를 위한 방식이나 메모리 관리 측면에서는 어떻게 하고 있는지 등 다양한 내용이 정리되어 있다. ...
AWS re:Invent 2020 에서 새로 출시한 AWS Glue DataBrew라는 서비스를 살펴보고, 기존의 Data engineer의 역할을 DataBrew로 어떻게 대체할 수 있는지 설명한다. 마지막으로 DataBrew를 통해 코드 한 줄 없이 ETL을 하는 과정을 데모로 확인한다. Slide Share 데이터 분석가를 위한 AWS 신규 서비스 소개 - 변규현 SW 엔지니어, 당근마켓 from Amazon Web Services Korea Youtube Reference AWS re:Invent recap 2020 행사 링크 https://pages.awscloud.com/aws-reinvent-recap-kr-reg.html
당근마켓에 들어와서 고언어를 어떻게 도입하고, 어떻게 활용했는지에 대해서 정리해보았다. 서비스가 성장함에 따라서 요구하는 조건은 달라지고 이에 최적화된 언어를 도입하고, 기존 서비스에서 필요한 곳만 하나씩 고언어를 통해 플랫폼화하는 방법을 정리했다. Slide Share 당근마켓 고언어 도입기, 그리고 활용법 from Kyuhyun Byun Youtube Reference 어쩌다 밋업 링크 https://www.facebook.com/1512494142177634/posts/3692166177543742/
RDS PostgreSQL에서 Aurora PostgreSQL을 도입한 후기 Presentation RDS에서 Aurora PostgreSQL Migration한 후기 from Kyuhyun Byun Youtube Reference AWS Community Day 2020 소개 링크 https://pages.awscloud.com/aws-community-day-online-2020.html
The journey to adopt the serverless architecture from beginning to advanced. Presentation Handle massive traffic with serverless from Kyuhyun Byun
AWS에서 서버리스로 구현하는 앱은 보통 Javascript 또는 Python으로 작성된다. 그렇지만 AWS Lambda에서는 거의 모든 언어를 지원하고 있다. 더욱이 인프라 및 서버사이드에서 이뤄지는 프로젝트는 대부분 고언어로 작성되고 있다. 생산성 뿐만 아니라 배포시에도 이점을 가져가고 있기 때문이다. Serverless의 장단점에 대해서 이야기하고, Go 언어를 통해 서버리스 Todo 앱을 작성하고 배포하는 예제를 Golang Korea Meetup에서 발표하였다. 다음은 발표 때 사용했던 슬라이드 및 참고한 자료들이다. Presentation Start Serverless with Golang! from Kyuhyun Byun References https://github.com/awslabs/aws-lambda-go-api-proxy https://echo.labstack.com/guide https://serverless.com/ https://github.com/novemberde/go-serverless-demo https://novemberde.github.io/ppts/svelte/ https://github.com/spf13/cobra