기록과 생각을 쌓아두는 갤러리

오늘은 AWS Campus Club에서 여는 ACC SCD(AWS Campus Club Student Community Day)에 참가했습니다! 처음 홍보글을 보고 마치 홀린 듯 festa.io에 들어가 신청했던 기억이 납니다.

AWS Cloud Club은 2023년에 처음 생긴 AWS의 커뮤니티 지원 프로그램인데요. 저도 이 행사를 보고 그 존재를 알게 되었는데, 아쉽게도 이미 대학교를 졸업한 이후라서 눈물을 머금고 AWSKRUG 활동과 교내에 AWS를 알리는 활동들을 더 열심히 해야겠다는 다짐을 하기도 했습니다.

ACC SCD 2024는 3개의 커리어 세션, 3개의 아키텍처 세션, 4개의 DevOps 세션, 2개의 서버리스 세션, 그리고 하나의 스폰서 세션으로 다양하게 구성되었는데요. 저는 아키텍처 기초 세션인 ‘Zero부터 시작하는 아키텍처 설계’, 아키텍처 심화 세션인 ‘Cloud Native 트렌드에는 이유가 있다’, 서버리스 세션인 ‘Lambda와 EventBridge는 여러분께 날개를 달아줘요’, DevOps 세션인 ‘Terraform을 통한 확장 가능한 3-Tier 아키텍처 구축과 CI/CD 구성’, 스폰서 세션인 ‘AWS와 함께하는 Notion API 살펴보기’을 들었습니다.

아키텍처 설계 세션과 Terraform 세션은 연사자분이 자신의 경험을 말씀해주시는 세션이었는데요. 두 주제 모두 지난 연말에 해보았던 것인만큼 큰 공감을 가지고 들었습니다. Notion API 세션 역시 현재 제공되는 Integration에 부족함을 느끼던 제게 큰 도움이 되었습니다. 가장 흥미를 가지고 들었던 세션은 Lambda와 EventBridge에 대한 세션이었습니다. Lambda Trigger을 이용해서 S3, SQS와 연결하거나 EventBridge를 통해 여러 rule을 도입하여 상황에 맞추어 내 마음대로 조정할 수 있다는 점은 앞으로 할 활동들에도 도움이 될 수 있겠다는 생각이 들었습니다.

이번 행사는 Keynote부터 마지막 Event까지 정말 알찬 행사였다는 생각이 드는데요. 별도의 네트워킹 세션이 없었기 때문에 AWS에 관심이 있는 학생들 간의 친목과 교류보다는 지식의 함양에 집중되었던 점에서 아쉬움이 남기는 하지만, 이는 향후 행사를 거듭해가며 개선될 수 있을 문제라고 생각합니다. AWS Cloud Club 행사는 대부분 소속 대학의 학생들로 제한을 걸기 때문에 커뮤니티 데이 말고는 ACC의 발자취를 직접 보기는 힘들겠지만, 저도 이러한 AWS 행사의 연사자 혹은 스태프로서 ACC 분들과 만나뵐 수 있도록 노력해보겠습니다!

Anthropic AI 팀에서 Langchain과의 결합을 지원하는 툴을 발표했습니다.

Langchain은 LLM과 어플리케이션 간의 통합을 지원해주는 SDK입니다. 사실, AI 서비스를 추가할 때 고려해야 할 사항이 참 많습니다. 단순히 데이터로 무엇을 쓸 것이냐부터 시작해서 학습 속도는 어떻게 해야할지, 최적화를 위한 파라미터 값을 어떻게 할 것인지, 한번에 학습하는 크기는 얼마로 둘 것인지, 결과물은 어디에 저장해놓을지 등이 있고 만약 GenAI를 쓴다면 프롬프트로는 무얼 쓸 건지에 대해서도 고민해야 하죠.

일반적으로 이를 해결하기 위해 외부 도구를 쓰게 됩니다만, 이를 관리하는 것은 상당히 귀찮은 일입니다. AWS에서야 SageMaker의 기능이나 Lambda로 어떻게 해결해버린다지만, 필요한 서비스들을 다 지원하면서 가격도 좋은 리전 찾아 삼만리를 한다고 생각하거나 Cloud의 Managed Service를 사용하기 어려운 환경이라면 이마저도 녹록지 않습니다.

이럴 때 Chain과 같이 시스템을 묶어서 관리를 해주겠다는 것이 바로 Langchain입니다. OpenAI의 ChatGPT API Key, HuggingFace에 올라오는 모델들의 액세스 키, 그리고 이번에 추가된 Anthropic도 API Key만 있으면 접근이 가능합니다.

Langchain에서는 개인사용자 상대로 무료로 제공하고 있으며, 현재 Anthropic에 대해서도 documentation과 video를 제공하고 있으니 참고하시면 좋을 것 같습니다!

Docs : https://lnkd.in/gbGiwm72
Video : youtu.be/cVEJaWgiudU

오늘 인공지능특론 수업 시간에 진행한 세미나에서 Denis V. Batalov 연사자님의 발표를 들었습니다. Dennis는 Amazon Web Service에서 Machine Learning and Artificial Intelligence 분야의 Worldwide Technical Leader를 맡고 계십니다. 세미나의 주제는 GenAI 2024로, AWS와 Generative AI 그리고 Responsible AI의 흐름을 전반적으로 훑어볼 수 있는 기회였습니다.

발표 내용은 연사자님의 경험을 바탕으로 이루어졌습니다. 도서의 색인화 작업 경험이나 룩셈부르크에서 AWS로의 근무를 시작한 일, 유럽권 행사에서 이 수업의 교수님인 조영임 교수님과 만난 일, Kindle Direct Publishing과 Amazon Mobile 등에 대한 경험 등은 그가 머신러닝 분야에 전문성을 가지기 위한 토대가 되었습니다. 이외에도 Gartner의 Hype Cycle for AI나 Traditional Models vs Foundation Models 등에 대한 내용을 들으며 업계의 흐름과 주요 개념들을 들을 수 있었습니다.

발표의 후반부는 RAI(Responsible AI)에 대한 내용이었습니다. RAI의 주요 기둥이자 차원으로서 Fairness, Explainability 등이 제시되었는데요. 어떤 것을 편향이라고 규정할 것이며, 분배의 기준은 어떻게 할 것인지 등에 대한 이야기를 나누며 Responsible에 대해 고민할 수 있었습니다. 또 Explainability의 일환으로 Sharpley Value와 SHAP Algorithm 등을 통해 Model Prediction을 설명하는 것에 대한 내용을 들으며 새로운 시각을 얻는 기회가 되기도 했습니다.

발표 이후에 이루어진 QnA 세션 역시 유익했습니다. Worldwide Tech Leader로서, Sagemaker를 제외하고 가장 잘 만들어진 AI/ML 분야의 AWS 서비스를 물어본 질문에 Bedrock을 답해주셨습니다. Bedrock은 SageMaker가 제공하는 라벨링, 대규모 분산 훈련, 배포 등의 기능을 넘어 API 접근성과 지식 베이스 에이전트, workflow에 이르기까지 더 넓지만 더 간단하게 사용할 수 있도록 설계된 서비스라고 합니다.

제가 두번째로 했던 질문은 최근 모두팝 행사에서 손규진 연사자님과 함께 했던 Evaluation 얘기가 생각나서 하게 된 질문이었는데요. LLM의 영어 편향성이 기술 발전을 통해 해소될 수 있을지에 대한 질문에, Dennis는 가능할 것이라고 답해주셨습니다. 그러나 영어는 여전히 common language로서의 영향력이 강한 만큼 세계 각지의 언어와 문화적 차이에 특화된 모델 개발의 중요성 또한 역설했습니다.

오늘 세미나는 GenAI와 Responsible AI에 대해 배울 수 있었던 귀중한 시간이었습니다. 앞으로 제가 AWS와 AI 기술, 그리고 GenAI와 관련된 활동들을 기획하고 참여하는 과정에서 이 세미나를 통해 배운 다양한 지식들이 큰 도움이 될 것이라 생각합니다. 또한, 저도 나중에는 AI와 Cloud 분야의 public speaker로서 누군가에게 나의 지식을 소개할 수 있는 사람이 되어야겠다는 생각이 듭니다.

어제 AWSKRUG Platform Engineering에 개최한 밋업에 참가했습니다. 이번 주제는 배포를 진행하는 환경에서 개발자와 SRE Engineer들의 부담을 덜어주기 위한 내용들이었습니다.

첫번째 세션의 핵심 키워드는 Preview Deployment입니다. Preview Deployment는 베타 배포가 가지는 한계점에서부터 시작하는데요. 단순히 배포 환경의 수준에서만 알고 있던 저에게 소프트웨어 배포 생명주기에 따른 알파, 베타, 리얼의 개념은 새로웠습니다. 서비스를 개발한 이후 가상의 데이터를 이용하여 처음 배포하는 알파 환경, 알파에서 기능 검증이 이루어진 이후 데이터 정합성까지 체크하는 베타 환경, 베타까지 마친 후 실제 출시를 진행하는 리얼 환경은 각각 기존의 QA, Staging, Production 환경이라고 부르는 것과 비슷하다고 생각했습니다. 하지만 실무 환경에서 베타 환경을 충분하게 운용하는 것은 어렵다고 합니다. 필요한 환경이 얼마나 되며, 어느정도 기간까지 운용해야 하고, 만들었을 때 배포 인프라는 어떻게 구축하며, 그 인프라에 관리용 태그는 어떻게 달 것이고, 그 환경으로 이어지는 CI/CD 파이프라인을 생성하고 연결하는 것은 어떻게 하는가 등등의 문제가 산적해 있기 때문입니다.

따라서 이를 해결하기 위해 ‘QA 테스트용’, ‘새로운 MR 생성용’ 등 필요한 시점에 맞추어 생성하고 사용이 끝나면 바로 정리할 수 있는 플랫폼이 요구되었다고 합니다. 또 이렇게 생성된 리소스는 새로 생성한 인프라 리소스 없이 프로젝트 단위로 간단한 파이프라인 설정을 이용해서 사용이 가능하다고 합니다. 발표에서는 브랜치에 대하여 생성되는 임시 환경을 구축한다고 하셨는데요. 이 과정에서 AWS의 S3, CloudFront, Lambda@Edge 등과 함께 Gitlab CI 등을 이용하셨다고 합니다. 발표 내용에는 그 외에도 Subject Alternative Name(SAN)이나 Module Federation 등 다양한 개념들이 언급되어 새로 익힐 수 있었습니다.

두번째 발표는 ‘클라우드 권한을 개발팀에 맡겨도 안전한 당근 리소스 플랫폼’인데요. 개발팀과 SRE팀이 모두 편해지는 클라우드 기반 플랫폼 제작기였습니다. 이번 AWS SUMMIT 2024에 발표될 내용이라 Linkedin에 언급하기는 어렵지만, 발표 내용을 들으면서 Cloud Computing에 대한 많은 인사이트를 얻을 수 있어서 좋았습니다.

이번 밋업은 발표자분들 외에도 질문자 분들에게서도 많은 배움을 얻은 행사이기도 했는데요. 말그대로 ‘이래야 취업할 수 있구나’를 느꼈던 기회였습니다. 이번 두번째 밋업 역시 좋은 기억으로 남아 앞으로도 꾸준히 참석해야겠다는 확신이 들었습니다!

어제, GDG Incheon & Songdo에서 개최한 Build With AI in Songdo에 다녀왔습니다! 오랜만에 연수구로 가는 길이기도 하고, 이번 행사가 이루어진 인천 스타트업 파크 INSTAR I 건물은 지하철과 연결되어 있어 편하게 갔다 온 행사였습니다.

이번 행사는 주로 LLM에 대한 주제를 다루었는데요. 단순히 LLM 기초에 대해 배우는 것을 넘어 LLM을 어떻게 응용할 수 있는지, 한계점을 어떻게 극복할 수 있을지, 또 평가는 어떻게 해야할지 등의 다양한 것들을 들을 수 있었습니다. 또한, Mamba 아키텍처에 대해 배우는 세션도 존재했습니다. 저는 분야 특성 상 LLM의 실무적 특성보다는 이론적인 부분에 관심이 많아서 Tech Session에서 진행되는 ‘트랜스포머는 대체될 수 있는가? (feat. Mamba)’, ‘HAERAE : LLM의 한국어 능력을 어떻게 평가할 수 있는가?’, ‘LLM Safety & Security’와 Hands-on Session에서 진행되는 ‘RAG로 더 똑똑한 Gemini 사용해보기’ 등을 들었습니다.

Mamba 세션에서는 Transformer 모델의 한계와 그로 인해서 등장한 SSM 기반 모델들에 대한 내용을 들었습니다. Transformer는 훌륭한 성능을 가지고 있지만, 메모리 사용량이나 연산 비용, 그리고 Long Term Dependency 같은 문제점에서 한계점을 가지고 있다고 합니다. 이를 해결하기 위하여 Flash-Attention이나 State Space Model 등이 제안되었는데요. 이 발표에서는 SSM에 집중했습니다. 딥러닝에서 SSM를 사용하기 위해서는 이산화를 해야 한다고 하는데요. Euler 방식, Bilinear 방식, ZOH 방식 등 다양한 이산화 방법들을 들을 수 있었습니다. 그 외에도 SSM이 가지는 Kernel, Linear Time Invariant나 Griffin의 Linear Scan, Mamba가 가지는 특성과 아직 Mamba가 Transformer 모델에 비해 부족한 복사, 검색, 문맥 내 언어 학습 등에 대한 내용도 들었습니다.

LLM 평가 세션에서는 HAERAE 팀의 결성 계기와 함께 Evaluation을 위한 새로운 데이터셋 개발을 하게 된 타임라인을 소개해주셨습니다. MMLU와 같은 다양한 분야의 성능을 측정하는 벤치마크는 이미 존재하지만, 이러한 벤치마크를 단순히 한국어로 번역해서 사용하는 데에는 무리가 있습니다. 한국어를 기반으로 하는 환경에서 제대로 평가할 수 있는 벤치마크를 만들기 위해서 HAERAE 팀은 상식부터 전문지식에 이르기까지 다양한 데이터를 탐구하며 어떤 것이 가장 적합할지 고민했다고 합니다. 그리고 그 과정을 통해 KMMLU, HAERAE Benchmark 등 다양한 벤치마크를 만들어낼 수 있었다고 합니다.

그 외에도 Retrieval Augmented Generation(RAG)의 개념을 배우고 Gemini와 LangChain을 통해 실제로 구현해보는 Hands-on 시간이나, 기존 ML부터 이어지던 보안 이슈부터 시작하여 LLM에서 새롭게 생겨나는 보안 관련 사항들은 알아보았던 세션까지 다양한 지식을 쌓을 수 있었습니다. 재미있게 참여했던 행사라 다음에 참여할 만한 행사가 있다면 다시 오고 싶습니다!

어제 Google Cloud Korea에서 여는 Cloud Onboard 행사에 다녀왔습니다!

AWS에 대해서는 이제 익숙해졌지만 다른 CSP에 대해서는 잘 몰랐기에, 좋은 MLOps Engineer가 되기 위해서는 편식하면 안된다고 생각하여 신청하게 된 행사였는데요. 다행히 곧 확정 메일이 와서 기뻤던 기억이 납니다.

물론 GCP의 Managed Kubernetes Service인 GKE나, Gemini와 VertexAI로 비롯되는 AI Playground로서의 서비스들도 좋았지만 제가 제일 주요하게 들었던 부분은 초반에 나왔던 Network에 대한 내용이었습니다. 사용자와 가까운 레이어의 서비스들은 SaaS로도 대체가 가능하고 제가 직접 구축할 수도 있는 부분이기에, 제가 만약 프로젝트의 플랫폼을 결정하게 된다면 Network에 대한 사항을 보고 결정할 것이라 생각이 들었기 때문입니다.

Network 중에서도 대표적으로 소개가 되었던 서비스는 Maglev입니다. Maglev는 “A Fast and Reliable Software Network Load Balancer”라는 이름으로 발표된 Load Balancer입니다. 하지만 뛰어난 성능과 낮은 지연시간을 통해 사용자에게 네트워킹 서비스를 제공하는데요. 이에 따라 Gemini한테 물어볼 경우 AWS의 CloudFront와 대응되는 서비스라고 강경하게 주장하는 것을 볼 수 있습니다!

이외에도 QnA 세션, 다과 세션 등 다양한 세션을 통해 GCP 입문자들이 마음 편하게 밋업을 참가할 수 있도록 구성된 부분도 굉장히 좋았습니다. 다음주에 GDG 송도에서 주최하는 행사에 참가하는데, 이번에 배운 내용을 바탕으로 더 깊은 이해를 가지고 참여할 수 있을 것 같습니다!

어제는 모두의연구소에서 여는 모두POP 행사인 ‘한국어 언어모델 “잘” 평가하기’에 다녀왔습니다. 22년 10월 ‘AI+Finance’라는 주제로 손규진 연사님의 발표를 들은 이후로 약 2년만에 다시 듣게 되는 연사님의 세미나였는데요. 여전히 멋있으신 모습이라고 생각하며 세미나를 들었습니다.

사실 이번 주제는 이미 Build with AI with Songdo에서 들었기 때문에 가볍게 생각하고 들으러 갔는데, 지난 토요일에 들었던 내용에 대해서 더 자세히 들을 수 있어서 많은 배움을 얻고 돌아가는 기회였습니다. 세미나는 HAERAE 팀의 한국어 벤치마크 소개와 함께 다양한 관심사에 대한 이야기를 하며 진행이 되었습니다. 발표에서도 소개가 되었고 외부에 제출도 된 벤치마크는 크게 4가지였습니다.

첫번째로 나온 벤치마크는 HAERAE Benchmark였습니다. HAERAE Benchmark는 평가를 위해 손수 제작한 벤치마크라고 하는데요. 이때 데이터셋의 크기 등의 이유로 한계를 겪었다고 합니다. 이후 극복을 위해 HAERAE Benchmark 2와 CSATQA를 개발했다고 합니다. CSATQA는 한국의 수능 문제 등을 기반으로 만든 벤치마크인데요. MMLU 등 해외 벤치마크에서도 중등교육 시험문제를 scalable한 데이터로 활용한다는 사실을 알게 되면서 자신감을 얻고 KMMLU를 개발하게 되었다고 하셨습니다.

또 KMMLU를 개발하시면서 얻은 인사이트들에 대해서도 소개해주셨습니다. KKMLU에서 평가에 사용한 지표들 중에는 LLM과 GenAI에 관심 있으신 분들이라면 아실 개념인 CoT(Chain of Thought)을 적용한 것도 있는데요. 연사자님은 이것을 “한국어로 이해하고 생성할 수 있는가”로 이해하셨다고 합니다. 실제로 평가 모델들 중 한국어 데이터인 KMMLU에 대하여 Direct 방식에 비해 CoT 방식이 더 좋은 성능을 낸 모델은 한국 모델인 HyperCLOVA X가 유일했습니다.

이는 Regional Variance에 대한 관심으로 이어져 지역 별로 답이 다른 질문에 대한 QA 벤치마크인 QARV를 연구하고 계신다고 합니다. 실제로 연구하신 바에 따르면, CoT 과정이 없으면 prompting만으로는 특정 지역 기반 응답의 경향성을 해소하기 매우 어렵다고 하셨습니다.

이후에 진행된 QA 시간과 네트워킹 시간에서도 많은 지식을 얻었습니다. 가장 기억에 남는 내용은 바로 ‘팀장으로서 팀원들의 동기를 만들어주는 법’이었는데요. 오픈소스 개발팀의 팀장으로서 “스펙으로 만들어주는 것이 가장 중요하다”는 말씀을 해주셨습니다. 저도 늘 스터디나 프로젝트를 진행하면서, 금전적 지원이 힘든 환경에서 어떻게 열정을 북돋을 수 있는가에 대한 고민이 많았기에 깊게 생각해볼 수 있었던 답변이었다고 생각합니다.

모두의 연구소 강남캠퍼스를 방문하는 것이 이번으로 3번째인데요. 매번 흔치 않은 지식과 경험을 모두의 연구소를 통해 배우게 되는 것 같습니다. 언젠가는 저도 모두의 연구소에서 여는 행사의 연사자가 되어보고 싶은 마음도 있는데요. 저도 규진 연사자님처럼 열심히 제 길을 갈고 닦아야겠습니다.

어제 AWS 한국사용자모임 데이터 모임에 참가했습니다. 이날 진행한 세션은 Data Lakehouse와 MeiliSearch에 대한 내용이었습니다.

첫번째 세션에서 다루었던 Data Lakehouse는 정말 놀라웠습니다. 단순히 데이터베이스와 데이터 웨어하우스의 특성 정도만 알던 제게 ‘데이터 레이크하우스’는 상당히 신기한 개념이었습니다. 데이터 레이크하우스는 데이터 레이크와 데이터 웨어하우스의 장점만을 결합한 개념으로, 데이터를 저장 · 관리 · 분석하기 위한 통합 플랫폼을 지향하는데요. 우리에게 익숙한 관계형 구조 말고도 계층적 구조나 네트워크형 구조 등 다양한 구조를 제공합니다. 현대 데이터 웨어하우스는 데이터 레이크와 결합하여 보다 유연하고 확장 가능한 데이터 관리 및 분석 환경을 제공할 수 있다는 말에 깜짝 놀랐습니다. 지난 프로젝트 때 데이터 웨어하우스를 어떻게 사용해야 할지 고민했던 저에게는 정말 매력적인 도구였기 때문입니다. 그 외에도 Hadoop이나 Spark 등 데이터 웨어하우스를 기반으로 오픈 테이블의 일종인 Delta Lake, Iceberg, Hudi 등을 어떻게 적용할 수 있을지에 대해서도 들었는데요. 트랜잭션의 ACID를 보장해줄 뿐만 아니라 동시성이나 로그 및 버전 관리에서도 큰 도움이 된다는 말에 솔깃하기도 했습니다. 특히 AWS에서 제공하는 Athena, Glue 등을 통해서도 오픈 테이블과 데이터 레이크하우스를 경험해볼 수 있다고 하셔서 한번 도전해봐야겠다는 생각이 들었습니다.

두번째 세션인 MeiliSearch는 중간 식사시간과 함께 이루어졌는데요. MeiliSearch에 대한 발표를 들으면서 가장 귀에 들어왔던 부분은 ‘ElasticSearch’에 대한 부분적 대체 가능성이었습니다. 물론 저는 ELK 스택에 대한 교육을 들었지만, Elastic을 통한 Monitoring을 하기 위해 사전적으로 해야하는 활동들은 다소 어려운 점들이 있었는데요. MeiliSearch는 SDK를 제공해줄 뿐만 아니라 연결 방식도 상당히 간단하다는 말에 혹하는 부분이 있었습니다. 이는 ElasticSearch가 백엔드 검색엔진으로서 방대한 양의 데이터 검색, 텍스트 분석 수행 목적에 부합하게 구현된 것과 반대로 MeiliSearch는 최종 사용고객(front-facing search)를 위한 검색엔진을 목적으로 개발되었기에 생긴 차이라고 하는데요. 두 검색엔진 모두 능숙하게 사용할 수 있도록 노력해야겠다는 생각이 들었습니다. 그 외에도 50 밀리초 내 응답이라는 빠른 속도, 접두어 검색을 사용하여 키를 누를 때마다 업데이트되는 결과, 오타 허용과 종합적인 언어 지원, Facet Search 등의 특성 또한 굉장히 마음에 들었습니다.

사실 AWSKRUG의 소모임 참여는 처음이라 다소 긴장하기도 했는데요. 연사 분들의 정성 가득한 발표 덕분에 세션이 완전히 끝났을 때는 긴장도 풀리고 더 듣고 싶은 마음이 가득해질 정도였습니다. 이후로도 소모임 참여를 해서 앞으로는 어엿한 AWSKRUG의 일원이 되고자 노력해야겠습니다.

오늘은 뤼튼테크놀로지스와 GDSC에서 주최 · 주관한 Gen AI Onboarding에 참가하여 멋진 강연을 듣고 왔습니다!

뤼튼테크놀로지스는 누구나 쉽게 사용할 수 있는 생성AI 플랫폼 서비스인 ‘뤼튼’을 운영하고 있는데요. 2023년에 설립되어 7개월만에 100만 사용자를 유치할 정도로 놀라운 성과를 보이고 있다는 설명에 깜짝 놀랐습니다. 초반에 잠깐 맛만 봤던 저로서는 ‘계속 써볼걸’이라는 후회가 들기도 했죠.

오늘 행사는 프롬프트 엔지니어링에 대한 가이드가 담긴 Prompt Specialist와 뤼튼의 개발자 분들이 답해주신 Gen AI Career, 두 가지 세션으로 진행되었는데요. Prompt Specialist 세션에서는 뤼튼 사의 DevRel이신 Chedda 님이 수고해주셨습니다. CoT부터 시작하여 Prompting Process, 7가지 팁에 이르기까지 다양한 방법론들을 배울 수 있는 좋은 기회였습니다.

Gen AI Career 세션에서는 Platform Engineer 한 분과 ML Engineer 한 분이 오셨는데요. 행사를 신청했을 때 받았던 사전 질문들에 대해 두 분의 깊은 지식을 바탕으로 답해주신 내용들은 제 머리 속에도 깊게 남았습니다. 현장 질문들 역시 다른 참가자분들의 날렵하고도 중요한 질문들을 통해 유익한 시간이 되었습니다. 물론, 제가 했었던 직무에 관한 질문에 대해 답해주신 내용들도 큰 도움이 되었습니다.

오늘 진행되었던 3시간이 너무나 짧게 느껴지기도 하는데요. 현업 개발자 분들이나 예리한 질문들을 해주신 참가자 분들과 네트워킹을 하고 싶었지만 귀가해야 할 시간이 다 되어 나오게 되어 아쉬움이 남습니다.

평소에 ChatGPT를 사용하다 보면 아래에 ‘Check Hallucination’ 버튼이 뜨기에 ‘새로운 기능이 업데이트되었구나’ 생각했는데요. 오늘 사용해보니 Liner에서 제공하는 기능이었습니다.

작동하는 모습을 보았을 때, response에 있는 내용에서 키워드를 뽑고, 해당 내용들을 검색하여 Sentence Similarity 내지는 NLI 작업을 수행하는 것으로 보였습니다. 생각보다 성능이 좋아 횟수 제한과 확인 가능 개수 제한을 가지고 있음에도 많이 사용할 기능이 될 것 같습니다!

지난 방학에 진행한 실무 프로젝트에서 한 업무 중에는 ‘팀 내부에서 사용할 툴의 기획, 설계, 구축 및 유지관리를 하는 업무’가 있었고, 이를 Platform Engineering이라고 한다는 사실을 나중에 알게 되었는데요. 작업 내내 흥미로움이 계속 유지되었던 작업이었던 만큼, 향후에도 제가 하고 있을 법한 직무라고 생각하고 “나를 나타낼 수 있는 역량”으로서 전문성을 강화하기 위해 어떤 방법이 있을까 고민이 있었습니다.

그러던 중 발견한 블로그가 있어 저장의 용도로 올려놓습니다!

https://tech.kakaopay.com/post/kakaopaysec-devops-platform/

참석 증명서가 한 20일만에 온 것 같습니다.

당시 들었던 강연으로는 윤석찬 님의 AWS Re:Invent Recap 오프닝 세션, 채정희 SA님의 AWS Well-Architected Framework을 이용한 디자인 설계 원칙 강연, 조소현 SA님의 VPC-온프레미스 네트워크 연결 서비스 강연, 김정원 SA님의 Cost Explorer를 통한 비용관리 강연, 정재민 SA 님의 CloudWatch를 통한 모니터링 강연 등이 있는데요. 추가적으로 더 듣고 싶은 강연들이 많았지만 이후에 일정이 있어 당장 프로젝트에 필요함을 느꼈던 것들만 듣고 끝냈던 아쉬움이 있습니다.

다행히 AWS Builders Online Series는 이후에도 강연을 볼 수 있도록 제공하는 만큼 프로젝트가 끝나고 여유가 생겼을 때 다시 한 번 볼 수 있을 것 같아 기쁩니다! 최근에 관심을 가지게 된 서버리스에 대한 내용을 다뤄주시는 김진아 SA님의 강연이나, 제 직무 역량을 키워줄 수 있는 데이터 거버넌스에 대한 내용을 다루는 김탁용 SA 님의 강연, 최근 PartyRock 해커톤에 참여하면서 관심을 가지게 된 LLM을 본격적으로 다뤄볼 수 있는 Amazon Bedrock을 다뤄주시는 황장환 SA님의 강연, 그리고 저에게 MLOps의 역량을 키우는 데 도움이 될 CDK를 다루는 김도형 SA님의 강연까지 많은 것들이 기대가 되기도 합니다.

2024년도 클라우드와 데이터가 가득한 한 해를 보내도록 노력해야겠습니다.

가장 이상적인 PR의 크기가 50줄이라는 사실 알고 계신가요? 커밋을 할 때, 문제가 생겼을 때 되돌리기 쉽도록 최소한의 단위(hunk)로 하는 것을 권장하는 것처럼 PR에 대해서도 리뷰어가 거대한 양을 보고 당황하지 않도록 코드 리뷰를 하기 적당하게 잘라 쓸 것을 권장하고 있는데요. 그런데, 사실 ‘구현하다 말고 50줄 체크해서 PR 날리기’는 상당히 잊기 쉬운 작업이죠. 그래서 며칠 동안 찾아보니 이를 보조해줄 수 있는 개념들이 많이 나오는 것 같습니다.

기본적으로는 Trunk Based Development가 있다고 합니다. 사실 이건 직접적으로 PR을 다루는 방법론은 아닌데요. Git Flow나 Github Flow에서의 개발이 feature -> dev -> release -> main으로 이어지는 파이프라인으로 인해 뒤로 갈수록 PR이 커지는 반면에, TBD에서는 trunk/main에 바로 PR을 날리기 때문에 하나하나의 길이는 줄어들게 됩니다.

또한, graphite.dev에서는 stacked PR(stacked diff로도 많이 부르죠)라는 개념을 도입해서 변경사항 단위로 integration을 관리하는 기법을 제안했습니다. 일단 다른 사람의 PR이 merge될 때까지 기다리지 않아도 된다는 장점이나 구글에서도 Phabricator이라는 사내 서비스를 통해 사용하는 검증된 기법이라는 이유로 생각보다 많이 사용하시는 것 같습니다.

마지막은 GitButler의 Virtual Branch입니다. Virtual Branch는 사용자가 로컬의 변경사항들을 여러개의 가상 브랜치로 분류한 다음, 원하는 것만 올릴 수 있도록 돕는 방식입니다. 일단 개발은 마음껏 해놓고 나중에 나눠주면 되니 상당히 간편한 방식인 것 같습니다.

참고: https://graphite.com/blog/the-ideal-pr-is-50-lines-long