최근 LLM 관련 교육을 듣고 있는데요. 이 과정에서 흥미가 가는 부분을 학습했고, 이를 정리하기 위해 글을 작성하게 되었습니다. 1. Tokenization: 텍스트를 조각으로 분리 Tokenization은 텍스트를 처리 가능한 단위(Token)로 쪼개는 과정입니다. 사람은 문장을 단어 단위로 인식하지만, 컴퓨터에게 “단어”라는 개념은...

벡터 데이터베이스와 코사인 유사도는 LLM, 추천 시스템, 검색 시스템에서 핵심적으로 사용되는 개념입니다. 특히 최근의 RAG(Retrieval Augmented Generation) 구조에서는 거의 기본 구성요소라고 볼 수 있는데, 이를 학습한 내용을 정리하기 위해 글을 작성하게 되었습니다. 1. 벡터 벡터(Vector)란 크기와 방향...

회사에서 발생했던 경합으로 인한 이슈를 정리하기 위해 글을 작성하게 되었습니다. 1. 어떤 문제가 발생했을까? 회사에서 스레드 풀 경합으로 인한 연쇄 장애가 발생했습니다. 하나의 API가 이미지 처리를 비동기로 수행하고 있었는데, 공유 스레드 풀을 사용하면서 서로의 태스크가 스레드를 차지하게 되는 구조였습니다. parent() ...

최근 AI에 대한 공부를 하다가, SDK를 연동해 광고 데이터를 수집하는 것을 알게 됐습니다. 이 과정에서 SDK 연동 원리가 궁금해졌고, 이를 정리하기 위해 글을 작성하게 되었습니다. 1. SDK 스크립트 연동 원리 고객사 사이트에 채팅 위젯을 심는 구조는 외부 자바스크립트 파일 하나를 로드해서, 그 스크립트가 고객사 DOM에 위젯을 ...

최근 회사에서 AI를 본격적으로 활용하고 있는데 실제로 일을 하면서 느낀 점은, 어떤 AI 툴을 쓰느냐보다 작업을 어떻게 구성하고 관리하는지 가 더 중요한 것 같았습니다. 그래서 최근 AI를 활용하며 체감했던 몇 가지 작업 방식들과 생각을 정리하기 위해 글을 작성하게 되었습니다. 1. AI 활용 작업 효율화 AI를 활용할 때 더 좋은, ...

정산을 하다보면 생각보다 데이터를 보정해야 할 일이 많이 있습니다. 사용자 행동을 완전히 예측할 수 없기 때문 입니다. 최근 대규모 데이터 보정을 옆에서 보면서 생각이 바뀌게 되었는데, 변화된 생각을 정리하고 싶어 글을 작성하게 되었습니다. 1. 어떤 문제가 발생했을까? 최근 계약서의 수수료율을 변경하면서, 이와 연관된 데이터를 보정해야...

이전에 이해하지 못했던 트랜잭션 롤백 상황을 회사에서 겪었고, 이를 정리하기 위해 글을 작성하게 되었습니다. 1. 어떤 문제가 있었을까? 회사에서 아래와 같은 에러 로그를 확인했습니다. 통계성 데이터를 저장하다가 실패했고, 그 과정에서 트랜잭션이 롤백되며 아래오 같은 로그가 남았습니다. 정확히 기억은 안 나지만 이는 어디에서 한 번 봤던...

최근 Claude 스터디에서 다른 회사에서는 AI를 어떻게 사용하고 있는지 이야기를 나누고 있는데요. 이 과정에서 알게 된 내용을 정리하기 위해 글을 작성하게 되었습니다. 이번 포스팅은 동작 원리 보다 어떻게 잘 사용하는지 에 대한 방법을 다루는 글이기 때문에 SKILL 에 대한 내용을 주로 다룹니다. 🚀 $ npx @anthropic-ai/cl...

csv와 xls의 차이를 잘 몰랐고, 이를 정리하기 위해 글을 작성하게 되었습니다. 아직 작성 중입니다. 1. csv와 xls의 차이 CSV와 XLS(XLSX)의 차이는 파일이 무엇을 저장 대상으로 설계되었는지에 따라 나뉩니다. 1-1. CSV CSV는 데이터 교환을 위한 포맷 입니다. 하나의 CSV 파일은 행과 열로 구성된...

Streaming과 Keyset Paging의 선택 기준을 어떻게 세울지 고민하게 됐고, 생각을 정리하기 위해 글을 작성하게 되었습니다. 1. 대량 데이터를 읽는 두 가지 방식 데이터를 대량으로 읽을 때는 읽기 상태를 어디에서 관리하는지 에 따라 접근 방식이 달라집니다. 크게 데이터 소스가 읽기 상태를 유지하는 방식과, 애플리케이션이 쿼...