전체 글

6,7월 동안 2024 우아한 스터디를 참여했다. 생성 AI가 판을 치는 이 시대, 어떻게 AI를 잘 활용할 수 있을까? 우선 프롬프트 엔지니어링을 잘 하는것부터 시작해야한다. 우리 함께 프롬프트 엔지니어링을 잘 터득해서, AI 시대에 함께 잘 살아보세! 라는 의미로 만들어진 스터디다. 스터디명은 프롬프트 참 잘하는 집! (뭔갈 열심히 튀겨야 할 것 같은) ✔️ 나만의 지원 Tip 공부하겠다고 모이는 스터디에 무슨 지원 팁?.. 이냐 할 수 있다. 그런데 우아한 스터디는 지원하는 사람이 정말 많다 보니, 나름의 전략을 가지고 지원할 수밖에 없다. 사실 작년에 지원했다가 떨어진 이력이 있다. 내 전략은 적극성이었다.(이보다 더 진부한 지원팁이 있을까?..) 스터디와 학교 수업과는 정말 다르다. 누군가 나를..

사이드 프로젝트로 현대자동차 설명서 RAG를 구현하며,경험을 공유하고 있습니다.1. 현대자동차 챗봇 구현기 - RAG 기본 구현2. 현대자동차 챗봇 구현기 - PDF를 잘 추출해야 하는 이유  문제 : RAG의 평가 데이터셋 구축의 어려움초등학생 때부터 지금 까지, 그리고 앞으로도 우리는 끊임없이 시험을 치르게 됩니다. 시험 기간만 되면 모두들 좋은 성적을 받기 위해 밤낮을 새곤 하죠. 하지만, 여기에는 시험을 치르는 사람보다 어쩌면 더 고통을 받는 분들이 계십니다. 바로 시험 문제 출제자들이죠.지정된 범위 내에서 풀 수 있는가? 중복 정답이 있지는 않은가? 출제 의도가 분명한가? 고려해야 할 요소가 상당히 많습니다. 덕분에 시험기간만 되면 출제자들은 문제 출제에 감금이 되곤 하죠. RAG의 성능을 평가..

RAG(Retrieval-Augmented Generation)는 LLM과 검색 기술을 결합하여, 필요한 정보를 검색하고 검색 결과를 기반으로 질문에 답변하는 AI 시스템입니다. 간단한 RAG 시스템을 구현하는 건 그리 어렵지 않습니다. 그러나 프로덕트 수준의 RAG를 개발하거나, RAG의 성능을 끌어내는 일은 상당히 까다롭고 많은 자원이 소모되는 일입니다. 이번 포스팅에선 이러한 RAG 시스템을 효율적으로 구현 및 최적화해 주는 툴인 AutoRAG에 대해서 살펴보겠습니다. 문제 : RAG 최적화의 어려움기본적인 RAG 시스템(또는 Naive RAG)을 구축하는 것은 간단할 수 있지만, 실제 프로덕트 단계에서 요구하는 성능을 가지기 위해선 더 많은 장치들을 필요로 합니다. 예를 들어, 검색 결과의 질을 ..

PDF를 잘 읽는 게 중요한 이유 RAG(Recurrent Attention-Gated) 시스템을 구성하기 위해 가장 먼저 해야 할 작업은 문서를 텍스트 형태로 로드하는 작업이에요. 만약 문서의 종류가 Excel이나 Code 파일 같이 정형화된 파일일 경우, 텍스트로 변환하는 과정이 비교적 수월할 수 있습니다. 하지만, PDF 같이 비정형 파일들은 텍스트로 변환할 때 여러 가지 고려사항이 필요합니다. 아래는 PDF 파일을 단순히 텍스트로 변환한 예시예요.   위의 결과를 보면 PDF 내의 텍스트는 잘 불러온 것처럼 보이지만, 글의 단락과 구성이 반영되어 있지 않고 표의 정보도 깨져 있음을 볼 수 있어요. 사람에게 우측과 같이 텍스트만 제공하면, 정보를 제대로 파악하지 못할 가능성이 큽니다. 이는 LLM(..

💡 여러분은 자동차를 사면 설명서를 꼭 읽어보시나요? 대부분의 사람들은 기쁜 마음으로, 동네 드라이브부터 나갈 거라 생각해요. 그도 그럴것이, 새 차를 운전하는 데는 생각보다 설명서의 정보가 필요하지 않거든요. 스마트폰, 에어컨 등 다른 전자기기도 마찬가지 일거에요.그런데 가끔은 기기의 공식 설명서가 필요한 순간들이 꼭 있습니다.예를 들어 차 계기판에 뜬 경고 문자가 무슨 의미인지, 차량의 특정 버튼이 어떤 기능인지 등등이요. 물론 해당 궁금증을 차량 커뮤니티에 올리면 전문가가 답변을 달아놓겠지만, 이 과정이 생각보다 번거롭고 시간이 걸립니다. 그렇다고 아래와 같은 수백 페이지의 공식 설명서를 읽자니.. 한국 사람으로서 벌써부터 치가 떨립니다.  그냥 해당 설명서를 잘 숙지하고 있는 전문가를 주머니 속..

이전 글너 그게 맛있냐?다양한 방법들이 있다손톱 물어뜯는 걸 인식하는 AI는 내가 처음 떠올린걸까? 🧐구글에 검색해보면, 몇 가지 해외 블로그들을 찾아볼 수 있다. 해당 블로그에선 가장 쉽게 접근할 수 있는 방법론을 설명해 준다.간단하게 살펴 보자면,자신이 손톱을 물어뜯는 사진과 물어뜯지 않는 사진을 여러 장 찍어 모델을 학습시키는 것이다.Vision분야에서 가장 흔하게 볼 수 있는, 이미지 분류로 문제를 해결한것이다.   이미지 분류의 주의점 → DataCentric의 중요성하지만, 위의 방법론으로는 데이터 관점에서 주의점이 보였다.우리가 개와 고양이를 분류하는 모델을 학습시킨다고 가정해 봤을 때,위처럼 인터넷에서 개와 고양이 사진 몇 장 가져와서 학습시키면 되겠지?라고 생각한다면 큰 오산이다.실제로..

너 그게 맛있냐?초등학생 때 내 짝꿍이 한 소리다.손톱을 물어 뜯고있는 내 모습을 보고, 짝꿍이 한심하게 물어본 것이다..이게 맛있을 리가!.. 난 초등학생 때부터 손톱을 물어뜯는 버릇이 있었다.정확히 기억은 안 나는데, 궁금증에 한번 시작한 게20대 중반이 되어서 현재도 그러고 있다.  생각보다 많은 사람들이 겪고 있다.어릴 적 무한도전을 보다가, 나랑 똑같은 손톱을 가진 하하를 발견했다.무한도전의 하하 VS 홍철에서 하하의 손톱이 짧은 것을 알고 홍철이 캔뚜껑 따기와 동전 줍기 대결을 신청한 것이다.(나빴다 홍철이!) 뿐만 아니다.당장에 구글과 YouTube에 손톱 물어뜯기 관련 검색을 해보면 수많은 포스팅과 영상이 뜬다. 심지어 교조증이라고, 이 버릇을 지칭하는 전문용어까지 등장할 정도로 많은 사람..

이번에 글또 커뮤니티에서 좋은 기회로, 유데미의 Docker & Kubernetes 강의 쿠폰을 선물받을 수 있었습니다. 사실 이전에 도커를 공부해 보고자 두툼한 책을 샀었지만, 혼자서 많은 양을 공부하기란 쉽지 않더군요ㅜ 그런데 이번엔 글또에서 강의를 함께 공부할 스터디원을 만났습니다!저는 함께하면 항상 끝까지 잘 완주하는 장점이 있는데, 역시 이번에도 함께 강의를 잘 완주할 수 있게 되었습니다. 그런 기념으로, 제가 들었던 강의의 솔직한 후기를 좋았던 점, 배웠던 점, 아쉬운 점, 앞으로 바라는 점에 대해서 후기를 하며, 자축을 하고자 합니다. 후기  1. Liked(좋았던 점) [추상적인 개념을 도식화로]도커와 쿠버네티스는 개념 자체가 굉장히 추상적입니다. 이 강의에서 가장 좋았던 점은, 그 추상적..