지난 이야기저번 시간에는 RAG 시스템을 위한 문서를 모으기 위해 학교 사이트를 크롤링하는 람다 함수를 구현하고 배포하였다.약 2주가 지난 지금 크롤러는 제 역할을 다하고 있다.한 시간에 한번씩 잘 실행되고 있고, 디스코드 웹훅에도 등록해놓아서 새로운 공지사항이 크롤링되면 디스코드 서버에도 띄워줄 수 있다.2주동안 새로 올라온 공지사항은 2개가 있고, 모두 잘 크롤링되어서 저장된 상태이다.그렇다면 이제 할 것은 벡터 임베딩이다. 저번에 RAG에 대해 쓴 글에도 있지만, LLM은 문서를 그대로 받아들일 수 없고, 텍스트를 벡터로 임베딩하여 semantic search를 할 수 있도록 해야 한다.벡터 임베딩의 과정무작정 구현하기 전에 임베딩 작전을 세워야 한다. 임베딩을 하기 전에 고려해야 할 요소는 다음과..