회고저번 회의에서 우리가 구축할 RAG 시스템의 컨셉을 정했다. 기본적으로 RAG에 적용할 문서를 정해야 했기에 빠르게 주제를 정해야하였고, 대학교 프로젝트인만큼 대학생들을 대상으로 방향성을 잡았다.우리 팀의 팀원들이 전부 SW중심대학에 소속되어 있으므로, 아무래도 교내외 활동을 찾을 때 SW중심사업단 페이지를 자주 접근한다. 거기에 우리 학교 페이지에는 AI 챗봇이 없다. 따라서 프로젝트 대상으로 적절하다고 생각하였고, 이번 과제로 공지사항 페이지와 홍보게시판에 있는 게시글들을 크롤링하여 데이터를 수집하였다. 크롤러 만들기웹 크롤러는 목적에 따라 다른 기능을 수행하지만, 우리가 만드는 게시판 크롤러는 비교적 구현하기 간단하다. 게시판 크롤러는 크게 다음과 같은 역할을 수행해야 한다.일정 시간마다 게시판..