규민의 가든

파싱,청킹 정리

수집 → 파싱 → (파싱 결과를 재료로) 청킹 → 임베딩 → 색인          ↑                        ↑     “뭐가 어디 있는지 해석”    “벡터 단위로 묶기/자르기”

  • 파싱= 생선 손질 (머리·살·뼈를 구분해서 발라내기)
  • 청킹= 토막 내기 (몇 인분씩 포장할지 정하기)