청킹(Chunking)
긴 문서나 많은 정보를 의미 있는 작은 단위(청크, Chunk)로 나누어 AI가 내용을 더 정확하게 이해하고 필요한 정보를 빠르게 찾을 수 있도록 하는 방법입니다.
쉽게 말하면 "큰 책을 장(Chapter)과 소제목으로 나누어 필요한 내용만 찾아보는 방식"이라고 생각하면 됩니다.
청크(Chunk)와 청킹(Chunking)의 차이
| 구분 | 청크(Chunk) | 청킹(Chunking) |
|---|---|---|
| 설명 | 하나의 정보 단위(결과물) | 문서를 청크로 나누는 작업 또는 방법(과정) |
| 예시 | ‘로그인 방법’ 이라는 한 개의 문서 | 사용설명서를 로그인, 회원가입, 자료검색으로 구분 |
쉽게 이해하기
책 한 권이 있다고 가정해보겠습니다.
-
책 전체
(하나의 문서) 
-
각 장(Chapter)
= 청크(Chunk) -
장별로 나누는 과정
= 청킹(Chunking)
즉,
청크는 결과물,
청킹은 만드는 방법입니다.
청킹이 필요한 이유
-
필요한 정보만 빠르게
찾을 수 있습니다. -
답변의 정확도가
높아집니다. -
불필요한 내용을 함께
가져오지 않습니다. -
긴 문서도 효율적으로
처리할 수 있습니다. -
최신 정보만 쉽게 수정하거나
추가할 수 있습니다.
대표적인 청킹기법
고정 크기(Fixed-size) 청킹
문서를 일정한 길이(글자 수 또는 토큰 수)로 동일하게 나누는 가장 기본적인 청킹 방식입니다. 내용의 의미와 관계없이 정해진 크기만큼 잘라 저장합니다.
100페이지 분량의 문서를 일정한 길이로 나누어 저장합니다.
청크 1 : 1~500자
청크 2 : 501~1000자
청크 3 : 1001~1500자
와 같이 내용으로 구분하는 것이 아니라 일정한 분량으로 잘라 저장합니다.
- 구현이 쉽습니다.
- 처리 속도가 빠릅니다.
- 대용량 문서에 적합합니다.
- PDF 문서
- 대용량 보고서
- 기본 AI 검색 시스템
시맨틱(Semantic) 청킹
의미가 같은 내용을 하나의 청크로 묶는 방식입니다. 문단의 길이가 아니라 주제와 의미를 기준으로 구분합니다.
사용자 매뉴얼에 로그인, 회원가입, 비밀번호 찾기, 자료검색, 자료 다운로드 기능이 있다면, AI는 이를 각각 따로 저장하는 것이 아니라 회원과 관련된 기능은 '회원 관리‘로, 자료와 관련된 기능은 '자료 이용'이라는 주제로 묶어 저장합니다. 이렇게 하면 사용자가 "비밀번호를 변경하려면 어떻게 하나요?“ 라고 질문했을 때 AI는 '회원 관리'에 포함된 관련 내용을 함께 참고하여 더 정확한 답변을 제공할 수 있습니다.
- 문맥이 자연스럽습니다.
- 검색 정확도가 높습니다.
- AI 답변 품질이 향상됩니다..
- FAQ
- 사용자 매뉴얼
- 정책 문서
- 업무 지침
오버랩(Overlap) 청킹
앞뒤 청크가 일부 내용을 공유하도록 만들어 문맥이 끊어지지 않도록 하는 방식입니다.
'비밀번호 변경'이 두 청크에 모두 포함되어 있어, AI는 앞뒤 내용을 자연스럽게 연결하여 이해할 수 있습니다. 따라서 문맥이 중간에서 끊어지는 것을 줄이고, 더 정확한 답변을 생성할 수 있습니다.
- 문맥이 자연스럽습니다.
- 검색 정확도가 높습니다.
- 긴 문서에 적합합니다.
- 법령
- 계약서
- 긴 보고서
- 기술 문서
계층형(Hierarchical) 청킹
문서의 제목, 장, 절, 소제목 등 원래의 구조를 유지하면서 단계별로 나누는 방식입니다. 문서의 구조 자체를 활용하기 때문에 AI가 전체 흐름을 이해하기 쉽습니다.
사용자 매뉴얼에 로그인, 회원가입, 비밀번호 찾기, 자료검색, 자료 다운로드 기능이 있다면, AI는 이를 각각 따로 저장하는 것이 아니라 회원과 관련된 기능은 '회원 관리‘로, 자료와 관련된 기능은 '자료 이용'이라는 주제로 묶어 저장합니다. 이렇게 하면 사용자가 "비밀번호를 변경하려면 어떻게 하나요?“ 라고 질문했을 때 AI는 '회원 관리'에 포함된 관련 내용을 함께 참고하여 더 정확한 답변을 제공할 수 있습니다.
- 문서 구조를 그대로 유지할 수 있습니다.
- 주제별 검색이 쉽습니다.
- 공공·교육 문서에 적합합니다.
- 공공기관 업무 매뉴얼
- 학교 교육자료
- 전자책
- 사용설명서
페어런트-차일드(Parent-Child) 청킹
큰 주제(Parent)와 세부 내용(Child)을 계층 구조로 연결하는 방식입니다. 상위 내용을 함께 참고하여 하위 내용을 더 정확하게 이해할 수 있습니다.
회원관리는 큰 주제(Parent)
로그인, 회원가입, 비밀번호 변경, 개인정보 수정은 세부 내용(Child)입니다.
AI는 사용자의 질문이 세부 기능에 관한 내용이라도 상위 주제와 함께 이해하기 때문에 문맥을 놓치지 않고 관련 정보를 종합하여 답변할 수 있습니다. 사용자가 '비밀번호 변경'을 질문하면, AI는 '회원관리'라는 큰 주제와 함께 관련 정보를 찾아 답변합니다.
- 문맥 이해가 뛰어납니다.
- 관련 정보를 함께 제공할 수 있습니다.
- 긴 문서에서 효과적입니다.
- 업무 매뉴얼
- 교육자료
- 공공기관 시스템 안내
청킹기법 비교
| 기법 | 기준 | 장점 | 활용분야 |
|---|---|---|---|
| 고정 크기(Fixed-size) | 일정한 글자 수 또는 토큰 수 | 구현이 쉽고 처리 속도가 빠름 | PDF, 대용량 문서 |
| 시맨틱(Semantic) | 의미와 주제 | 문맥 이해와 검색 정확도가 높음 | FAQ, 정책, 업무 문서 |
| 오버랩(Overlap) | 일부 내용 중복 | 문맥이 자연스럽고 검색 누락 감소 | 긴 문서, 법령, 보고서 |
| 계층형(Hierarchical) | 문서 구조 | 제목·장·절 구조를 유지하여 이해하기 쉬움 | 공공 문서, 학교 자료, 사용설명서 |
| 페어런트-차일드(Parent-Child) | 상위·하위 계층 | 큰 주제와 세부 내용을 함께 이해 | 매뉴얼, 교육자료 |
어떤 청킹 기법을 선택하면 좋을까요?
| 상황 | 추천 기법 |
|---|---|
| AI 챗봇 FAQ , 질의응답, 정책 및 보도자료 검색 | 시맨틱 |
| 전자결재 업무 프로세스, 온라인 교육 콘텐츠, 사용자 매뉴얼 | 페어런트-차일드 |
| 긴 보고서, 계약서, 회의록, 인터뷰 기록, 논문 | 오버랩 |
| AI 고객 상담 서비스, 판례 및 법률 검색, 보험 약관 검색 | 시맨틱+ 오버랩 |
| 전자도서관 검색, 대학 학사안내, 공공포털 서비스 안내 | 시맨틱+ 페어런트-차일드 |
※ 실제 AI 서비스에서는 한 가지 청킹 기법만 사용하는 경우보다 여러 기법을 함께 적용하는 경우가 많습니다.
예를 들어, 문서를 계층형(Hierarchical)으로 나눈 후, 각 단위를 시맨틱(Semantic) 기준으로 다시 구분하고, 문맥의 연결성을 유지하기 위해
오버랩(Overlap)을 함께 적용하면 AI의 검색 정확도와 답변 품질을 더욱 높일 수 있습니다.
활용사례
-
공공기관행정 업무 매뉴얼을 ‘민원’, ‘예산’, ‘인사’ 등 업무별로 나누어 필요한 내용을 빠르게 검색합니다.
-
학교수업자료를 과목 → 단원 → 학습 내용 순으로 구성하여 AI가 학생 질문에 적절한 내용을 제공합니다..
-
기업사내 규정을 부서별, 업무별로 구분하여 직원이 필요한 규정만 빠르게 확인할 수 있습니다.
-
개인긴 PDF나 학습 자료를 주제별로 나누어 AI에게 질문하면 원하는 정보를 더 정확하게 찾을 수 있습니다.
다양한 청킹 조합은 AI의 정확도를 높이는 효과적인 방법입니다.
