# ============================================================
# [실습] Document Loader
#
# 아래 항목을 직접 구현하세요:
#  1) TextLoader 로 텍스트 파일(encoding="utf-8")을 load 해 첫 Document 의
#     page_content 와 metadata(source 자동 부여)를 확인한다.
#  2) 두 번째 텍스트 파일도 같은 방식으로 load 해 metadata 와 본문 일부를 확인한다.
#  3) 각 파일을 TextLoader 로 로드·청킹한 뒤 metadata["source"] 를 파일명(basename)으로,
#     metadata["chunk_id"] 를 파일 내부 순번(1..N)으로 부여해 all_chunks 에 모은다.
# ============================================================

from dotenv import load_dotenv

load_dotenv()  # .env 에서 OPENAI_API_KEY 로드

import os
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 1) 여기에 코드를 작성하세요 (TextLoader 로 ../DATA/nvme.txt 로드 → 개수/본문/metadata 출력)


# 2) 여기에 코드를 작성하세요 (../DATA/ssd.txt 도 로드 → metadata/본문 일부 출력)


# 3) 여기에 코드를 작성하세요
FILES = ["../DATA/nvme.txt", "../DATA/ssd.txt"]
splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
# (각 파일 로드·청킹 → metadata["source"]=파일명, metadata["chunk_id"]=순번 → all_chunks 에 모으기)
