【RAG精度向上】Doclingの使い方：複雑なPDFを構造化データへ

pip install docling

pip install "docling[easyocr]"

from docling.document_converter import DocumentConverter, PdfFormatOption
from docling.datamodel.base_models import InputFormat
from docling.datamodel.pipeline_options import PdfPipelineOptions, TableFormerMode

# パイプラインオプションの設定
pipeline_options = PdfPipelineOptions()
pipeline_options.do_ocr = True  # OCRを有効化
pipeline_options.do_table_structure = True # 表解析を有効化
pipeline_options.table_structure_options.mode = TableFormerMode.ACCURATE # 高精度モード

# コンバーターの初期化（オプションを適用）
converter = DocumentConverter(
    format_options={
        InputFormat.PDF: PdfFormatOption(pipeline_options=pipeline_options)
    }
)

from docling.document_converter import DocumentConverter

def main():
    # 変換対象のパス（URLまたはローカルファイルパス）
    source = "https://arxiv.org/pdｓf/2408.09869" 
    
    # コンバーターの初期化と実行
    converter = DocumentConverter()
    result = converter.convert(source)
    
    # Markdown形式でエクスポート
    markdown_output = result.document.export_to_markdown()
    
    # 結果の確認
    print(markdown_output[:500])

    # ファイル保存
    with open("output.md", "w", encoding="utf-8") as f:
        f.write(markdown_output)
    print("変換が完了しました。")

if __name__ == "__main__":
    main()

python convert_doc.py

pip install llama-index-readers-docling

from llama_index.core import VectorStoreIndex
from llama_index.readers.docling import DoclingReader

def create_index_with_docling():
    # DoclingReaderの初期化
    reader = DoclingReader()
    
    # ドキュメントの読み込み
    # 自動的にMarkdownへ変換され、構造情報を持ったままロードされます
    documents = reader.load_data(file_path="sample.pdf")
    
    # インデックスの作成（ここから通常のLlamaIndexのフローです）
    index = VectorStoreIndex.from_documents(documents)
    
    # 検索エンジンの作成とクエリ実行
    query_engine = index.as_query_engine()
    response = query_engine.query("このドキュメントの要点は何ですか？")
    print(response)

# if __name__ == "__main__":
#     create_index_with_docling()

pip install langchain-docling

from langchain_docling import DoclingLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

def run_langchain_pipeline():
    # DoclingLoaderでPDFを読み込む
    loader = DoclingLoader(file_path="sample.pdf")
    docs = loader.load()
    
    # 読み込んだデータの確認（メタデータなども含まれます）
    print(f"ドキュメント数: {len(docs)}")
    
    # テキストの分割
    # Markdown形式でロードされるため、構造を意識した分割とも相性が良いです
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=1000,
        chunk_overlap=200
    )
    splits = text_splitter.split_documents(docs)
    
    # 以降、FAISSやChromaなどのVectorStoreへ保存します
    # ...

# if __name__ == "__main__":
#     run_langchain_pipeline()