16.8.13 全文とRAGドキュメントインデックス

現行のDBMSマニュアルは、全文Markdownとページ単位のJSONインデックスを提供します。

全文

全文は、公開済みDBMSページをナビゲーションのweight順に連結します。各ページの境界には タイトル、言語、正規URLを記載し、本文はソースのMarkdownを保持します。

JSONインデックス

スキーマバージョン1の最上位フィールドは次のとおりです。

各ドキュメントはid、title、url、markdown_url、kind、parent_url、weight、 last_modifiedを提供します。JSONには本文を重複保存しません。markdown_urlから ページ別のMarkdownを取得するか、llms-full.txtをコーパスとして使用します。

チャンクの境界

現在のインデックスは、1つの公開済みページを1つのドキュメントチャンクとして扱います。 SQL構文、SDKの作業、運用手順は可能な限り個別ページに保持されるため、URLとタイトルを 安定したチャンク識別子として使用できます。大きな辞典ページを細分化するときも既存ページのidを保持します。

ビルド時刻などの非決定的な値は出力しません。Neo、DBMS 8.5、ドラフト、エイリアスページは インデックスと全文の両方から除外します。