3.8. Llama Stack の検索タイプについて

キーワード検索では、TF-IDF や BM25 などの字句マッチング技術を適用して、正確またはほぼ正確なクエリー用語を含むドキュメントを検索します。この方法は、用語の正確なマッチングが重要な場合に効果的であり、情報検索システムで広く使用されています。詳細は、The Probabilistic Relevance Framework: BM25 and Beyond を参照してください。

ベクトル検索は、ドキュメントとクエリーをエンベディングと呼ばれる高密度の数値ベクトルとしてエンコードし、コサイン類似度や内積などのメトリクスを使用して類似度を測定します。この方法は、文脈上の意味を捉え、単語の正確な重複を超えた意味的なマッチングをサポートしています。詳細は、Billion-scale similarity search with GPUs を参照してください。

ハイブリッド検索は、キーワード検索とベクトル検索の技術を融合させたもので、通常、加重合計や Reciprocal Rank Fusion (RRF) などの手法で、それぞれのスコアを組み合わせます。この方法では、完全一致と意味的関連性のバランスが確保された結果が返されます。詳細は、Sparse, Dense, and Hybrid Retrieval for Answer Ranking を参照してください。