文書検索（RAG機能）では、同じ意味の言葉でも異なる書き方をされていると、検索で見つからず、精度が下がることがあります。このような言葉を本記事では「ゆらぎ言葉」と呼びます。
さまざまなキーワードが同じ意味として認識されるようにするためには、この「ゆらぎ言葉」を統一する必要があります。
以下にそのための方法をご紹介します。目的に応じてご活用ください。
1. データに「注釈文」を追加する
元のデータの最初に「この語はこう読む・こう扱う」という標準の言い方を別欄で付け加えてあげます。元の文章はそのままにしておきたい場合や、データを直接変更せずに検索の精度を上げたい場合に有効です。
例: 注釈「商品、製品、プロダクト、アイテム、サービスは同義語として扱われ、同じ情報を指します。」
2. データベース上で言葉を揃える
準備段階で言葉の揺れを吸収する手法です。
たとえば「商品」「製品」「プロダクト」を同じ扱いにしたい場合、データベース上もしくはその前段階の手作業などで検索・置換を繰り返すことで、ゆらぎ言葉を統一します。
データを書き換えられる場合や長期的に安定した運用をしたいときに向いており、検索の仕組みを複雑にせずに確実に統一することが可能で、より確実に精度を高めることができます。
3. メタデータを準備する
各キーワードに対してメタデータを設定することで、検索する言葉を変換してから処理させる方法です。
例:
「商品、製品、プロダクト、アイテム、サービス」といった言葉を「商品」に置き換えて検索したい場合。
以下のようなテーブルを作成し、該当ファイルが含まれるRAGフォルダ内に一緒にアップロードするか、プロンプトに記述します。
※データを変えずに処理が可能ですが、検索時の処理負荷が増え応答速度が遅くなる可能性があります。
これらの方法を組み合わせることで、ユーザーがどのようなキーワードを使用しても一貫した情報を提供することが可能になります。
その結果、組織内独自の用語や略語を使った質問にも柔軟に対応でき、適切な回答を得られる可能性が上がります。