1.3. 思考モデルが区切り文字プロンプトを生成する
場合によっては、思考モデルや推論モデルは、その思考プロセスを、OpenShift Lightspeed Service がお客様の質問への回答に用いるモデル出力から分離するために、THOUGHT または reasoning のような区切り文字を含む出力を生成します。
OpenShift Lightspeed Service は、区切り文字の動作を設定したり、出力に区切り文字を生成したりしません。区切り文字機能はモデル設定です。通常、次のいずれかの方法でこの機能を無効化できます。
-
質問プロンプトに、モデルが区切り文字機能を無効にするために必要な特定のキーワード (例:
/nothink) を追加します。詳細は、使用しているモデルのドキュメントを参照してください。 - 推論サーバーの設定を変更して、区切り文字機能を無効にします。詳細は、推論サーバーまたは使用しているモデルのドキュメントを参照してください。