第4章 開発者プレビュー機能

組み込みの LM-Eval コンポーネントと高度なコンテンツモデレーションツールを使用して、開発者プレビュー機能として TrustyAI を搭載した Llama Stack で LM-Eval を使用して評価を実行できるようになりました。この機能を使用するには、TrustyAI が有効になっていること、FMS Orchestrator とディテクターが設定されていること、および必要に応じて完全な互換性を確保するために KServe RawDeployment モードが使用されていることを確認してください。手動でのセットアップは必要ありません。

その後、Red Hat OpenShift AI Operator の DataScienceCluster カスタムリソースで、spec.llamastackoperator.managementState フィールドを Managed に設定します。

詳細は、GitHub の次のリソースを参照してください。

LLM Compressor 機能が、開発者プレビュー機能として Red Hat OpenShift AI で利用できるようになりました。llm-compressor ライブラリーを含む新しいワークベンチイメージと対応するデータサイエンスパイプラインランタイムイメージにより、大規模言語モデル (LLM) の圧縮と最適化が容易になり、vLLM を使用した効率的なデプロイメントが可能になります。詳細は、GitHub の llm-compressor を参照してください。

LLM コンプレッサーの機能は次の 2 つの方法で使用できます。