2.2. 新しい開発者向け機能

スケジューラーのパフォーマンス向上

vLLM スケジューラー API CachedRequestData クラスが更新され、オブジェクトおよびキャッシュされたサンプラー ID ストアのパフォーマンスが向上しました。

CUDA グラフ実行

CUDA グラフ実行は、接頭辞キャッシュを含むすべての FlashAttention-3 (FA3) および FlashMLA パスで利用できるようになりました。
ライブ CUDA グラフのキャプチャー進捗バーが新たに追加され、デバッグが容易になります。

スケジューリング

優先スケジューリングが vLLM V1 エンジンに実装されました。

トップに戻る

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。最新の更新を見る.

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。