12.9. 最適化プロポーザルの生成
/rebalance
エンドポイントに POST リクエストを行うと、Cruise Control は提供された最適化ゴールを基にして、Kafka クラスターをリバランスするために最適化プロポーザルを生成します。
dryrun
パラメーターが指定され、false
に設定されない限り、最適化プロポーザルは ドライラン として生成されます。"dry run mode" では、Cruise Control は最適化プロポーザルと推定結果を生成しますが、クラスターをリバランスしてプロポーザルを開始することはありません。
最適化プロポーザルで返される情報を分析し、プロポーザルを開始するかどうかを決定できます。
以下は、/rebalance
エンドポイントへの要求の主要なパラメーターです。利用可能なすべてのパラメーターの詳細は、Cruise Control Wiki の REST APIs を参照してください。
dryrun
型: boolean、デフォルト: true
最適化プロポーザルのみを生成するか (true
)、最適化プロポーザルを生成してクラスターのリバランスを実行するか (false
) を Cruise Control に通知します。
dryrun=true
(デフォルト) の場合は、verbose
パラメーターを渡して Kafka クラスターの状態に関する詳細情報を返すこともできます。これには、最適化プロポーザルの適用前および適用後の各 Kafka ブローカーの負荷のメトリックと、前後の値の違いが含まれます。
excluded_topics
型: regex
最適化プロポーザルの計算から除外するトピックと一致する正規表現。
goals
型: 文字列のリスト。デフォルト: 設定済み default.goals
リスト
最適化プロポーザルを準備するために使用するユーザー提供の最適化ゴールのリスト。goals が指定されていない場合は、cruisecontrol.properties
ファイルに設定されている default.goals
リストが使用されます。
skip_hard_goals_check
型: boolean、デフォルト: false
デフォルトでは、Cruise Control はユーザー提供の最適化ゴール (goals
パラメーター) に設定済みのハードゴール (hard.goals
) がすべて含まれていることを確認します。設定された hard.goals
のサブセットではないゴールを指定すると、リクエストは失敗します。
設定されたすべての hard.goals
を含まない、ユーザー提供の最適化ゴールで最適化プロポーザルを生成する場合は、skip_hard_goals_check
を true
に設定します。
json
型: boolean、デフォルト: false
Cruise Control サーバーによって返される応答のタイプを制御します。指定のない場合、または false
に設定した場合、Cruise Control はコマンドラインでの表示用に書式設定されたテキストを返します。返された情報の要素をプログラムで抽出する場合は、json=true
を設定します。これにより、jq
などのツールにパイプ処理できる JSON 形式のテキストを返したり、スクリプトやプログラムで解析することができます。
verbose
型: boolean、デフォルト: false
Cruise Control サーバーが返す応答の詳細レベルを制御します。dryrun=true
と併用できます。
前提条件
- Kafka と ZooKeeper を実行している。
- Cruise Control が実行されている。
手順
コンソール用にフォーマットされたドライラン最適化プロポーザルを生成するには、POST リクエストを
/rebalance
エンドポイントに送信します。設定された
default.goals
を使用するには、以下を実行します。curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow キャッシュされた最適化プロポーザルは即座に返されます。
注記NotEnoughValidWindows
が返された場合、Cruise Control は最適化プロポーザルを生成するために十分なメトリクスデータを記録していません。数分待ってからリクエストを再送信します。設定された
default.goals
ではなく、ユーザー提供の最適化ゴールを指定するには、goals
パラメーターに 1 つ以上のゴールを指定します。curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance?goals=RackAwareGoal,ReplicaCapacityGoal'
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance?goals=RackAwareGoal,ReplicaCapacityGoal'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 指定されたゴールを満たしている場合、キャッシュされた最適化プロポーザルは即座に返されます。それ以外の場合は、提供されたゴールを使用して新しい最適化プロポーザルが生成されます。計算には時間がかかります。この動作を強制するには、リクエストに
ignore_proposal_cache=true
パラメーターを追加します。設定済みのハードゴールすべてが含まれないユーザー提供の最適化ゴールを指定するには、
skip_hard_goal_check=true
パラメーターをリクエストに追加します。curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance?goals=RackAwareGoal,ReplicaCapacityGoal,ReplicaDistributionGoal&skip_hard_goal_check=true'
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance?goals=RackAwareGoal,ReplicaCapacityGoal,ReplicaDistributionGoal&skip_hard_goal_check=true'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
応答に含まれる最適化プロポーザルを確認します。プロパティーは、保留中のクラスターリバランス操作を記述します。
プロポーザルには、提案された最適化の概要、各デフォルトの最適化ゴールの概要、およびプロポーザルの実行後に予想されるクラスター状態が含まれます。
以下の情報に特に注意してください。
-
Cluster load after rebalance
の概要。要件を満たす場合には、概要を使用して、提案された変更の影響を評価する必要があります。 -
n inter-broker replica (y MB) moves
はブローカー間でネットワークを介して移動されるデータ量を示します。値が高いほど、リバランス中の Kafka クラスターへの潜在的なパフォーマンスの影響が大きくなります。 -
n intra-broker replica (y MB) moves
は、ブローカー内部で (ディスク間) でどれだけのデータを移動させるかを示します。値が大きいほど、個々のブローカーに対する潜在的なパフォーマンスの影響は大きくなります (ただしn inter-broker replica (y MB) moves
の影響よりも小さい)。 - リーダーシップ移動の数。これは、リバランス中のクラスターのパフォーマンスにほとんど影響しません。
-
非同期応答
Cruise Control REST API エンドポイントは、デフォルトでは 10 秒後にタイムアウトしますが、プロポーザルの生成はサーバー上で継続されます。最近キャッシュされた最適化プロポーザルが準備状態にない場合や、ユーザー提供の最適化ゴールが ignore_proposal_cache=true
で指定された場合は、タイムアウトが発生することがあります。
後で最適化プロポーザルを取得できるようにするには、/rebalance
エンドポイントからの応答のヘッダーにあるリクエストの一意識別子を書き留めておきます。
curl
を使用して応答を取得するには、詳細 (-v
) オプションを指定します。
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
ヘッダーの例を以下に示します。
タイムアウト時間内に最適化プロポーザルが準備ができなかった場合、POST リクエストを再送信できます。これには、ヘッダーにある元リクエストの User-Task-ID
が含まれます。
curl -v -X POST -H 'User-Task-ID: 274b8095-d739-4840-85b9-f4cfaaf5c201' 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
curl -v -X POST -H 'User-Task-ID: 274b8095-d739-4840-85b9-f4cfaaf5c201' 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
次のステップ