Day 2 操作ガイド

1. validate という名前の新規プロジェクト、および cakephp-mysql-example テンプレートからアプリケーションのサンプルを作成します。

   $ oc new-project validate
   $ oc new-app cakephp-mysql-example

   ログを確認してからビルドに進みます。

   $ oc logs -f bc/cakephp-mysql-example

2. ビルドが完了すると、データベースとアプリケーションの 2 つの Pod が実行されるはずです。

   $ oc get pods
   NAME                            READY     STATUS      RESTARTS   AGE
   cakephp-mysql-example-1-build   0/1       Completed   0          1m
   cakephp-mysql-example-2-247xm   1/1       Running     0          39s
   mysql-1-hbk46                   1/1       Running     0          1m

3. アプリケーション URL にアクセスします。Cake PHP フレームワークの welcome ページが表示されるはずです。URL では cakephp-mysql-example-validate.<app_domain> という形式を使用しています。

4. 機能の確認後は、validate プロジェクトを削除できます。

   $ oc delete project validate

   プロジェクト内のすべてのリソースも削除されます。

1. マスターホストから HTTPS アドレスを取得します。

   $ oc get dc docker-registry -o jsonpath='{.spec.template.spec.containers[].env[?(@.name=="OPENSHIFT_DEFAULT_REGISTRY")].value}{"\n"}'
   docker-registry.default.svc:5000

   上記により、docker-registry.default.svc:5000 の出力が生成されます。

2. /healthz を上記で指定される値に追加し、これを使用してすべてのホスト (マスター、インフラストラクチャー、ノード) で確認します。

   $ curl -v https://docker-registry.default.svc:5000/healthz
   * About to connect() to docker-registry.default.svc port 5000 (#0)
   *   Trying 172.30.11.171...
   * Connected to docker-registry.default.svc (172.30.11.171) port 5000 (#0)
   * Initializing NSS with certpath: sql:/etc/pki/nssdb
   *   CAfile: /etc/pki/tls/certs/ca-bundle.crt
     CApath: none
   * SSL connection using TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
   * Server certificate:
   * 	subject: CN=172.30.11.171
   * 	start date: Oct 18 05:30:10 2017 GMT
   * 	expire date: Oct 18 05:30:11 2019 GMT
   * 	common name: 172.30.11.171
   * 	issuer: CN=openshift-signer@1508303629
   > GET /healthz HTTP/1.1
   > User-Agent: curl/7.29.0
   > Host: docker-registry.default.svc:5000
   > Accept: */*
   >
   < HTTP/1.1 200 OK
   < Cache-Control: no-cache
   < Date: Tue, 24 Oct 2017 19:42:35 GMT
   < Content-Length: 0
   < Content-Type: text/plain; charset=utf-8
   <
   * Connection #0 to host docker-registry.default.svc left intact

   上記の出力例は、SSL 接続が正常であることを確認するために使用されている MTU サイズを示しています。接続の試行が正常に実行されると接続が確立し、証明書パスと docker-registry に関するすべてのサーバー証明書情報を使った NSS の初期化が完了します。

   MTU サイズが不適切に設定されているとタイムアウトが生じます。

   $ curl -v https://docker-registry.default.svc:5000/healthz
   * About to connect() to docker-registry.default.svc port 5000 (#0)
   *   Trying 172.30.11.171...
   * Connected to docker-registry.default.svc (172.30.11.171) port 5000 (#0)
   * Initializing NSS with certpath: sql:/etc/pki/nssdb

   上記の例では、接続が確立されていますが、証明書パスが指定された NSS の初期化を完了できません。この問題では、適切な「ノード設定マップ」に不適切な MTU サイズが設定されています。

   この問題を解決するには、OpenShift SDN Ethernet デバイスが使用する MTU サイズよりも 50 バイト小さい値に、ノード設定マップ内で MTU サイズを調節します。

3. 必要なイーサネットデバイスの MTU サイズを表示します (例: eth0)。

   $ ip link show eth0
   2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT qlen 1000
       link/ether fa:16:3e:92:6a:86 brd ff:ff:ff:ff:ff:ff

   上記は MTU が 1500 に設定されていることを示しています。

4. MTU サイズを変更するには、適切な「ノード設定マップ」を修正し、ip コマンドの出力よりも 50 バイト少ない値に設定します。

   たとえば、MTU サイズが 1500 の場合は、ノード設定マップ内で MTU サイズを 1450 に調節します。

   networkConfig:
      mtu: 1450

5. 変更を保存し、ノードを再起動します。

   注記

   OpenShift Container Platform SDN を構成するすべてのマスターおよび ノードで MTU サイズを変更する必要があります。また、tun0 インターフェースの MTU サイズはクラスターを構成するすべてのノードで同一である必要があります。

6. ノードが再度オンラインになった後に、元の curl コマンドを再度実行して問題が存在しなくなっていることを確認します。

   $ curl -v https://docker-registry.default.svc:5000/healthz

   タイムアウトが持続する場合、引き続き MTU サイズを 50 バイト単位で調整し、このプロセスを繰り返します。

1. マスターホストの設定ファイルのバックアップを作成します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo cp -aR /etc/origin ${MYBACKUPDIR}/etc
   $ sudo cp -aR /etc/sysconfig/atomic-* ${MYBACKUPDIR}/etc/sysconfig/

   注記

   設定ファイルは、/etc/sysconfig/atomic-openshift-master-api および /etc/sysconfig/atomic-openshift-master-controllers ディレクトリーに保存されています。

   警告

   /etc/origin/master/ca.serial.txt ファイルは Ansible ホストインベントリーに一覧表示される最初のマスターでのみ生成されます。最初のマスターホストの使用を終了する場合は、このプロセスの実行前に /etc/origin/master/ca.serial.txt ファイルを残りのマスターホストにコピーします。

2. バックアップの計画時に考慮する必要のある他の重要なファイルには以下が含まれます。

   Expand

   ファイル	説明
   /etc/cni/*	コンテナーネットワークインターフェースの設定 (使用される場合)
   /etc/sysconfig/iptables	iptables ルールが保存される場所
   /etc/sysconfig/docker-storage-setup	container-storage-setup コマンドの入力ファイル
   /etc/sysconfig/docker	docker 設定ファイル
   /etc/sysconfig/docker-network	docker ネットワーク設定 (例: MTU)
   /etc/sysconfig/docker-storage	docker ストレージ設定 (container-storage-setup で生成される)
   /etc/dnsmasq.conf	dnsmasq の主要な設定ファイル
   /etc/dnsmasq.d/*	異なる dnsmasq 設定ファイル
   /etc/sysconfig/flanneld	flannel 設定ファイル (使用される場合)
   /etc/pki/ca-trust/source/anchors/	システムに追加される証明書 (例: 外部レジストリー用)

   Show more

   上記のファイルのバックアップを作成します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors
   $ sudo cp -aR /etc/sysconfig/{iptables,docker-*,flanneld} \
       ${MYBACKUPDIR}/etc/sysconfig/
   $ sudo cp -aR /etc/dnsmasq* /etc/cni ${MYBACKUPDIR}/etc/
   $ sudo cp -aR /etc/pki/ca-trust/source/anchors/* \
       ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors/

3. パッケージが間違って削除されてしまう場合や、rpm パッケージに含まれるファイルを復元する必要がある場合に、システムにインストールされている rhel パッケージの一覧があると便利です。

   注記

   コンテンツビューやファクトストアなどの Red Hat Satellite 機能を使用する場合は、見つからないパッケージやシステムにインストールされているパッケージの履歴データを再インストールする適切なメカニズムを指定します。

   システムにインストールされている現在の rhel パッケージの一覧を作成するには、以下を実行します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}
   $ rpm -qa | sort | sudo tee $MYBACKUPDIR/packages.txt

4. これまでの手順を実行している場合には、以下のファイルがバックアップディレクトリーに配置されています。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo find ${MYBACKUPDIR} -mindepth 1 -type f -printf '%P\n'
   etc/sysconfig/atomic-openshift-master
   etc/sysconfig/atomic-openshift-master-api
   etc/sysconfig/atomic-openshift-master-controllers
   etc/sysconfig/atomic-openshift-node
   etc/sysconfig/flanneld
   etc/sysconfig/iptables
   etc/sysconfig/docker-network
   etc/sysconfig/docker-storage
   etc/sysconfig/docker-storage-setup
   etc/sysconfig/docker-storage-setup.rpmnew
   etc/origin/master/ca.crt
   etc/origin/master/ca.key
   etc/origin/master/ca.serial.txt
   etc/origin/master/ca-bundle.crt
   etc/origin/master/master.proxy-client.crt
   etc/origin/master/master.proxy-client.key
   etc/origin/master/service-signer.crt
   etc/origin/master/service-signer.key
   etc/origin/master/serviceaccounts.private.key
   etc/origin/master/serviceaccounts.public.key
   etc/origin/master/openshift-master.crt
   etc/origin/master/openshift-master.key
   etc/origin/master/openshift-master.kubeconfig
   etc/origin/master/master.server.crt
   etc/origin/master/master.server.key
   etc/origin/master/master.kubelet-client.crt
   etc/origin/master/master.kubelet-client.key
   etc/origin/master/admin.crt
   etc/origin/master/admin.key
   etc/origin/master/admin.kubeconfig
   etc/origin/master/etcd.server.crt
   etc/origin/master/etcd.server.key
   etc/origin/master/master.etcd-client.key
   etc/origin/master/master.etcd-client.csr
   etc/origin/master/master.etcd-client.crt
   etc/origin/master/master.etcd-ca.crt
   etc/origin/master/policy.json
   etc/origin/master/scheduler.json
   etc/origin/master/htpasswd
   etc/origin/master/session-secrets.yaml
   etc/origin/master/openshift-router.crt
   etc/origin/master/openshift-router.key
   etc/origin/master/registry.crt
   etc/origin/master/registry.key
   etc/origin/master/master-config.yaml
   etc/origin/generated-configs/master-master-1.example.com/master.server.crt
   ...[OUTPUT OMITTED]...
   etc/origin/cloudprovider/openstack.conf
   etc/origin/node/system:node:master-0.example.com.crt
   etc/origin/node/system:node:master-0.example.com.key
   etc/origin/node/ca.crt
   etc/origin/node/system:node:master-0.example.com.kubeconfig
   etc/origin/node/server.crt
   etc/origin/node/server.key
   etc/origin/node/node-dnsmasq.conf
   etc/origin/node/resolv.conf
   etc/origin/node/node-config.yaml
   etc/origin/node/flannel.etcd-client.key
   etc/origin/node/flannel.etcd-client.csr
   etc/origin/node/flannel.etcd-client.crt
   etc/origin/node/flannel.etcd-ca.crt
   etc/pki/ca-trust/source/anchors/openshift-ca.crt
   etc/pki/ca-trust/source/anchors/registry-ca.crt
   etc/dnsmasq.conf
   etc/dnsmasq.d/origin-dns.conf
   etc/dnsmasq.d/origin-upstream-dns.conf
   etc/dnsmasq.d/node-dnsmasq.conf
   packages.txt

   必要な場合は、ファイルを圧縮してスペースを節約することができます。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo tar -zcvf /backup/$(hostname)-$(date +%Y%m%d).tar.gz $MYBACKUPDIR
   $ sudo rm -Rf ${MYBACKUPDIR}

1. ノード設定ファイルのバックアップを作成します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo cp -aR /etc/origin ${MYBACKUPDIR}/etc
   $ sudo cp -aR /etc/sysconfig/atomic-openshift-node ${MYBACKUPDIR}/etc/sysconfig/

2. OpenShift Container Platform では以下のような特定のファイルを使用します。バックアップポリシーの計画時には、これらのファイルを考慮する必要があります。

   Expand

   ファイル	説明
   /etc/cni/*	コンテナーネットワークインターフェースの設定 (使用される場合)
   /etc/sysconfig/iptables	iptables ルールが保存される場所
   /etc/sysconfig/docker-storage-setup	container-storage-setup コマンドの入力ファイル
   /etc/sysconfig/docker	docker 設定ファイル
   /etc/sysconfig/docker-network	docker ネットワーク設定 (例: MTU)
   /etc/sysconfig/docker-storage	docker ストレージ設定 (container-storage-setup で生成される)
   /etc/dnsmasq.conf	dnsmasq の主要な設定ファイル
   /etc/dnsmasq.d/*	異なる dnsmasq 設定ファイル
   /etc/sysconfig/flanneld	flannel 設定ファイル (使用される場合)
   /etc/pki/ca-trust/source/anchors/	システムに追加される証明書 (例: 外部レジストリー用)

   Show more

   これらのファイルを作成するには、以下を実行します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/sysconfig
   $ sudo mkdir -p ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors
   $ sudo cp -aR /etc/sysconfig/{iptables,docker-*,flanneld} \
       ${MYBACKUPDIR}/etc/sysconfig/
   $ sudo cp -aR /etc/dnsmasq* /etc/cni ${MYBACKUPDIR}/etc/
   $ sudo cp -aR /etc/pki/ca-trust/source/anchors/* \
       ${MYBACKUPDIR}/etc/pki/ca-trust/source/anchors/

3. パッケージが間違って削除されてしまう場合や、rpm パッケージに含まれるファイルを復元する必要がある場合に、システムにインストールされている rhel パッケージの一覧があると便利です。

   注記

   コンテンツビューやファクトストアなどの Red Hat Satellite 機能を使用する場合は、見つからないパッケージやシステムにインストールされているパッケージの履歴データを再インストールする適切なメカニズムを指定します。

   システムにインストールされている現在の rhel パッケージの一覧を作成するには、以下を実行します。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo mkdir -p ${MYBACKUPDIR}
   $ rpm -qa | sort | sudo tee $MYBACKUPDIR/packages.txt

4. 以下のファイルがバックアップディレクトリーに配置されているはずです。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo find ${MYBACKUPDIR} -mindepth 1 -type f -printf '%P\n'
   etc/sysconfig/atomic-openshift-node
   etc/sysconfig/flanneld
   etc/sysconfig/iptables
   etc/sysconfig/docker-network
   etc/sysconfig/docker-storage
   etc/sysconfig/docker-storage-setup
   etc/sysconfig/docker-storage-setup.rpmnew
   etc/origin/node/system:node:app-node-0.example.com.crt
   etc/origin/node/system:node:app-node-0.example.com.key
   etc/origin/node/ca.crt
   etc/origin/node/system:node:app-node-0.example.com.kubeconfig
   etc/origin/node/server.crt
   etc/origin/node/server.key
   etc/origin/node/node-dnsmasq.conf
   etc/origin/node/resolv.conf
   etc/origin/node/node-config.yaml
   etc/origin/node/flannel.etcd-client.key
   etc/origin/node/flannel.etcd-client.csr
   etc/origin/node/flannel.etcd-client.crt
   etc/origin/node/flannel.etcd-ca.crt
   etc/origin/cloudprovider/openstack.conf
   etc/pki/ca-trust/source/anchors/openshift-ca.crt
   etc/pki/ca-trust/source/anchors/registry-ca.crt
   etc/dnsmasq.conf
   etc/dnsmasq.d/origin-dns.conf
   etc/dnsmasq.d/origin-upstream-dns.conf
   etc/dnsmasq.d/node-dnsmasq.conf
   packages.txt

   必要な場合は、ファイルを圧縮してスペースを節約することができます。

   $ MYBACKUPDIR=/backup/$(hostname)/$(date +%Y%m%d)
   $ sudo tar -zcvf /backup/$(hostname)-$(date +%Y%m%d).tar.gz $MYBACKUPDIR
   $ sudo rm -Rf ${MYBACKUPDIR}

1. レジストリー証明書をバックアップします。

   # cd /etc/docker/certs.d/
   # tar cf /tmp/docker-registry-certs-$(hostname).tar *

2. バックアップを外部の場所に移動します。

1. 復元手順には完全な再インストールが必要になるため、初期インストールで使用されたすべてのファイルを保存します。これらのファイルには、以下が含まれる場合があります。

   • (「クラスターのインストール」の場合) Ansible Playbook およびインベントリーファイル
   • (「非接続インストール」の場合) /etc/yum.repos.d/ose.repo
2. インストール後のステップの手順をバックアップします。一部のインストールには、インストーラーに含まれないステップが必要になる場合があります。これには、OpenShift Container Platform の制御範囲外のサービスの変更やモニターエージェントなどの追加サービスのインストールが含まれる場合があります。複数の認証プロバイダーの使用など、通常インストーラー (Advanced Installer) でサポートされていない追加の設定も必要になる場合があります。

Jenkins デプロイメントのアプリケーションデータのバックアップ例

1. アプリケーションデータ mountPath を deploymentconfig から取得します。

   $ oc get dc/jenkins -o jsonpath='{ .spec.template.spec.containers[?(@.name=="jenkins")].volumeMounts[?(@.name=="jenkins-data")].mountPath }'
   /var/lib/jenkins

2. 現在実行中の Pod の名前を取得します。

   $ oc get pod --selector=deploymentconfig=jenkins -o jsonpath='{ .metadata.name }'
   jenkins-1-37nux

3. oc rsync コマンドを使用してアプリケーションデータをコピーします。

   $ oc rsync jenkins-1-37nux:/var/lib/jenkins /tmp/

1. バックアップ予定の関連データをすべて一覧表示します。

   $ oc get all
   NAME         TYPE      FROM      LATEST
   bc/ruby-ex   Source    Git       1
   
   NAME               TYPE      FROM          STATUS     STARTED         DURATION
   builds/ruby-ex-1   Source    Git@c457001   Complete   2 minutes ago   35s
   
   NAME                 DOCKER REPO                                     TAGS      UPDATED
   is/guestbook         10.111.255.221:5000/myproject/guestbook         latest    2 minutes ago
   is/hello-openshift   10.111.255.221:5000/myproject/hello-openshift   latest    2 minutes ago
   is/ruby-22-centos7   10.111.255.221:5000/myproject/ruby-22-centos7   latest    2 minutes ago
   is/ruby-ex           10.111.255.221:5000/myproject/ruby-ex           latest    2 minutes ago
   
   NAME                 REVISION   DESIRED   CURRENT   TRIGGERED BY
   dc/guestbook         1          1         1         config,image(guestbook:latest)
   dc/hello-openshift   1          1         1         config,image(hello-openshift:latest)
   dc/ruby-ex           1          1         1         config,image(ruby-ex:latest)
   
   NAME                   DESIRED   CURRENT   READY     AGE
   rc/guestbook-1         1         1         1         2m
   rc/hello-openshift-1   1         1         1         2m
   rc/ruby-ex-1           1         1         1         2m
   
   NAME                  CLUSTER-IP       EXTERNAL-IP   PORT(S)             AGE
   svc/guestbook         10.111.105.84    <none>        3000/TCP            2m
   svc/hello-openshift   10.111.230.24    <none>        8080/TCP,8888/TCP   2m
   svc/ruby-ex           10.111.232.117   <none>        8080/TCP            2m
   
   NAME                         READY     STATUS      RESTARTS   AGE
   po/guestbook-1-c010g         1/1       Running     0          2m
   po/hello-openshift-1-4zw2q   1/1       Running     0          2m
   po/ruby-ex-1-build           0/1       Completed   0          2m
   po/ruby-ex-1-rxc74           1/1       Running     0          2m

2. プロジェクトオブジェクトを .yaml または .json ファイルにエクスポートします。

   • プロジェクトオブジェクトを project.yaml ファイルにエクスポートするには、以下を実行します。

     $ oc export all -o yaml > project.yaml

   • プロジェクトオブジェクトを project.json ファイルにエクスポートするには、以下を実行します。

     $ oc export all -o json > project.json

3. プロジェクトの role bindings、secrets、service accounts、および persistent volume claims をエクスポートします。

   $ for object in rolebindings serviceaccounts secrets imagestreamtags podpreset cms egressnetworkpolicies rolebindingrestrictions limitranges resourcequotas pvcs templates cronjobs statefulsets hpas deployments replicasets poddisruptionbudget endpoints
   do
     oc export $object -o yaml > $object.yaml
   done

4. 一部のエクスポートされたオブジェクトはプロジェクト内の特定のメタデータまたは固有の ID への参照に依存する場合があります。これは、再作成されるオブジェクトのユーザビリティーにおける制限になります。

   imagestreams の使用時に、deploymentconfig の image パラメーターは、復元される環境に存在しない内部レジストリー内のイメージの特定の sha チェックサムをポイントする場合があります。たとえば、サンプル "ruby-ex" を oc new-app centos/ruby-22-centos7~https://github.com/openshift/ruby-ex.git として実行すると、イメージをホストするための内部レジストリーを使用する imagestream ruby-ex が作成されます。

   $ oc get dc ruby-ex -o jsonpath="{.spec.template.spec.containers[].image}"
   10.111.255.221:5000/myproject/ruby-ex@sha256:880c720b23c8d15a53b01db52f7abdcbb2280e03f686a5c8edfef1a2a7b21cee

   oc export でのエクスポートと同じ方法で、deploymentconfig をインポートすると、イメージが存在しない場合には失敗します。

   このようなエクスポートを作成するには、openshift-ansible-contrib リポジトリーの project_export.sh を使用します。これにより、複数の異なるファイルに、すべてのプロジェクトオブジェクトが作成されます。このスクリプトの実行先ホストに、このプロジェクト名が指定されたディレクトリーと、そのプロジェクトに含まれるオブジェクトタイプごとの json ファイルが、このスクリプトにより作成されます。

   注記

   以下で参照される openshift-ansible-contrib リポジトリーのコードは Red Hat で明示的にサポートされている訳ではありませんが、リファレンスアーキテクチャーチームはコードが定義通りに動作し、安全であることを確認するためにテストを実行しています。

   スクリプトは Linux で実行され、これには jq および oc コマンドがインストールされている必要があります。また、対象のプロジェクトにある全オブジェクトを読み取ることのできるユーザーで、OpenShift Container Platform 環境のシステムにログインしておく必要があります。

   $ mkdir ~/git
   $ cd ~/git
   $ git clone https://github.com/openshift/openshift-ansible-contrib.git
   $ cd openshift-ansible-contrib/reference-architecture/day2ops/scripts
   $ ./project_export.sh <projectname>

   例:

   $ ./project_export.sh myproject
   Exporting namespace to project-demo/ns.json
   Exporting rolebindings to project-demo/rolebindings.json
   Exporting serviceaccounts to project-demo/serviceaccounts.json
   Exporting secrets to project-demo/secrets.json
   Exporting deploymentconfigs to project-demo/dc_*.json
   Patching DC...
   Exporting buildconfigs to project-demo/bcs.json
   Exporting builds to project-demo/builds.json
   Exporting imagestreams to project-demo/iss.json
   Exporting imagestreamtags to project-demo/imagestreamtags.json
   Exporting replicationcontrollers to project-demo/rcs.json
   Exporting services to project-demo/svc_*.json
   Exporting pods to project-demo/pods.json
   Exporting podpreset to project-demo/podpreset.json
   Exporting configmaps to project-demo/cms.json
   Exporting egressnetworkpolicies to project-demo/egressnetworkpolicies.json
   Exporting rolebindingrestrictions to project-demo/rolebindingrestrictions.json
   Exporting limitranges to project-demo/limitranges.json
   Exporting resourcequotas to project-demo/resourcequotas.json
   Exporting pvcs to project-demo/pvcs.json
   Exporting routes to project-demo/routes.json
   Exporting templates to project-demo/templates.json
   Exporting cronjobs to project-demo/cronjobs.json
   Exporting statefulsets to project-demo/statefulsets.json
   Exporting hpas to project-demo/hpas.json
   Exporting deployments to project-demo/deployments.json
   Exporting replicasets to project-demo/replicasets.json
   Exporting poddisruptionbudget to project-demo/poddisruptionbudget.json

5. これが実行されたら、ファイルを確認し、コンテンツが適切にエクスポートされていることを確認します。

   $ cd <projectname>
   $ ls -1
   bcs.json
   builds.json
   cms.json
   cronjobs.json
   dc_ruby-ex.json
   dc_ruby-ex_patched.json
   deployments.json
   egressnetworkpolicies.json
   endpoint_external-mysql-service.json
   hpas.json
   imagestreamtags.json
   iss.json
   limitranges.json
   ns.json
   poddisruptionbudget.json
   podpreset.json
   pods.json
   pvcs.json
   rcs.json
   replicasets.json
   resourcequotas.json
   rolebindingrestrictions.json
   rolebindings.json
   routes.json
   secrets.json
   serviceaccounts.json
   statefulsets.json
   svc_external-mysql-service.json
   svc_ruby-ex.json
   templates.json
   $ less bcs.json
   ...

   注記

   元のオブジェクトが存在しない場合、エクスポート時に空のファイルが作成されます。

6. imagestreams を使用している場合、スクリプトは deploymentconfig をイメージ sha の代わりにイメージ参照を使用するように変更し、_patched の追加情報を使用してエクスポートされたもの以外の json ファイルを作成します。

   $ diff dc_hello-openshift.json dc_hello-openshift_patched.json
   45c45
   <             "image": "docker.io/openshift/hello-openshift@sha256:42b59c869471a1b5fdacadf778667cecbaa79e002b7235f8091540ae612f0e14",
   ---
   >             "image": "hello-openshift:latest",

1. プロジェクトおよび Pod を表示します。

   $ oc get pods
   NAME           READY     STATUS      RESTARTS   AGE
   demo-1-build   0/1       Completed   0          2h
   demo-2-fxx6d   1/1       Running     0          1h

2. 永続ボリュームで使用されているボリュームを検索できるように必要な Pod の情報を取得します。

   $ oc describe pod demo-2-fxx6d
   Name:			demo-2-fxx6d
   Namespace:		test
   Security Policy:	restricted
   Node:			ip-10-20-6-20.ec2.internal/10.20.6.20
   Start Time:		Tue, 05 Dec 2017 12:54:34 -0500
   Labels:			app=demo
   			deployment=demo-2
   			deploymentconfig=demo
   Status:			Running
   IP:			172.16.12.5
   Controllers:		ReplicationController/demo-2
   Containers:
     demo:
       Container ID:	docker://201f3e55b373641eb36945d723e1e212ecab847311109b5cee1fd0109424217a
       Image:		docker-registry.default.svc:5000/test/demo@sha256:0a9f2487a0d95d51511e49d20dc9ff6f350436f935968b0c83fcb98a7a8c381a
       Image ID:		docker-pullable://docker-registry.default.svc:5000/test/demo@sha256:0a9f2487a0d95d51511e49d20dc9ff6f350436f935968b0c83fcb98a7a8c381a
       Port:		8080/TCP
       State:		Running
         Started:		Tue, 05 Dec 2017 12:54:52 -0500
       Ready:		True
       Restart Count:	0
       Volume Mounts:
         */opt/app-root/src/uploaded from persistent-volume (rw)*
         /var/run/secrets/kubernetes.io/serviceaccount from default-token-8mmrk (ro)
       Environment Variables:	<none>
   ...omitted...

   この出力は永続データが /opt/app-root/src/uploaded ディレクトリーにあることを示しています。

3. データをローカルにコピーします。

   $ oc rsync demo-2-fxx6d:/opt/app-root/src/uploaded ./demo-app
   receiving incremental file list
   uploaded/
   uploaded/ocp_sop.txt
   uploaded/lost+found/
   
   sent 38 bytes  received 190 bytes  152.00 bytes/sec
   total size is 32  speedup is 0.14

   ocp_sop.txt ファイルはローカルシステムにダウンロードされ、バックアップソフトウェアまたは別のバックアップメカニズムでバックアップされます。

   注記

   また、pvc を使用せずに Pod を起動する場合には、直前の手順を使用することもできますが、pvc が必要かどうかを後で確認する必要があります。データを保存してから復元プロセスを使用し、新規ストレージを生成することができます。

1. バックアップ予定の関連データをすべて一覧表示します。

   $ oc get all
   NAME         TYPE      FROM      LATEST
   bc/ruby-ex   Source    Git       1
   
   NAME               TYPE      FROM          STATUS     STARTED         DURATION
   builds/ruby-ex-1   Source    Git@c457001   Complete   2 minutes ago   35s
   
   NAME                 DOCKER REPO                                     TAGS      UPDATED
   is/guestbook         10.111.255.221:5000/myproject/guestbook         latest    2 minutes ago
   is/hello-openshift   10.111.255.221:5000/myproject/hello-openshift   latest    2 minutes ago
   is/ruby-22-centos7   10.111.255.221:5000/myproject/ruby-22-centos7   latest    2 minutes ago
   is/ruby-ex           10.111.255.221:5000/myproject/ruby-ex           latest    2 minutes ago
   
   NAME                 REVISION   DESIRED   CURRENT   TRIGGERED BY
   dc/guestbook         1          1         1         config,image(guestbook:latest)
   dc/hello-openshift   1          1         1         config,image(hello-openshift:latest)
   dc/ruby-ex           1          1         1         config,image(ruby-ex:latest)
   
   NAME                   DESIRED   CURRENT   READY     AGE
   rc/guestbook-1         1         1         1         2m
   rc/hello-openshift-1   1         1         1         2m
   rc/ruby-ex-1           1         1         1         2m
   
   NAME                  CLUSTER-IP       EXTERNAL-IP   PORT(S)             AGE
   svc/guestbook         10.111.105.84    <none>        3000/TCP            2m
   svc/hello-openshift   10.111.230.24    <none>        8080/TCP,8888/TCP   2m
   svc/ruby-ex           10.111.232.117   <none>        8080/TCP            2m
   
   NAME                         READY     STATUS      RESTARTS   AGE
   po/guestbook-1-c010g         1/1       Running     0          2m
   po/hello-openshift-1-4zw2q   1/1       Running     0          2m
   po/ruby-ex-1-build           0/1       Completed   0          2m
   po/ruby-ex-1-rxc74           1/1       Running     0          2m

2. プロジェクトオブジェクトを .yaml または .json ファイルにエクスポートします。

   • プロジェクトオブジェクトを project.yaml ファイルにエクスポートするには、以下を実行します。

     $ oc export all -o yaml > project.yaml

   • プロジェクトオブジェクトを project.json ファイルにエクスポートするには、以下を実行します。

     $ oc export all -o json > project.json

3. プロジェクトの role bindings、secrets、service accounts、および persistent volume claims をエクスポートします。

   $ for object in rolebindings serviceaccounts secrets imagestreamtags podpreset cms egressnetworkpolicies rolebindingrestrictions limitranges resourcequotas pvcs templates cronjobs statefulsets hpas deployments replicasets poddisruptionbudget endpoints
   do
     oc export $object -o yaml > $object.yaml
   done

4. 一部のエクスポートされたオブジェクトはプロジェクト内の特定のメタデータまたは固有の ID への参照に依存する場合があります。これは、再作成されるオブジェクトのユーザビリティーにおける制限になります。

   imagestreams の使用時に、deploymentconfig の image パラメーターは、復元される環境に存在しない内部レジストリー内のイメージの特定の sha チェックサムをポイントする場合があります。たとえば、サンプル "ruby-ex" を oc new-app centos/ruby-22-centos7~https://github.com/openshift/ruby-ex.git として実行すると、イメージをホストするための内部レジストリーを使用する imagestream ruby-ex が作成されます。

   $ oc get dc ruby-ex -o jsonpath="{.spec.template.spec.containers[].image}"
   10.111.255.221:5000/myproject/ruby-ex@sha256:880c720b23c8d15a53b01db52f7abdcbb2280e03f686a5c8edfef1a2a7b21cee

   oc export でのエクスポートと同じ方法で、deploymentconfig をインポートすると、イメージが存在しない場合には失敗します。

   このようなエクスポートを作成するには、openshift-ansible-contrib リポジトリーの project_export.sh を使用します。これにより、複数の異なるファイルに、すべてのプロジェクトオブジェクトが作成されます。このスクリプトの実行先ホストに、このプロジェクト名が指定されたディレクトリーと、そのプロジェクトに含まれるオブジェクトタイプごとの json ファイルが、このスクリプトにより作成されます。

   注記

   以下で参照される openshift-ansible-contrib リポジトリーのコードは Red Hat で明示的にサポートされている訳ではありませんが、リファレンスアーキテクチャーチームはコードが定義通りに動作し、安全であることを確認するためにテストを実行しています。

   スクリプトは Linux で実行され、これには jq および oc コマンドがインストールされている必要があります。また、対象のプロジェクトにある全オブジェクトを読み取ることのできるユーザーで、OpenShift Container Platform 環境のシステムにログインしておく必要があります。

   $ mkdir ~/git
   $ cd ~/git
   $ git clone https://github.com/openshift/openshift-ansible-contrib.git
   $ cd openshift-ansible-contrib/reference-architecture/day2ops/scripts
   $ ./project_export.sh <projectname>

   例:

   $ ./project_export.sh myproject
   Exporting namespace to project-demo/ns.json
   Exporting rolebindings to project-demo/rolebindings.json
   Exporting serviceaccounts to project-demo/serviceaccounts.json
   Exporting secrets to project-demo/secrets.json
   Exporting deploymentconfigs to project-demo/dc_*.json
   Patching DC...
   Exporting buildconfigs to project-demo/bcs.json
   Exporting builds to project-demo/builds.json
   Exporting imagestreams to project-demo/iss.json
   Exporting imagestreamtags to project-demo/imagestreamtags.json
   Exporting replicationcontrollers to project-demo/rcs.json
   Exporting services to project-demo/svc_*.json
   Exporting pods to project-demo/pods.json
   Exporting podpreset to project-demo/podpreset.json
   Exporting configmaps to project-demo/cms.json
   Exporting egressnetworkpolicies to project-demo/egressnetworkpolicies.json
   Exporting rolebindingrestrictions to project-demo/rolebindingrestrictions.json
   Exporting limitranges to project-demo/limitranges.json
   Exporting resourcequotas to project-demo/resourcequotas.json
   Exporting pvcs to project-demo/pvcs.json
   Exporting routes to project-demo/routes.json
   Exporting templates to project-demo/templates.json
   Exporting cronjobs to project-demo/cronjobs.json
   Exporting statefulsets to project-demo/statefulsets.json
   Exporting hpas to project-demo/hpas.json
   Exporting deployments to project-demo/deployments.json
   Exporting replicasets to project-demo/replicasets.json
   Exporting poddisruptionbudget to project-demo/poddisruptionbudget.json

5. これが実行されたら、ファイルを確認し、コンテンツが適切にエクスポートされていることを確認します。

   $ cd <projectname>
   $ ls -1
   bcs.json
   builds.json
   cms.json
   cronjobs.json
   dc_ruby-ex.json
   dc_ruby-ex_patched.json
   deployments.json
   egressnetworkpolicies.json
   endpoint_external-mysql-service.json
   hpas.json
   imagestreamtags.json
   iss.json
   limitranges.json
   ns.json
   poddisruptionbudget.json
   podpreset.json
   pods.json
   pvcs.json
   rcs.json
   replicasets.json
   resourcequotas.json
   rolebindingrestrictions.json
   rolebindings.json
   routes.json
   secrets.json
   serviceaccounts.json
   statefulsets.json
   svc_external-mysql-service.json
   svc_ruby-ex.json
   templates.json
   $ less bcs.json
   ...

   注記

   元のオブジェクトが存在しない場合、エクスポート時に空のファイルが作成されます。

6. imagestreams を使用している場合、スクリプトは deploymentconfig をイメージ sha の代わりにイメージ参照を使用するように変更し、_patched の追加情報を使用してエクスポートされたもの以外の json ファイルを作成します。

   $ diff dc_hello-openshift.json dc_hello-openshift_patched.json
   45c45
   <             "image": "docker.io/openshift/hello-openshift@sha256:42b59c869471a1b5fdacadf778667cecbaa79e002b7235f8091540ae612f0e14",
   ---
   >             "image": "hello-openshift:latest",

1. プロジェクトが単一ファイルとしてエクスポートされている場合は、以下のコマンドを実行してこのファイルをインポートします。

   $ oc new-project <projectname>
   $ oc create -f project.yaml
   $ oc create -f secret.yaml
   $ oc create -f serviceaccount.yaml
   $ oc create -f pvc.yaml
   $ oc create -f rolebindings.yaml

   警告

   Pod およびデフォルトサービスアカウントなどの一部のリソースは作成できない場合があります。

2. project_export.sh スクリプトを使用してプロジェクトをエクスポートした場合、ファイルは projectname ディレクトリーにあります。それらは、project_import.sh スクリプトを再度実行してインポートできます。このスクリプトは適切な順序で oc create プロセスを実行します。

   $ mkdir ~/git
   $ cd ~/git
   $ git clone https://github.com/openshift/openshift-ansible-contrib.git
   $ cd openshift-ansible-contrib/reference-architecture/day2ops/scripts
   $ ./project_import.sh <projectname_path>

   例:

   $ ls ~/backup/myproject
   bcs.json           dc_guestbook_patched.json        dc_ruby-ex_patched.json  pvcs.json          secrets.json
   builds.json        dc_hello-openshift.json          iss.json                 rcs.json           serviceaccounts.json
   cms.json           dc_hello-openshift_patched.json  ns.json                  rolebindings.json  svcs.json
   dc_guestbook.json  dc_ruby-ex.json                  pods.json                routes.json        templates.json
   
   $ ./project_import.sh ~/backup/myproject
   namespace "myproject" created
   rolebinding "admin" created
   rolebinding "system:deployers" created
   rolebinding "system:image-builders" created
   rolebinding "system:image-pullers" created
   secret "builder-dockercfg-mqhs6" created
   secret "default-dockercfg-51xb9" created
   secret "deployer-dockercfg-6kvz7" created
   Error from server (AlreadyExists): error when creating "myproject//serviceaccounts.json": serviceaccounts "builder" already exists
   Error from server (AlreadyExists): error when creating "myproject//serviceaccounts.json": serviceaccounts "default" already exists
   Error from server (AlreadyExists): error when creating "myproject//serviceaccounts.json": serviceaccounts "deployer" already exists
   error: no objects passed to create
   service "guestbook" created
   service "hello-openshift" created
   service "ruby-ex" created
   imagestream "guestbook" created
   imagestream "hello-openshift" created
   imagestream "ruby-22-centos7" created
   imagestream "ruby-ex" created
   error: no objects passed to create
   error: no objects passed to create
   buildconfig "ruby-ex" created
   build "ruby-ex-1" created
   deploymentconfig "guestbook" created
   deploymentconfig "hello-openshift" created
   deploymentconfig "ruby-ex" created
   replicationcontroller "ruby-ex-1" created
   Error from server (AlreadyExists): error when creating "myproject//rcs.json": replicationcontrollers "guestbook-1" already exists
   Error from server (AlreadyExists): error when creating "myproject//rcs.json": replicationcontrollers "hello-openshift-1" already exists
   pod "guestbook-1-c010g" created
   pod "hello-openshift-1-4zw2q" created
   pod "ruby-ex-1-rxc74" created
   Error from server (AlreadyExists): error when creating "myproject//pods.json": object is being deleted: pods "ruby-ex-1-build" already exists
   error: no objects passed to create

   注記

   serviceaccounts およびシークレットなどの一部のオブジェクトがプロジェクト作成時に自動的に作成されるために AlreadyExists エラーが表示される場合があります。

3. buildconfigs を使用するかどうかを確認します。

   $ oc get bc
   NAME      TYPE      FROM      LATEST
   ruby-ex   Source    Git       1
   $ oc get pods
   NAME                      READY     STATUS    RESTARTS   AGE
   guestbook-1-plnnq         1/1       Running   0          26s
   hello-openshift-1-g4g0j   1/1       Running   0          26s

   buildconfigs を使用する場合、ビルドは自動的にトリガーされず、アプリケーションは実行されません。

4. buildconfigs を使用する場合、ビルドをトリガーするには oc start-build コマンドを実行します。

   $ for bc in $(oc get bc -o jsonpath="{.items[*].metadata.name}")
   do
       oc start-build ${bc}
   done

   Pod はビルドの完了後にデプロイされます。

5. プロジェクトが復元されたことを確認するには、以下を実行します。

   $ oc get all
   NAME         TYPE      FROM      LATEST
   bc/ruby-ex   Source    Git       2
   
   NAME               TYPE      FROM          STATUS                    STARTED              DURATION
   builds/ruby-ex-1   Source    Git           Error (BuildPodDeleted)   About a minute ago
   builds/ruby-ex-2   Source    Git@c457001   Complete                  55 seconds ago       12s
   
   NAME                 DOCKER REPO                                     TAGS      UPDATED
   is/guestbook         10.111.255.221:5000/myproject/guestbook         latest    About a minute ago
   is/hello-openshift   10.111.255.221:5000/myproject/hello-openshift   latest    About a minute ago
   is/ruby-22-centos7   10.111.255.221:5000/myproject/ruby-22-centos7   latest    About a minute ago
   is/ruby-ex           10.111.255.221:5000/myproject/ruby-ex           latest    43 seconds ago
   
   NAME                 REVISION   DESIRED   CURRENT   TRIGGERED BY
   dc/guestbook         1          1         1         config,image(guestbook:latest)
   dc/hello-openshift   1          1         1         config,image(hello-openshift:latest)
   dc/ruby-ex           1          1         1         config,image(ruby-ex:latest)
   
   NAME                   DESIRED   CURRENT   READY     AGE
   rc/guestbook-1         1         1         1         1m
   rc/hello-openshift-1   1         1         1         1m
   rc/ruby-ex-1           1         1         1         43s
   
   NAME                  CLUSTER-IP       EXTERNAL-IP   PORT(S)             AGE
   svc/guestbook         10.111.126.115   <none>        3000/TCP            1m
   svc/hello-openshift   10.111.23.21     <none>        8080/TCP,8888/TCP   1m
   svc/ruby-ex           10.111.162.157   <none>        8080/TCP            1m
   
   NAME                         READY     STATUS      RESTARTS   AGE
   po/guestbook-1-plnnq         1/1       Running     0          1m
   po/hello-openshift-1-g4g0j   1/1       Running     0          1m
   po/ruby-ex-1-h99np           1/1       Running     0          42s
   po/ruby-ex-2-build           0/1       Completed   0          55s

   注記

   サービスおよび Pod IP アドレスは作成時に動的に割り当てられるので異なっています。

1. プロジェクトおよび Pod を表示します。

   $ oc get pods
   NAME           READY     STATUS      RESTARTS   AGE
   demo-1-build   0/1       Completed   0          2h
   demo-2-fxx6d   1/1       Running     0          1h

2. 永続ボリュームで使用されているボリュームを検索できるように必要な Pod の情報を取得します。

   $ oc describe pod demo-2-fxx6d
   Name:			demo-2-fxx6d
   Namespace:		test
   Security Policy:	restricted
   Node:			ip-10-20-6-20.ec2.internal/10.20.6.20
   Start Time:		Tue, 05 Dec 2017 12:54:34 -0500
   Labels:			app=demo
   			deployment=demo-2
   			deploymentconfig=demo
   Status:			Running
   IP:			172.16.12.5
   Controllers:		ReplicationController/demo-2
   Containers:
     demo:
       Container ID:	docker://201f3e55b373641eb36945d723e1e212ecab847311109b5cee1fd0109424217a
       Image:		docker-registry.default.svc:5000/test/demo@sha256:0a9f2487a0d95d51511e49d20dc9ff6f350436f935968b0c83fcb98a7a8c381a
       Image ID:		docker-pullable://docker-registry.default.svc:5000/test/demo@sha256:0a9f2487a0d95d51511e49d20dc9ff6f350436f935968b0c83fcb98a7a8c381a
       Port:		8080/TCP
       State:		Running
         Started:		Tue, 05 Dec 2017 12:54:52 -0500
       Ready:		True
       Restart Count:	0
       Volume Mounts:
         */opt/app-root/src/uploaded from persistent-volume (rw)*
         /var/run/secrets/kubernetes.io/serviceaccount from default-token-8mmrk (ro)
       Environment Variables:	<none>
   ...omitted...

   この出力は永続データが /opt/app-root/src/uploaded ディレクトリーにあることを示しています。

3. データをローカルにコピーします。

   $ oc rsync demo-2-fxx6d:/opt/app-root/src/uploaded ./demo-app
   receiving incremental file list
   uploaded/
   uploaded/ocp_sop.txt
   uploaded/lost+found/
   
   sent 38 bytes  received 190 bytes  152.00 bytes/sec
   total size is 32  speedup is 0.14

   ocp_sop.txt ファイルはローカルシステムにダウンロードされ、バックアップソフトウェアまたは別のバックアップメカニズムでバックアップされます。

   注記

   また、pvc を使用せずに Pod を起動する場合には、直前の手順を使用することもできますが、pvc が必要かどうかを後で確認する必要があります。データを保存してから復元プロセスを使用し、新規ストレージを生成することができます。

1. 既存ルートを削除します。

   $ oc delete route hawkular-metrics -n openshift-infra

   ルートが削除された状態で、新規ルートで re-encrypt ストラテジーと共に使用される証明書は、既存のワイルドカードおよびメトリクスデプロイヤーで作成される自己署名型の証明書でアセンブルされる必要があります。以下の証明書が利用可能でなければなりません。

   • ワイルドカード CA 証明書
   • ワイルドカードプライベートキー
   • ワイルドカード証明書

   • Hawkular CA 証明書

     各証明書は、新規ルート用にファイルシステムのファイルとして利用可能である必要があります。

     以下のコマンドを実行して Hawkular CA を取得し、この CA をファイルに保存してください。

     $ oc get secrets hawkular-metrics-certificate -n openshift-infra \
       -o jsonpath='{.data.hawkular-metrics-ca\.certificate}' | base64 -d > hawkular-internal-ca.crt

2. ワイルドカードのプライベートキー、証明書、および CA 証明書を見つけます。それぞれを wildcard.key、wildcard.crt、および wildcard.ca などの別々のファイルに配置します。

3. 新規 re-encrypt ルートを作成します。

   $ oc create route reencrypt hawkular-metrics-reencrypt \
             -n openshift-infra \
             --hostname hawkular-metrics.ocp.example.com \
             --key wildcard.key \
             --cert wildcard.crt \
             --ca-cert wildcard.ca \
             --service hawkular-metrics \
             --dest-ca-cert hawkular-internal-ca.crt