OpenShiftでファイルをシングルファイルマウントで置き換える
OpenShift 全部俺 Advent Calendar 2017
OpenShiftやKubernetesではConfigMapを使ってファイルを差し替えることができます。今日はJBoss EAPのstandalone-openshift.xmlをConfigMapでカスタマイズしたいなー、と思ってやってみたらストレートに行かなかった話です。
$ oc new-project test-javaee $ oc policy add-role-to-user view -z default $ oc new-app eap70-basic-s2i -p APPLICATION_NAME=hello-javaee -p SOURCE_REPOSITORY_URL=https://github.com/nekop/hello-javaee -p SOURCE_REPOSITORY_REF= -p CONTEXT_DIR= -p MAVEN_MIRROR_URL=http://nexus.example.com:8081/nexus/content/groups/mirror/
JBoss EAPのコンテナイメージは/opt/eap/standalone/configuration/standalone-openshift.xmlを利用するようになっているので、まずはファイルの内容はまったく変更しないで、standalone-openshift.xmlをConfigMapに移してConfigMapのsubPath指定でvolume mountして差し替えます。
$ oc create configmap eap-config --from-file=./standalone-openshift.xml $ oc volumes dc/hello-javaee --add --name=eap-config --configmap-name=eap-config --default-mode=0777 --mount-path=/opt/eap/standalone/configuration/standalone-openshift.xml --sub-path=standalone-openshift.xml
すると、CrashLoopしました。なんでやねん。
$ oc get pod NAME READY STATUS RESTARTS AGE hello-javaee-1-build 0/1 Completed 0 1m hello-javaee-2-deploy 1/1 Running 0 33s hello-javaee-2-p9bcj 0/1 CrashLoopBackOff 1 31s
ログを見るとsedがDevice or resource busyで失敗しているログがずらずら出ており、JBoss EAPは設定ファイルが不正で起動できません、という状態になっています。
$ oc logs -p hello-javaee-2-p9bcj
sed: cannot rename /opt/eap/standalone/configuration/sedezxomS: Device or resource busy
sed: cannot rename /opt/eap/standalone/configuration/sedjGz72R: Device or resource busy
sed: cannot rename /opt/eap/standalone/configuration/sedCDOG5Q: Device or resource busy
sed: cannot rename /opt/eap/standalone/configuration/sedBrYC5Q: Device or resource busy
sed: cannot rename /opt/eap/standalone/configuration/sedwG75aV: Device or resource busy
(省略)
07:03:43,188 ERROR [org.jboss.as.server] (Controller Boot Thread) WFLYSRV0055: Caught exception during boot: org.jboss.as.controller.persistence.ConfigurationPersistenceException: WFLYCTL0085: Failed to parse configuration
at org.jboss.as.controller.persistence.XmlConfigurationPersister.load(XmlConfigurationPersister.java:131) [wildfly-controller-2.1.18.Final-redhat-1.jar:2.1.18.Final-redhat-1]
at org.jboss.as.server.ServerService.boot(ServerService.java:362) [wildfly-server-2.1.18.Final-redhat-1.jar:2.1.18.Final-redhat-1]
at org.jboss.as.controller.AbstractControllerService$1.run(AbstractControllerService.java:301) [wildfly-controller-2.1.18.Final-redhat-1.jar:2.1.18.Final-redhat-1]
at java.lang.Thread.run(Thread.java:748) [rt.jar:1.8.0_151]
Caused by: javax.xml.stream.XMLStreamException: ParseError at [row,col]:[131,9]
Message: WFLYCTL0133: Missing required attribute(s): default-job-repository
設定ファイルの内容を変更していないのになぜこのようなエラーになるのでしょうか。
JBoss EAPのコンテナイメージは起動スクリプトで環境変数の内容からさまざまな設定をstandalone-openshift.xmlにsedコマンドで適用します。ログではsedコマンドがDevice or resource busyで失敗していたので、もうわかりますね。ConfigMapによるファイルの差し替えを行ったので、このファイルはマウントポイントになっています。それをsedで「置き換え」しようとしているのですが、マウントポイントであるため置き換えができず、Device or resource busyというエラーとなっています。結局書き換えられるはずの設定ファイルが書き換えられないまま不完全な状態で起動シーケンスに入ってクラッシュしていたのでした。ちなみにファイルを置き換えるのではなく、編集するのであれば成功します。あとoc debugで起動するとマウントポイントでもファイルの置き換えが可能になる挙動を確認しましたが、今回は深追いしません。
コンテナイメージ作成者は設定ファイルのテンプレートは実際の設定ファイルではなく、別のファイルにしましょう。そうすればテンプレートと出力先ファイルが同一なので置き換えられない、という今回の問題は回避できます。また、記事では触れませんでしたがオリジナルのstandalone-openshift.xmlを取り出すにも一工夫必要となります。というのも、起動したコンテナから取り出すと既に起動スクリプトが設定変更を適用した後のファイルとなってしまうため、oc debugで起動したコンテナから取得しないといけなかったり面倒でした。
というわけで、設定テンプレート元ファイルと実際の設定ファイル、同一のロケーションにするのはやめましょう、というお話でした。
JBoss EAPについてはチケットを作成しましたが、以前のバージョンとの互換性とかも気にしないといけないのですぐには解決できないんじゃないかなー、という雰囲気です。チケットに書いた通り、/opt/eap/standalone/configuration/ディレクトリをまるっとConfigMap化すると大丈夫です。
OpenShiftやKubernetesのCLIでGo templateを利用する
OpenShift 全部俺 Advent Calendar 2017
OpenShiftのocコマンドやKubernetesのkubectlコマンドの--templateオプションにGo templateを指定することによって、結果の値の一部分を抜き出したりすることができるので便利です。
たとえばsvc/docker-registryのClusterIPを抜き出したり、curlにRouteのhostnameを埋め込んだりするには以下のようにします。
$ oc get svc docker-registry --template='{{.spec.clusterIP}}'
172.30.137.165
$ curl -kv https://$(oc get route docker-registry --template='{{.spec.host}}')/v2/
{"errors":[{"code":"UNAUTHORIZED","message":"authentication required","detail":null}]}
応用するとSecretからchained server certの復元と情報表示なども一発でできます。
$ oc get secret registry-certificates -o yaml apiVersion: v1 data: registry.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSURpRENDQW5DZ0F3SUJBZ0lCQmpBTkJna3Foa2lHOXcwQkFRc0ZBREFtTVNRd0lnWURWUVFEREJ0dmNHVnUKYzJocFpuUXRjMmxuYm1WeVFERTFNVEl3TVRBek56VXdIaGNOTVRjeE1UTXdNRFF4T1RFM1doY05NVGt4TVRNdwpNRFF4T1RFNFdqQVpNUmN3RlFZRFZRUURFdzR4TnpJdU16QXVNVE0zTGpFMk5UQ0NBU0l3RFFZSktvWklodmNOCkFRRUJCUUFEZ2dFUEFEQ0NBUW9DZ2dFQkFObVVlVVVDN3k2Y1BINDQ5QmdHbVpFWkFsNS9ZeFN3eGFONDdLeTkKRjExSVhwWHo1YnN3N2M1VDl0OU9vcUR2SWRNZjdzS0lTUmd0MHlkL2VidmdydDNuTWRLSFZLOUtLM2lPU1hQbwptWGNLelVnd0RKbEFqK1FjWkNPYmwxWFEwZkU4NlliUFhrMy9vbDcxNVFKcWwzOUFtaFpVRENVMEFuMFpGSC9GCklpWjRlVzZwNkJEUCtzcE15U01TVEs1allmMmZFUG9QYTQzZVdQek1LVUNVa3NtODhkb2xxNVlPUWgwU0ptcUUKbmZXVkd2bnA5Z3Fld2Q5dndDQU1xSVhobFhSN2hKaVB5WElkK0ZZU1FQbjdlcHlGWExMZ3A5dU9oSGVoaUpYYQpzU2VRSWYxSTZxWGxBQ2l3MjhzZDk2d25nczlySWR1bXNrTnV5eEZoaHlvZU1oMENBd0VBQWFPQnpUQ0J5akFPCkJnTlZIUThCQWY4RUJBTUNCYUF3RXdZRFZSMGxCQXd3Q2dZSUt3WUJCUVVIQXdFd0RBWURWUjBUQVFIL0JBSXcKQURDQmxBWURWUjBSQklHTU1JR0pnaWxrYjJOclpYSXRjbVZuYVhOMGNua3RaR1ZtWVhWc2RDNWhjSEJ6TG5NegpOeTV1Wld0dmNDNXBiNEliWkc5amEyVnlMWEpsWjJsemRISjVMbVJsWm1GMWJIUXVjM1pqZ2lsa2IyTnJaWEl0CmNtVm5hWE4wY25rdVpHVm1ZWFZzZEM1emRtTXVZMngxYzNSbGNpNXNiMk5oYklJT01UY3lMak13TGpFek55NHgKTmpXSEJLd2VpYVV3RFFZSktvWklodmNOQVFFTEJRQURnZ0VCQUc2R3pKSnpXaUo0L0lPaDF3YjBsakdxekFTNwpuQTM2Uy9xemZneDlLVFNWTmZQenIrZUVoaFRwSlVuNlZGNHByVnpUTnVDaE9IMVhEVk1rYkk3cVpqcUJud3FRCitHcnB5WjJOYUMxQ2prSDZ5Tm9HSEphaGFlM1BTcUFTdUJCODZCRUJIM0RsNW1xYW5uNUdYRWRFSHBad216MXEKMG5mOFQ1NHE0ZHQxZVR5R0NWaFQzL1dkS0doY2VCR2tSYkw4dDFzSnZkMHlsTWVqWmU2aVVNaURZY1NwUlJjdgpLTkJ5NXhZb2FzUU5nbnFUQVFnRzZqYkY2c00yL0MzT2JQU2trTU1Xdjg3Y3hGbVEwcEg3UndPckplSW5zMkVHCm9zUUxNL29XamlGWWtKV2xwY1BqWDZaOWJuYUlGOTZOb1RjR2F5SjM4T3BnZ0s0Q1cvQ0tCakdVN25vPQotLS0tLUVORCBDRVJUSUZJQ0FURS0tLS0tCi0tLS0tQkVHSU4gQ0VSVElGSUNBVEUtLS0tLQpNSUlDNmpDQ0FkS2dBd0lCQWdJQkFUQU5CZ2txaGtpRzl3MEJBUXNGQURBbU1TUXdJZ1lEVlFRRERCdHZjR1Z1CmMyaHBablF0YzJsbmJtVnlRREUxTVRJd01UQXpOelV3SGhjTk1UY3hNVE13TURJMU1qVTBXaGNOTWpJeE1USTUKTURJMU1qVTFXakFtTVNRd0lnWURWUVFEREJ0dmNHVnVjMmhwWm5RdGMybG5ibVZ5UURFMU1USXdNVEF6TnpVdwpnZ0VpTUEwR0NTcUdTSWIzRFFFQkFRVUFBNElCRHdBd2dnRUtBb0lCQVFEVTNIZHA3SzVmZytGU2l6SUNYM0ZICjdpOVRqbk5LSTFreXVMbWR3UE5iOUY0dzh0dGxXUlRjTzZVdG00UzVKR3ZRZkgvSVMwclV2RkRTNXZKZUhTcTUKU2lsMlk5RVZkYlhLS3FXYVBmWTBSNnlCT2NXSHlnTlludkd6bEJHNTh1Q0xQU2hVWW1lSjYxcDl4dE5aOFdGWQpiN2dSSXQwL3o2WGV3RVFnaHBPNXBjQWVlVC8wdjBzcyt6bVM3T3NYYWZDUFJ6cVdxTVBtVE14WHd0R25janUwCm9OM1FJeWlCNCtmd0krOTFZUEJ4R1NBSEhTamNMLzlxakxiamsrRnZNMzg2UUc1NFd4SFZ1SnVrNzRmaDVML1oKK0lJOWZ5Vy9tMjIxYmpRZ2JrSHpwQjN5aVhtWXEzUTZKZ1dub0dzTFE4WGdGTnNndnVFR1RDRUpFbHRwNFFUWgpBZ01CQUFHakl6QWhNQTRHQTFVZER3RUIvd1FFQXdJQ3BEQVBCZ05WSFJNQkFmOEVCVEFEQVFIL01BMEdDU3FHClNJYjNEUUVCQ3dVQUE0SUJBUUFxMGc1cWNJRVJlYjRaQUtUYldtZTFaOTlRWXJQZHdsMTlhQUdmT2N6eDJmZWIKamFVVzNYOXdlOEt3eStCTWppQk1KdmVMVFYrTlVmeUh0S0poejVFWGFXME05ZlExcUUrUkZBWWRubnJTNFBtSwpSczhCVkJrbHM4aWVqY2NwSy82ZGNvS2U5ZmJrNE5mRTNTdEVhSVFjVEtlUnVBeC85c1pVeTVpK01GYUxJUmNZCkk3eDdFc3AvVmlxY1hBSGt6R29Mb09ZSjRHMmF3akFidENPbmVHQ3B2ZTgrWmdDVzBjak1KYWRId1Vqb1dMRUUKNWVpdVRHRUZaN3Z6RlQwbWhpZHg3K0pwOUZpT1o1NmdiNFJFQXpzWTVXZ003Z3BGNWNRWnBzOFZCNWNxQ1dUbwpNQjlHeThpdlhRUS93KzRibUpxeWFlUVozcjMxVnBrSVVaZlJ0RE9QCi0tLS0tRU5EIENFUlRJRklDQVRFLS0tLS0KLS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUM2akNDQWRLZ0F3SUJBZ0lCQVRBTkJna3Foa2lHOXcwQkFRc0ZBREFtTVNRd0lnWURWUVFEREJ0dmNHVnUKYzJocFpuUXRjMmxuYm1WeVFERTFNVEl3TVRBek56VXdIaGNOTVRjeE1UTXdNREkxTWpVMFdoY05Nakl4TVRJNQpNREkxTWpVMVdqQW1NU1F3SWdZRFZRUUREQnR2Y0dWdWMyaHBablF0YzJsbmJtVnlRREUxTVRJd01UQXpOelV3CmdnRWlNQTBHQ1NxR1NJYjNEUUVCQVFVQUE0SUJEd0F3Z2dFS0FvSUJBUURVM0hkcDdLNWZnK0ZTaXpJQ1gzRkgKN2k5VGpuTktJMWt5dUxtZHdQTmI5RjR3OHR0bFdSVGNPNlV0bTRTNUpHdlFmSC9JUzByVXZGRFM1dkplSFNxNQpTaWwyWTlFVmRiWEtLcVdhUGZZMFI2eUJPY1dIeWdOWW52R3psQkc1OHVDTFBTaFVZbWVKNjFwOXh0Tlo4V0ZZCmI3Z1JJdDAvejZYZXdFUWdocE81cGNBZWVULzB2MHNzK3ptUzdPc1hhZkNQUnpxV3FNUG1UTXhYd3RHbmNqdTAKb04zUUl5aUI0K2Z3SSs5MVlQQnhHU0FISFNqY0wvOXFqTGJqaytGdk0zODZRRzU0V3hIVnVKdWs3NGZoNUwvWgorSUk5ZnlXL20yMjFialFnYmtIenBCM3lpWG1ZcTNRNkpnV25vR3NMUThYZ0ZOc2d2dUVHVENFSkVsdHA0UVRaCkFnTUJBQUdqSXpBaE1BNEdBMVVkRHdFQi93UUVBd0lDcERBUEJnTlZIUk1CQWY4RUJUQURBUUgvTUEwR0NTcUcKU0liM0RRRUJDd1VBQTRJQkFRQXEwZzVxY0lFUmViNFpBS1RiV21lMVo5OVFZclBkd2wxOWFBR2ZPY3p4MmZlYgpqYVVXM1g5d2U4S3d5K0JNamlCTUp2ZUxUVitOVWZ5SHRLSmh6NUVYYVcwTTlmUTFxRStSRkFZZG5uclM0UG1LClJzOEJWQmtsczhpZWpjY3BLLzZkY29LZTlmYms0TmZFM1N0RWFJUWNUS2VSdUF4LzlzWlV5NWkrTUZhTElSY1kKSTd4N0VzcC9WaXFjWEFIa3pHb0xvT1lKNEcyYXdqQWJ0Q09uZUdDcHZlOCtaZ0NXMGNqTUphZEh3VWpvV0xFRQo1ZWl1VEdFRlo3dnpGVDBtaGlkeDcrSnA5RmlPWjU2Z2I0UkVBenNZNVdnTTdncEY1Y1FacHM4VkI1Y3FDV1RvCk1COUd5OGl2WFFRL3crNGJtSnF5YWVRWjNyMzFWcGtJVVpmUnRET1AKLS0tLS1FTkQgQ0VSVElGSUNBVEUtLS0tLQo= registry.key: LS0tLS1CRUdJTiBSU0EgUFJJVkFURSBLRVktLS0tLQpNSUlFb3dJQkFBS0NBUUVBMlpSNVJRTHZMcHc4ZmpqMEdBYVprUmtDWG45akZMREZvM2pzckwwWFhVaGVsZlBsCnV6RHR6bFAyMzA2aW9POGgweC91d29oSkdDM1RKMzk1dStDdTNlY3gwb2RVcjBvcmVJNUpjK2laZHdyTlNEQU0KbVVDUDVCeGtJNXVYVmREUjhUenBoczllVGYraVh2WGxBbXFYZjBDYUZsUU1KVFFDZlJrVWY4VWlKbmg1YnFubwpFTS82eWt6Skl4Sk1ybU5oL1o4UStnOXJqZDVZL013cFFKU1N5Ynp4MmlXcmxnNUNIUkltYW9TZDlaVWErZW4yCkNwN0IzMi9BSUF5b2hlR1ZkSHVFbUkvSmNoMzRWaEpBK2Z0Nm5JVmNzdUNuMjQ2RWQ2R0lsZHF4SjVBaC9VanEKcGVVQUtMRGJ5eDMzckNlQ3oyc2gyNmF5UTI3TEVXR0hLaDR5SFFJREFRQUJBb0lCQUdmL1pMdU12SUJkNHpnOQp4c1paR1R2V1pXQi9xUDh4d3pYd3pjZC9GbFRiQzRMSE1rNTRBNkswVlhMRkpreWdJRjNHakp2bEFuTVJMRFZiCjQvYmVYUmJwczlHNko4c2xPNFFERnE3VlJjMDFsNHRpbEJNSVhmNmRaMnZ4cWJNMS9iTTk5eTBkbnlqUEFIQTkKUGpvYWN0RTdNcXRyZnVhbFptOGU5c0pmbW9RaC9jNW5QWmptcW9LeVpUbEw5c2cwaDVKVzEwQkk0UVZ0aHNlZwpmMnVEblpveTB3R0JXTG9jbyt1MmhIckdOUmlhYVZuUnJWRDhOYXRXRFd1eVArZFpKdmlBaTFDemc3cktUcDczCjRhUklzZVlEdWp1Z1dyMDRpSGE2RGpyQlFpMm8vUHNwRGI0N3oraUtTUmIvK2haTDBoQ2RWWStERXl5eTI1WjYKbEhrMnJFRUNnWUVBNWNlSHhaN0pST3hzZDNId0xqT0lwMUZteFBNRkRwMmxwYVpwZTlaczFHVTZmaHB0SmRXYQp0ZXJPWFVVS3NCNE5mM1VtQjA5ZENzdjBlVWlIU2czL21PNnJPQ0hRREdyWGNINHN2S2pvdUFIMGc0MktsUUdYCkZBcENJdVRndGV5MXg5SDRyRnB1TWk4eGh6OGZURFJBV3lSRHJ0U0F4TjJXaGMrV0RtaUlsZkVDZ1lFQThtaVEKcnJMaFQyb3FDT0RrSTVnc3BKRkh4VW5RNUc4Y0Vpc211WEcvUWtGdUlraXJ0dVdSUE5idlRtTDN4dFl2YjUxYgpHSmZibUlnTDYvbWt0SWowVkxCeDNrWUk1dm1McklDZW1aN3Bta0E3TjBmYUFYS2R5Rkd5V3dEZG9jUjNaVTZUCnR5RWNPSCt2dHJ4WnF5bnNQRGZ6Ny9YZjdOdzg1eWhMckJ6M2d1MENnWUVBdkJhZWJ3ZlJYUmZpbWN1c2ZVVTEKNFRCaTNXakloUFJLdWRRRW1KZ25NWjFEU2lJN29qSzlsNWdESUpuNWE3ek44NzFqU2F5UFR0MHcyMjZoUDk5QgprR0FkeTY3eDdKZ3dqaWJhVy93dnN4LzJsUkR4bFpOZHBjdlg0MVJURk5nVTNPSmxtai9UNEVSOVdHWTFLbDNECktGZ0JCMFZ2dXJaZ0ZseWNTbU1MR3lFQ2dZQWFhTkg2ZG5xZGtFOXNFRFJLdkhXQXFHTk5WekZ1OGJ2NUxzSlYKU2RNd2dMaGkrOC9aYVVGZGczMG02UmxkakZBMnRNb0w3OTk0eXJtaHg5enQzazNnUENqcnNtMmQzR29mTFJRYQpZSG5LMkZ5Yk5UVEhHNW1kRFdtRkNKOGMxSzY5VnNZNUdWNWR1V3VIV1JYYjFBRnN2aHZSZE5Ra2xnbjhsU05KCmFRNStNUUtCZ0FzeTk3R0hqdjJkU0VwbGVnekhpNEE0TjdjVkFlU2s2b2U1ay9XL0lqRXE3c0QvOXhCM2p2Sy8KUDdxYnFiSkNycGVudldnbENXRkRURGNOZTVhU3lIOWplQnlXQW1venRWblIyK3FQcDhIczJ3T21mVFZHYnhmUAphanNFZ3FYNkI4ekxpcnBFWnFpbzNmUTg2UDNLOTJxbHQ1ZHBQN3k3ZXh1b0pUcHlYKzg5Ci0tLS0tRU5EIFJTQSBQUklWQVRFIEtFWS0tLS0tCg== kind: Secret metadata: creationTimestamp: 2017-11-30T04:19:21Z name: registry-certificates namespace: default resourceVersion: "2970757" selfLink: /api/v1/namespaces/default/secrets/registry-certificates uid: a42d3d19-d585-11e7-be6c-001a4a40dc83 type: Opaque
以下のコマンドで証明書の情報を直接を表示できます。
$ openssl crl2pkcs7 -nocrl -certfile <(oc get secret registry-certificates --template='{{index .data "registry.crt"}}' | base64 -d) | openssl pkcs7 -print_certs -text
Certificate:
Data:
Version: 3 (0x2)
Serial Number: 6 (0x6)
Signature Algorithm: sha256WithRSAEncryption
Issuer: CN=openshift-signer@1512010375
Validity
Not Before: Nov 30 04:19:17 2017 GMT
Not After : Nov 30 04:19:18 2019 GMT
Subject: CN=172.30.137.165
Subject Public Key Info:
Public Key Algorithm: rsaEncryption
Public-Key: (2048 bit)
Modulus:
00:d9:94:79:45:02:ef:2e:9c:3c:7e:38:f4:18:06:
99:91:19:02:5e:7f:63:14:b0:c5:a3:78:ec:ac:bd:
17:5d:48:5e:95:f3:e5:bb:30:ed:ce:53:f6:df:4e:
a2:a0:ef:21:d3:1f:ee:c2:88:49:18:2d:d3:27:7f:
79:bb:e0:ae:dd:e7:31:d2:87:54:af:4a:2b:78:8e:
49:73:e8:99:77:0a:cd:48:30:0c:99:40:8f:e4:1c:
64:23:9b:97:55:d0:d1:f1:3c:e9:86:cf:5e:4d:ff:
a2:5e:f5:e5:02:6a:97:7f:40:9a:16:54:0c:25:34:
02:7d:19:14:7f:c5:22:26:78:79:6e:a9:e8:10:cf:
fa:ca:4c:c9:23:12:4c:ae:63:61:fd:9f:10:fa:0f:
6b:8d:de:58:fc:cc:29:40:94:92:c9:bc:f1:da:25:
ab:96:0e:42:1d:12:26:6a:84:9d:f5:95:1a:f9:e9:
f6:0a:9e:c1:df:6f:c0:20:0c:a8:85:e1:95:74:7b:
84:98:8f:c9:72:1d:f8:56:12:40:f9:fb:7a:9c:85:
5c:b2:e0:a7:db:8e:84:77:a1:88:95:da:b1:27:90:
21:fd:48:ea:a5:e5:00:28:b0:db:cb:1d:f7:ac:27:
82:cf:6b:21:db:a6:b2:43:6e:cb:11:61:87:2a:1e:
32:1d
Exponent: 65537 (0x10001)
X509v3 extensions:
X509v3 Key Usage: critical
Digital Signature, Key Encipherment
X509v3 Extended Key Usage:
TLS Web Server Authentication
X509v3 Basic Constraints: critical
CA:FALSE
X509v3 Subject Alternative Name:
DNS:docker-registry-default.apps.s37.nekop.io, DNS:docker-registry.default.svc, DNS:docker-registry.default.svc.cluster.local, DNS:172.30.137.165, IP Address:172.30.137.165
Signature Algorithm: sha256WithRSAEncryption
6e:86:cc:92:73:5a:22:78:fc:83:a1:d7:06:f4:96:31:aa:cc:
04:bb:9c:0d:fa:4b:fa:b3:7e:0c:7d:29:34:95:35:f3:f3:af:
e7:84:86:14:e9:25:49:fa:54:5e:29:ad:5c:d3:36:e0:a1:38:
7d:57:0d:53:24:6c:8e:ea:66:3a:81:9f:0a:90:f8:6a:e9:c9:
9d:8d:68:2d:42:8e:41:fa:c8:da:06:1c:96:a1:69:ed:cf:4a:
a0:12:b8:10:7c:e8:11:01:1f:70:e5:e6:6a:9a:9e:7e:46:5c:
47:44:1e:96:70:9b:3d:6a:d2:77:fc:4f:9e:2a:e1:db:75:79:
3c:86:09:58:53:df:f5:9d:28:68:5c:78:11:a4:45:b2:fc:b7:
5b:09:bd:dd:32:94:c7:a3:65:ee:a2:50:c8:83:61:c4:a9:45:
17:2f:28:d0:72:e7:16:28:6a:c4:0d:82:7a:93:01:08:06:ea:
36:c5:ea:c3:36:fc:2d:ce:6c:f4:a4:90:c3:16:bf:ce:dc:c4:
59:90:d2:91:fb:47:03:ab:25:e2:27:b3:61:06:a2:c4:0b:33:
fa:16:8e:21:58:90:95:a5:a5:c3:e3:5f:a6:7d:6e:76:88:17:
de:8d:a1:37:06:6b:22:77:f0:ea:60:80:ae:02:5b:f0:8a:06:
31:94:ee:7a
-----BEGIN CERTIFICATE-----
MIIDiDCCAnCgAwIBAgIBBjANBgkqhkiG9w0BAQsFADAmMSQwIgYDVQQDDBtvcGVu
c2hpZnQtc2lnbmVyQDE1MTIwMTAzNzUwHhcNMTcxMTMwMDQxOTE3WhcNMTkxMTMw
MDQxOTE4WjAZMRcwFQYDVQQDEw4xNzIuMzAuMTM3LjE2NTCCASIwDQYJKoZIhvcN
AQEBBQADggEPADCCAQoCggEBANmUeUUC7y6cPH449BgGmZEZAl5/YxSwxaN47Ky9
F11IXpXz5bsw7c5T9t9OoqDvIdMf7sKISRgt0yd/ebvgrt3nMdKHVK9KK3iOSXPo
mXcKzUgwDJlAj+QcZCObl1XQ0fE86YbPXk3/ol715QJql39AmhZUDCU0An0ZFH/F
IiZ4eW6p6BDP+spMySMSTK5jYf2fEPoPa43eWPzMKUCUksm88dolq5YOQh0SJmqE
nfWVGvnp9gqewd9vwCAMqIXhlXR7hJiPyXId+FYSQPn7epyFXLLgp9uOhHehiJXa
sSeQIf1I6qXlACiw28sd96wngs9rIdumskNuyxFhhyoeMh0CAwEAAaOBzTCByjAO
BgNVHQ8BAf8EBAMCBaAwEwYDVR0lBAwwCgYIKwYBBQUHAwEwDAYDVR0TAQH/BAIw
ADCBlAYDVR0RBIGMMIGJgilkb2NrZXItcmVnaXN0cnktZGVmYXVsdC5hcHBzLnMz
Ny5uZWtvcC5pb4IbZG9ja2VyLXJlZ2lzdHJ5LmRlZmF1bHQuc3Zjgilkb2NrZXIt
cmVnaXN0cnkuZGVmYXVsdC5zdmMuY2x1c3Rlci5sb2NhbIIOMTcyLjMwLjEzNy4x
NjWHBKweiaUwDQYJKoZIhvcNAQELBQADggEBAG6GzJJzWiJ4/IOh1wb0ljGqzAS7
nA36S/qzfgx9KTSVNfPzr+eEhhTpJUn6VF4prVzTNuChOH1XDVMkbI7qZjqBnwqQ
+GrpyZ2NaC1CjkH6yNoGHJahae3PSqASuBB86BEBH3Dl5mqann5GXEdEHpZwmz1q
0nf8T54q4dt1eTyGCVhT3/WdKGhceBGkRbL8t1sJvd0ylMejZe6iUMiDYcSpRRcv
KNBy5xYoasQNgnqTAQgG6jbF6sM2/C3ObPSkkMMWv87cxFmQ0pH7RwOrJeIns2EG
osQLM/oWjiFYkJWlpcPjX6Z9bnaIF96NoTcGayJ38OpggK4CW/CKBjGU7no=
-----END CERTIFICATE-----
Certificate:
Data:
Version: 3 (0x2)
Serial Number: 1 (0x1)
Signature Algorithm: sha256WithRSAEncryption
Issuer: CN=openshift-signer@1512010375
Validity
Not Before: Nov 30 02:52:54 2017 GMT
Not After : Nov 29 02:52:55 2022 GMT
Subject: CN=openshift-signer@1512010375
Subject Public Key Info:
Public Key Algorithm: rsaEncryption
Public-Key: (2048 bit)
Modulus:
00:d4:dc:77:69:ec:ae:5f:83:e1:52:8b:32:02:5f:
71:47:ee:2f:53:8e:73:4a:23:59:32:b8:b9:9d:c0:
f3:5b:f4:5e:30:f2:db:65:59:14:dc:3b:a5:2d:9b:
84:b9:24:6b:d0:7c:7f:c8:4b:4a:d4:bc:50:d2:e6:
f2:5e:1d:2a:b9:4a:29:76:63:d1:15:75:b5:ca:2a:
a5:9a:3d:f6:34:47:ac:81:39:c5:87:ca:03:58:9e:
f1:b3:94:11:b9:f2:e0:8b:3d:28:54:62:67:89:eb:
5a:7d:c6:d3:59:f1:61:58:6f:b8:11:22:dd:3f:cf:
a5:de:c0:44:20:86:93:b9:a5:c0:1e:79:3f:f4:bf:
4b:2c:fb:39:92:ec:eb:17:69:f0:8f:47:3a:96:a8:
c3:e6:4c:cc:57:c2:d1:a7:72:3b:b4:a0:dd:d0:23:
28:81:e3:e7:f0:23:ef:75:60:f0:71:19:20:07:1d:
28:dc:2f:ff:6a:8c:b6:e3:93:e1:6f:33:7f:3a:40:
6e:78:5b:11:d5:b8:9b:a4:ef:87:e1:e4:bf:d9:f8:
82:3d:7f:25:bf:9b:6d:b5:6e:34:20:6e:41:f3:a4:
1d:f2:89:79:98:ab:74:3a:26:05:a7:a0:6b:0b:43:
c5:e0:14:db:20:be:e1:06:4c:21:09:12:5b:69:e1:
04:d9
Exponent: 65537 (0x10001)
X509v3 extensions:
X509v3 Key Usage: critical
Digital Signature, Key Encipherment, Certificate Sign
X509v3 Basic Constraints: critical
CA:TRUE
Signature Algorithm: sha256WithRSAEncryption
2a:d2:0e:6a:70:81:11:79:be:19:00:a4:db:5a:67:b5:67:df:
50:62:b3:dd:c2:5d:7d:68:01:9f:39:cc:f1:d9:f7:9b:8d:a5:
16:dd:7f:70:7b:c2:b0:cb:e0:4c:8e:20:4c:26:f7:8b:4d:5f:
8d:51:fc:87:b4:a2:61:cf:91:17:69:6d:0c:f5:f4:35:a8:4f:
91:14:06:1d:9e:7a:d2:e0:f9:8a:46:cf:01:54:19:25:b3:c8:
9e:8d:c7:29:2b:fe:9d:72:82:9e:f5:f6:e4:e0:d7:c4:dd:2b:
44:68:84:1c:4c:a7:91:b8:0c:7f:f6:c6:54:cb:98:be:30:56:
8b:21:17:18:23:bc:7b:12:ca:7f:56:2a:9c:5c:01:e4:cc:6a:
0b:a0:e6:09:e0:6d:9a:c2:30:1b:b4:23:a7:78:60:a9:bd:ef:
3e:66:00:96:d1:c8:cc:25:a7:47:c1:48:e8:58:b1:04:e5:e8:
ae:4c:61:05:67:bb:f3:15:3d:26:86:27:71:ef:e2:69:f4:58:
8e:67:9e:a0:6f:84:44:03:3b:18:e5:68:0c:ee:0a:45:e5:c4:
19:a6:cf:15:07:97:2a:09:64:e8:30:1f:46:cb:c8:af:5d:04:
3f:c3:ee:1b:98:9a:b2:69:e4:19:de:bd:f5:56:99:08:51:97:
d1:b4:33:8f
-----BEGIN CERTIFICATE-----
MIIC6jCCAdKgAwIBAgIBATANBgkqhkiG9w0BAQsFADAmMSQwIgYDVQQDDBtvcGVu
c2hpZnQtc2lnbmVyQDE1MTIwMTAzNzUwHhcNMTcxMTMwMDI1MjU0WhcNMjIxMTI5
MDI1MjU1WjAmMSQwIgYDVQQDDBtvcGVuc2hpZnQtc2lnbmVyQDE1MTIwMTAzNzUw
ggEiMA0GCSqGSIb3DQEBAQUAA4IBDwAwggEKAoIBAQDU3Hdp7K5fg+FSizICX3FH
7i9TjnNKI1kyuLmdwPNb9F4w8ttlWRTcO6Utm4S5JGvQfH/IS0rUvFDS5vJeHSq5
Sil2Y9EVdbXKKqWaPfY0R6yBOcWHygNYnvGzlBG58uCLPShUYmeJ61p9xtNZ8WFY
b7gRIt0/z6XewEQghpO5pcAeeT/0v0ss+zmS7OsXafCPRzqWqMPmTMxXwtGncju0
oN3QIyiB4+fwI+91YPBxGSAHHSjcL/9qjLbjk+FvM386QG54WxHVuJuk74fh5L/Z
+II9fyW/m221bjQgbkHzpB3yiXmYq3Q6JgWnoGsLQ8XgFNsgvuEGTCEJEltp4QTZ
AgMBAAGjIzAhMA4GA1UdDwEB/wQEAwICpDAPBgNVHRMBAf8EBTADAQH/MA0GCSqG
SIb3DQEBCwUAA4IBAQAq0g5qcIEReb4ZAKTbWme1Z99QYrPdwl19aAGfOczx2feb
jaUW3X9we8Kwy+BMjiBMJveLTV+NUfyHtKJhz5EXaW0M9fQ1qE+RFAYdnnrS4PmK
Rs8BVBkls8iejccpK/6dcoKe9fbk4NfE3StEaIQcTKeRuAx/9sZUy5i+MFaLIRcY
I7x7Esp/ViqcXAHkzGoLoOYJ4G2awjAbtCOneGCpve8+ZgCW0cjMJadHwUjoWLEE
5eiuTGEFZ7vzFT0mhidx7+Jp9FiOZ56gb4REAzsY5WgM7gpF5cQZps8VB5cqCWTo
MB9Gy8ivXQQ/w+4bmJqyaeQZ3r31VpkIUZfRtDOP
-----END CERTIFICATE-----
Certificate:
Data:
Version: 3 (0x2)
Serial Number: 1 (0x1)
Signature Algorithm: sha256WithRSAEncryption
Issuer: CN=openshift-signer@1512010375
Validity
Not Before: Nov 30 02:52:54 2017 GMT
Not After : Nov 29 02:52:55 2022 GMT
Subject: CN=openshift-signer@1512010375
Subject Public Key Info:
Public Key Algorithm: rsaEncryption
Public-Key: (2048 bit)
Modulus:
00:d4:dc:77:69:ec:ae:5f:83:e1:52:8b:32:02:5f:
71:47:ee:2f:53:8e:73:4a:23:59:32:b8:b9:9d:c0:
f3:5b:f4:5e:30:f2:db:65:59:14:dc:3b:a5:2d:9b:
84:b9:24:6b:d0:7c:7f:c8:4b:4a:d4:bc:50:d2:e6:
f2:5e:1d:2a:b9:4a:29:76:63:d1:15:75:b5:ca:2a:
a5:9a:3d:f6:34:47:ac:81:39:c5:87:ca:03:58:9e:
f1:b3:94:11:b9:f2:e0:8b:3d:28:54:62:67:89:eb:
5a:7d:c6:d3:59:f1:61:58:6f:b8:11:22:dd:3f:cf:
a5:de:c0:44:20:86:93:b9:a5:c0:1e:79:3f:f4:bf:
4b:2c:fb:39:92:ec:eb:17:69:f0:8f:47:3a:96:a8:
c3:e6:4c:cc:57:c2:d1:a7:72:3b:b4:a0:dd:d0:23:
28:81:e3:e7:f0:23:ef:75:60:f0:71:19:20:07:1d:
28:dc:2f:ff:6a:8c:b6:e3:93:e1:6f:33:7f:3a:40:
6e:78:5b:11:d5:b8:9b:a4:ef:87:e1:e4:bf:d9:f8:
82:3d:7f:25:bf:9b:6d:b5:6e:34:20:6e:41:f3:a4:
1d:f2:89:79:98:ab:74:3a:26:05:a7:a0:6b:0b:43:
c5:e0:14:db:20:be:e1:06:4c:21:09:12:5b:69:e1:
04:d9
Exponent: 65537 (0x10001)
X509v3 extensions:
X509v3 Key Usage: critical
Digital Signature, Key Encipherment, Certificate Sign
X509v3 Basic Constraints: critical
CA:TRUE
Signature Algorithm: sha256WithRSAEncryption
2a:d2:0e:6a:70:81:11:79:be:19:00:a4:db:5a:67:b5:67:df:
50:62:b3:dd:c2:5d:7d:68:01:9f:39:cc:f1:d9:f7:9b:8d:a5:
16:dd:7f:70:7b:c2:b0:cb:e0:4c:8e:20:4c:26:f7:8b:4d:5f:
8d:51:fc:87:b4:a2:61:cf:91:17:69:6d:0c:f5:f4:35:a8:4f:
91:14:06:1d:9e:7a:d2:e0:f9:8a:46:cf:01:54:19:25:b3:c8:
9e:8d:c7:29:2b:fe:9d:72:82:9e:f5:f6:e4:e0:d7:c4:dd:2b:
44:68:84:1c:4c:a7:91:b8:0c:7f:f6:c6:54:cb:98:be:30:56:
8b:21:17:18:23:bc:7b:12:ca:7f:56:2a:9c:5c:01:e4:cc:6a:
0b:a0:e6:09:e0:6d:9a:c2:30:1b:b4:23:a7:78:60:a9:bd:ef:
3e:66:00:96:d1:c8:cc:25:a7:47:c1:48:e8:58:b1:04:e5:e8:
ae:4c:61:05:67:bb:f3:15:3d:26:86:27:71:ef:e2:69:f4:58:
8e:67:9e:a0:6f:84:44:03:3b:18:e5:68:0c:ee:0a:45:e5:c4:
19:a6:cf:15:07:97:2a:09:64:e8:30:1f:46:cb:c8:af:5d:04:
3f:c3:ee:1b:98:9a:b2:69:e4:19:de:bd:f5:56:99:08:51:97:
d1:b4:33:8f
-----BEGIN CERTIFICATE-----
MIIC6jCCAdKgAwIBAgIBATANBgkqhkiG9w0BAQsFADAmMSQwIgYDVQQDDBtvcGVu
c2hpZnQtc2lnbmVyQDE1MTIwMTAzNzUwHhcNMTcxMTMwMDI1MjU0WhcNMjIxMTI5
MDI1MjU1WjAmMSQwIgYDVQQDDBtvcGVuc2hpZnQtc2lnbmVyQDE1MTIwMTAzNzUw
ggEiMA0GCSqGSIb3DQEBAQUAA4IBDwAwggEKAoIBAQDU3Hdp7K5fg+FSizICX3FH
7i9TjnNKI1kyuLmdwPNb9F4w8ttlWRTcO6Utm4S5JGvQfH/IS0rUvFDS5vJeHSq5
Sil2Y9EVdbXKKqWaPfY0R6yBOcWHygNYnvGzlBG58uCLPShUYmeJ61p9xtNZ8WFY
b7gRIt0/z6XewEQghpO5pcAeeT/0v0ss+zmS7OsXafCPRzqWqMPmTMxXwtGncju0
oN3QIyiB4+fwI+91YPBxGSAHHSjcL/9qjLbjk+FvM386QG54WxHVuJuk74fh5L/Z
+II9fyW/m221bjQgbkHzpB3yiXmYq3Q6JgWnoGsLQ8XgFNsgvuEGTCEJEltp4QTZ
AgMBAAGjIzAhMA4GA1UdDwEB/wQEAwICpDAPBgNVHRMBAf8EBTADAQH/MA0GCSqG
SIb3DQEBCwUAA4IBAQAq0g5qcIEReb4ZAKTbWme1Z99QYrPdwl19aAGfOczx2feb
jaUW3X9we8Kwy+BMjiBMJveLTV+NUfyHtKJhz5EXaW0M9fQ1qE+RFAYdnnrS4PmK
Rs8BVBkls8iejccpK/6dcoKe9fbk4NfE3StEaIQcTKeRuAx/9sZUy5i+MFaLIRcY
I7x7Esp/ViqcXAHkzGoLoOYJ4G2awjAbtCOneGCpve8+ZgCW0cjMJadHwUjoWLEE
5eiuTGEFZ7vzFT0mhidx7+Jp9FiOZ56gb4REAzsY5WgM7gpF5cQZps8VB5cqCWTo
MB9Gy8ivXQQ/w+4bmJqyaeQZ3r31VpkIUZfRtDOP
-----END CERTIFICATE-----
でもここまでワンライナーでやるのはちょっとやりすぎなので、良い子は適度に分けましょう。
$ oc get secret registry-certificates --template='{{index .data "registry.crt"}}' | base64 -d > chained-server.crt
$ openssl crl2pkcs7 -nocrl -certfile chained-server.crt | openssl pkcs7 -print_certs -text
ちなみに証明書情報の表示は一般的にopenssl x509コマンドを利用しますが、openssl x509は先頭の証明書の情報しか表示しないので、Webサーバに設定するようなchained形式の複数の証明書の情報表示は上のopenssl pkcs7コマンドを利用します。
OpenShiftのImageStream
OpenShift 全部俺 Advent Calendar 2017
OpenShiftにはKubernetesに無いImageStreamというオブジェクトがあります。ImageStreamは内部的にタグに対応するDockerレジストリを管理し、それに追加で機能を提供します。ImageStreamは大きく以下の三つの機能を提供しています。
- Dockerレジストリのタグにpushされたイメージのバージョン履歴(Stream)を保持する機能
- 実際にはImageStreamのタグは「Dockerレジストリのタグ」だけではなく任意のコンテナイメージ履歴をトラックできる、後述のイメージプロモーションなど
- Dockerレジストリにpushなど、ImageStreamのタグが更新されたら自動的にアクションを起動できるImageChange更新トリガーの提供
- OpenShift内部レジストリとの連携、イメージキャッシュ
ImageStreamは内部で管理されるDockerレジストリのイメージのメタデータを参照しています。イメージのレイヤーデータは保持していません。oc explain isのdescriptionは以下のようになっています。
ImageStream stores a mapping of tags to images, metadata overrides that are applied when images are tagged in a stream, and an optional reference to a Docker image repository on a registry.
OpenShiftのBuildConfig、DeploymentConfigはこのImageStreamの機能を利用することにより、たとえばベースイメージのセキュリティ脆弱性の修正を更新をトリガーに、それに依存しているコンテナを全て再ビルド再デプロイしてセキュリティ修正を反映させる、というようなユースケースが実現できます。ImageStreamはこのようなコンテナイメージの管理の効率化、自動化を行う上で必要となる機能を提供しています。
たとえばdev, test, stage, prodというようなタグを定義しておき、devはDockerレジストリapp:latestに対応していて開発者によりpushされ継続的に更新されている、それをテスト環境へリリースするにはoc tag app:dev app:testを実行するとその時点でのapp:devが指しているイメージがapp:testタグに追加され、ImageChangeトリガーによってテスト環境へリリースされる、というようなイメージプロモーションによる迅速なリリースを実現することができます。
https://docs.openshift.org/3.11/dev_guide/application_lifecycle/promoting_applications.html
KubernetesにはOpenShiftのDeploymentConfig由来のDeploymentsというオブジェクトがありますが、KubernetesにはImageStreamがないので、その関連機能ももちろんスコープ外となっており、OpenShiftのDeploymentConfigの方が基本的には高機能なものとなっています。
Resources
OpenShiftやKubernetes上でJavaを動かす際の注意
OpenShift 全部俺 Advent Calendar 2017
OpenShiftやKubernetes上でリソース制限を設定したコンテナでJavaを動かすとき、デフォルト設定のままだとパフォーマンスが悪くなったり、oom-killerに殺されたりします。これはコンテナのcgroupsの制限をJavaが考慮しないためです。
Javaはデフォルトでホストのメモリの1/4を最大Javaヒープメモリに設定し、Java VM本体、スタック、Metaspaceなどの非Javaヒープ領域を含めると最終的にその倍程度のメモリを利用します。たとえば16GBのマシンだと8GBくらいです。これを4GBなどの制限で動作させるとメモリが確保できずエラー終了もしくはoom-killerに殺されます。また、GCThreadsなども効率を最大化するためにCPUコア数とスレッド数を同一に設定します(厳密には8コア超えると変わりますが省略します)。これはメモリほどではありませんが、パフォーマンスを低下させる原因となることがあります。詳細は以下の記事にまとまっています。
JavaヒープだけならJava 8u131以降なら-XX:+UnlockExperimentalVMOptions -XX:+UseCGroupMemoryLimitForHeapで調整してくれるようですが、大抵それだけではなくて他にも調整したいので起動スクリプトでいろいろやることになります。
Red Hatがメンテナンスしている起動スクリプトなどは以下のリポジトリに置いてあります。
https://github.com/jboss-openshift/cct_module/blob/master/os-java-run/added/java-default-options
CPUコア数にもとづいた自動調整はJava VMだけではなく、各種ライブラリでも利用されています。例えば非同期I/Oのワーカースレッドなどは大抵CPUコア数を取得してスレッドプールのサイズを設定します。そういったライブラリの設定もチューニングする必要がでてくるかもしれません。以下のAPIを利用しているものが要注意です。
Runtime.getRuntime().getMaxMemory() Runtime.getRuntime().availableProcessors()
タイトルには「Javaの」と書きましたが、Javaがデフォルトでオートチューニングするためハイライトしただけで、他の言語やライブラリでも同じことをしていれば同じ問題は発生するのでJavaに限定した問題ではないことに注意してください。ライブラリ実装者などはこのようなオートチューニングを実装する時はcgroups対応を考慮すると良いでしょう。
OpenShiftのRouteとRouter
OpenShift 全部俺 Advent Calendar 2017
OpenShiftにはKubernetesで言うところのIngress, Ingress ControllerであるRouteとRouterが標準で利用できます。Kubernetes 1.0のころにはIngressが無かったので、独自に実装されました。
https://docs.openshift.org/3.11/architecture/networking/haproxy-router.html
https://docs.openshift.org/3.11/architecture/networking/routes.html
OpenShift RouterはフロントエンドロードバランサとしてHAProxyを利用しています。また、HAProxyを起動したり、設定を更新したり、リロードしたりするopenshift-routerプロセスがコンテナプロセスとなっています。Routerはhostnetowrkを利用して80ポートと443ポートをLISTENしており、HTTPリクエストのHostヘッダもしくはTLS SNIのホスト名に対応するPodのエンドポイントにトラフィックを転送します。よくある勘違いとしてRouterはServiceのClusterIPにリクエストを転送する、というのがありますが、Serviceは基本的にヘルスチェックが不完全なL4ロードバランスとなっているため、Serviceにリクエストを転送したりはしません。RouterはPodのEndpointをバックエンドサーバとして登録するようになっており、そちらに転送します。oc exposeではServiceを指定するとRouteが作成されることがこの誤解の原因の一つだと思いますが、設定ファイルhaproxy.configを見るとそれは正しくないことがわかります。Route経由のアクセスでは、Serviceは設定のためのリソースとしてのみ利用されており、ServiceのClusterIPやL4ロードバランス機能は利用されていません。L7でのヘルスチェックありの振り分け制御となります。
OpenShift Routerはdefaultプロジェクトにデプロイされています。
$ oc project default $ oc get all -o wide NAME REVISION DESIRED CURRENT TRIGGERED BY deploymentconfigs/docker-registry 1 1 1 config deploymentconfigs/router 1 1 1 config NAME READY STATUS RESTARTS AGE IP NODE po/docker-registry-1-694ml 1/1 Running 2 14d 172.17.0.2 localhost po/persistent-volume-setup-hpd4l 0/1 Completed 0 14d 172.17.0.2 localhost po/router-1-sv5j8 1/1 Running 2 14d 192.168.124.246 localhost NAME DESIRED CURRENT READY AGE CONTAINER(S) IMAGE(S) SELECTOR rc/docker-registry-1 1 1 1 14d registry openshift/origin-docker-registry:v3.7.0 deployment=docker-registry-1,deploymentconfig=docker-registry,docker-registry=default rc/router-1 1 1 1 14d router openshift/origin-haproxy-router:v3.7.0 deployment=router-1,deploymentconfig=router,router=router NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR svc/docker-registry 172.30.1.1 <none> 5000/TCP 14d docker-registry=default svc/kubernetes 172.30.0.1 <none> 443/TCP,53/UDP,53/TCP 14d <none> svc/router 172.30.40.34 <none> 80/TCP,443/TCP,1936/TCP 14d router=router NAME DESIRED SUCCESSFUL AGE CONTAINER(S) IMAGE(S) SELECTOR jobs/persistent-volume-setup 1 1 14d storage-setup-job openshift/origin:v3.7.0 controller-uid=26ab5554-d62e-11e7-ace1-525400f3baa1
docker-registryのRouteを作ってアクセスてみましょう。自分のマシン -> Routerホスト -> RouterのHAProxy -> ターゲットPod、というフローとなります。アプリケーションURLに利用するホスト名はDNSでRouterホストに解決するように設定します。minishiftではdocker-registryはhttpでRouteなしでセットアップされますが、通常のインストールではhttps passthroughのRouteが最初から設定済みなので注意してください。
$ oc expose service docker-registry
route "docker-registry" exposed
$ oc get route
NAME HOST/PORT PATH SERVICES PORT TERMINATION WILDCARD
docker-registry docker-registry-default.192.168.42.225.nip.io docker-registry 5000-tcp None
$ curl http://docker-registry-default.192.168.42.225.nip.io/v2/
{"errors":[{"code":"UNAUTHORIZED","message":"authentication required","detail":null}]}
Router内を見てみましょう。プロセスはopenshift-routerとhaproxyの二つです。
$ oc rsh dc/router sh -c "ps -eaf | cat" UID PID PPID C STIME TTY TIME CMD 1001 1 0 0 Dec11 ? 00:16:49 /usr/bin/openshift-router 1001 248 1 0 Dec11 ? 00:00:16 /usr/sbin/haproxy -f /var/lib/haproxy/conf/haproxy.config -p /var/lib/haproxy/run/haproxy.pid -sf 224
中身の/var/lib/haproxyの構成は以下のようになっています。
$ oc rsh dc/router sh -c "pwd && ls -Rla /var/lib/haproxy" /var/lib/haproxy/conf /var/lib/haproxy: total 20 drwxrwxr-x. 7 haproxy root 122 Nov 29 16:57 . drwxr-xr-x. 16 root root 211 Nov 29 16:57 .. -rw-rwSr--. 1 1001 1003 30 Nov 13 22:57 .cccp.yml -rw-rwSr--. 1 1001 1003 1327 Nov 13 22:57 Dockerfile drwxrwxr-x. 2 root root 6 Nov 29 16:57 bin drwxrwsr-x. 2 1001 1003 4096 Nov 29 16:22 conf drwxrwxr-x. 2 root root 6 Nov 29 16:57 log -rwxrwsr-x. 1 1001 1003 4979 Nov 13 22:57 reload-haproxy drwxrwxr-x. 4 root root 53 Dec 11 06:07 router drwxrwxr-x. 2 root root 45 Dec 11 06:13 run /var/lib/haproxy/bin: total 0 drwxrwxr-x. 2 root root 6 Nov 29 16:57 . drwxrwxr-x. 7 haproxy root 122 Nov 29 16:57 .. /var/lib/haproxy/conf: total 72 drwxrwsr-x. 2 1001 1003 4096 Nov 29 16:22 . drwxrwxr-x. 7 haproxy root 122 Nov 29 16:57 .. -rw-rw-r--. 1 root root 0 Dec 11 06:13 cert_config.map -rw-rwSr--. 1 1001 1003 2035 Nov 13 22:57 default_pub_keys.pem -rw-rwSr--. 1 1001 1003 3278 Nov 13 22:57 error-page-503.http -rw-rwSr--. 1 1001 1003 30599 Nov 13 22:57 haproxy-config.template -rw-rw-r--. 1 root root 10051 Dec 11 06:13 haproxy.config -rw-rw-r--. 1 root root 88 Dec 11 06:13 os_edge_http_be.map -rw-rw-r--. 1 root root 94 Dec 11 06:13 os_http_be.map -rw-rw-r--. 1 root root 0 Dec 11 06:13 os_reencrypt.map -rw-rw-r--. 1 root root 0 Dec 11 06:13 os_route_http_expose.map -rw-rw-r--. 1 root root 88 Dec 11 06:13 os_route_http_redirect.map -rw-rw-r--. 1 root root 0 Dec 11 06:13 os_sni_passthrough.map -rw-rw-r--. 1 root root 0 Dec 11 06:13 os_tcp_be.map -rw-rw-r--. 1 root root 1 Dec 11 06:13 os_wildcard_domain.map /var/lib/haproxy/log: total 0 drwxrwxr-x. 2 root root 6 Nov 29 16:57 . drwxrwxr-x. 7 haproxy root 122 Nov 29 16:57 .. /var/lib/haproxy/router: total 4 drwxrwxr-x. 4 root root 53 Dec 11 06:07 . drwxrwxr-x. 7 haproxy root 122 Nov 29 16:57 .. drwxrwxr-x. 2 root root 6 Nov 29 16:57 cacerts drwxrwxr-x. 2 root root 6 Nov 29 16:57 certs -rw-r--r--. 1 1001 root 1378 Dec 11 06:13 routes.json /var/lib/haproxy/router/cacerts: total 0 drwxrwxr-x. 2 root root 6 Nov 29 16:57 . drwxrwxr-x. 4 root root 53 Dec 11 06:07 .. /var/lib/haproxy/router/certs: total 0 drwxrwxr-x. 2 root root 6 Nov 29 16:57 . drwxrwxr-x. 4 root root 53 Dec 11 06:07 .. /var/lib/haproxy/run: total 4 drwxrwxr-x. 2 root root 45 Dec 11 06:13 . drwxrwxr-x. 7 haproxy root 122 Nov 29 16:57 .. -rw-r--r--. 1 1001 root 4 Dec 11 06:13 haproxy.pid srw-------. 1 1001 root 0 Dec 11 06:13 haproxy.sock
openshift-routerはhaproxy-config.templateからhaproxy.configファイルを生成しますが、テンプレートファイルの読み込みは起動時一回のみ行われるのでカスタマイズしたい場合にoc rshなどでコンテナ内で書き換えても意味がないことに注意してください。ConfigMapで差し替えることができます。
HAProxyはログ出力先としてsyslogしかサポートしていないため、運用環境では少なくともROUTER_SYSLOG_ADDRESSは設定しましょう。これは扱いづらいので、OpenShiftでもどうにかしようという議論は長く続いていますが、まだ解決されていません。
追記: syslogコンテナをsidecarにする方法などがあります。
ドキュメントに載っているアノテーションや環境変数での設定などの他に、コマンドラインパラメータにもいくつか設定があるので載せておきます。
$ oc rsh dc/router openshift-router -h
Start a router
This command launches a router connected to your cluster master. The router listens for routes and endpoints created by users and keeps a local router configuration up to date with those changes.
You may customize the router by providing your own --template and --reload scripts.
The router must have a default certificate in pem format. You may provide it via --default-cert otherwise one is automatically created.
You may restrict the set of routes exposed to a single project (with --namespace), projects your client has access to with a set of labels (--project-labels), namespaces matching a label (--namespace-labels), or all namespaces (no argument). You can limit the routes to those matching a --labels or --fields selector. Note that you must have a cluster-wide administrative role to view all namespaces.
Usage:
openshift-router --master=<addr> [flags]
openshift-router [command]
Available Commands:
version Display client and server versions
Flags:
--allow-wildcard-routes Allow wildcard host names for routes
--allowed-domains stringSlice List of comma separated domains to allow in routes. If specified, only the domains in this list will be allowed routes. Note that domains in the denied list take precedence over the ones in the allowed list
--as string Username to impersonate for the operation
--as-group stringArray Group to impersonate for the operation, this flag can be repeated to specify multiple groups.
--azure-container-registry-config string Path to the file container Azure container registry configuration information.
--bind-ports-after-sync Bind ports only after route state has been synchronized
--certificate-authority string Path to a cert file for the certificate authority
--ciphers string Specifies the cipher suites to use. You can choose a predefined cipher set ('modern', 'intermediate', or 'old') or specify exact cipher suites by passing a : separated list.
--client-certificate string Path to a client certificate file for TLS
--client-key string Path to a client key file for TLS
--cluster string The name of the kubeconfig cluster to use
--config string Path to the config file to use for CLI requests.
--context string The name of the kubeconfig context to use
--default-certificate string The contents of a default certificate to use for routes that don't expose a TLS server cert; in PEM format
--default-certificate-dir string A path to a directory that contains a file named tls.crt. If tls.crt is not a PEM file which also contains a private key, it is first combined with a file named tls.key in the same directory. The PEM-format contents are then used as the default certificate. Only used if default-certificate and default-certificate-path are not specified. (default "/etc/pki/tls/private")
--default-certificate-path string A path to default certificate to use for routes that don't expose a TLS server cert; in PEM format (default "/etc/pki/tls/private/tls.crt")
--default-destination-ca-path string A path to a PEM file containing the default CA bundle to use with re-encrypt routes. This CA should sign for certificates in the Kubernetes DNS space (service.namespace.svc). (default "/var/run/secrets/kubernetes.io/serviceaccount/service-ca.crt")
--denied-domains stringSlice List of comma separated domains to deny in routes
--disable-namespace-ownership-check Disables the namespace ownership checks for a route host with different paths or for overlapping host names in the case of wildcard routes. Please be aware that if namespace ownership checks are disabled, routes in a different namespace can use this mechanism to 'steal' sub-paths for existing domains. This is only safe if route creation privileges are restricted, or if all the users can be trusted.
--enable-ingress Enable configuration via ingress resources
--extended-validation If set, then an additional extended validation step is performed on all routes admitted in by this router. Defaults to true and enables the extended validation checks. (default true)
--fields string A field selector to apply to routes to watch
--google-json-key string The Google Cloud Platform Service Account JSON Key to use for authentication.
--hostname-template string If specified, a template that should be used to generate the hostname for a route without spec.host (e.g. '${name}-${namespace}.myapps.mycompany.com')
--include-udp-endpoints If true, UDP endpoints will be considered as candidates for routing
--insecure-skip-tls-verify If true, the server's certificate will not be checked for validity. This will make your HTTPS connections insecure
--interval duration Controls how often router reloads are invoked. Mutiple router reload requests are coalesced for the duration of this interval since the last reload time. (default 5s)
--kubernetes string The address of the Kubernetes server (host, host:port, or URL). If omitted defaults to the master. (default "http://localhost:8080")
--labels string A label selector to apply to the routes to watch
--listen-addr string The name of an interface to listen on to expose metrics and health checking. If not specified, will not listen. Overrides stats port. (default "0.0.0.0:1936")
--log-flush-frequency duration Maximum number of seconds between log flushes (default 5s)
--loglevel int32 Set the level of log output (0-10)
--logspec string Set per module logging with file|pattern=LEVEL,...
--master string The address the master can be reached on (host, host:port, or URL). (default "http://localhost:8080")
--max-connections string Specifies the maximum number of concurrent connections.
--metrics-type string Specifies the type of metrics to gather. Supports 'haproxy'. (default "haproxy")
--name string The name the router will identify itself with in the route status (default "router")
-n, --namespace string If present, the namespace scope for this CLI request
--namespace-labels string A label selector to apply to namespaces to watch
--override-hostname Override the spec.host value for a route with --hostname-template
--project-labels string A label selector to apply to projects to watch; if '*' watches all projects the client can access
--reload string The path to the reload script to use (default "/var/lib/haproxy/reload-haproxy")
--request-timeout string The length of time to wait before giving up on a single server request. Non-zero values should contain a corresponding time unit (e.g. 1s, 2m, 3h). A value of zero means don't timeout requests. (default "0")
--resync-interval duration The interval at which the route list should be fully refreshed (default 10m0s)
--router-canonical-hostname string CanonicalHostname is the external host name for the router that can be used as a CNAME for the host requested for this route. This value is optional and may not be set in all cases.
--server string The address and port of the Kubernetes API server
--stats-password string If the underlying router implementation can provide statistics this is the requested password for auth. (default "x6RVrWmXwV")
--stats-port string If the underlying router implementation can provide statistics this is a hint to expose it on this port. Ignored if listen-addr is specified. (default "1936")
--stats-user string If the underlying router implementation can provide statistics this is the requested username for auth. (default "admin")
--strict-sni Use strict-sni bind processing (do not use default cert).
--template string The path to the template file to use (default "/var/lib/haproxy/conf/haproxy-config.template")
--token string Bearer token for authentication to the API server
--user string The name of the kubeconfig user to use
--version version[=true] Print version information and quit
--working-dir string The working directory for the router plugin (default "/var/lib/haproxy/router")
Use "openshift-router [command] --help" for more information about a command.
OpenShiftでStatefulSetを使ってみる
OpenShift 全部俺 Advent Calendar 2017
今までは普通のデプロイメントを利用していましたが、今回はちょっと特殊な性格を持つStatefulSetを使ってみましょう。StatefulSetのレプリカは連番のsuffixが付与され、スケール時の順序制御があったりvolumeClaimTemplatesによる個々のPodへそれぞれPVを割り当てたりできます。主にクラスタ系の分散前提のソフトウェアに利用されます。
https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/
StatefulSetはKubernetes 1.8の時点でbeta機能であり、OpenShiftでも3.5から含まれてはいますがまだフルサポートされていません。
いつものRubyプロジェクトをベースにします。
$ oc new-project test-ruby $ oc new-app http://github.com/nekop/hello-sinatra $ oc get all NAME TYPE FROM LATEST buildconfigs/hello-sinatra Source Git 1 NAME TYPE FROM STATUS STARTED DURATION builds/hello-sinatra-1 Source Git@cf28c79 Complete 13 minutes ago 47s NAME DOCKER REPO TAGS UPDATED imagestreams/hello-sinatra docker-registry.default.svc:5000/test-ruby/hello-sinatra latest 12 minutes ago NAME REVISION DESIRED CURRENT TRIGGERED BY deploymentconfigs/hello-sinatra 1 1 1 config,image(hello-sinatra:latest) NAME READY STATUS RESTARTS AGE po/hello-sinatra-1-build 0/1 Completed 0 13m po/hello-sinatra-1-s2ls7 1/1 Running 0 12m NAME DESIRED CURRENT READY AGE rc/hello-sinatra-1 1 1 1 12m NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE svc/hello-sinatra 172.30.82.101 <none> 8080/TCP 13m
ここでビルドされたイメージをデプロイするStatefulSetを作ってみましょう。まだbeta機能なのでyamlを直接記述する必要があります。
$ cat <<EOF | oc create -f -
apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
name: hello-sinatra-ss
spec:
replicas: 2
serviceName: hello-sinatra-ss
template:
metadata:
labels:
app: hello-sinatra-ss
spec:
containers:
- image: docker-registry.default.svc:5000/test-ruby/hello-sinatra:latest
imagePullPolicy: Always
name: hello-sinatra-ss
ports:
- containerPort: 8080
protocol: TCP
resources: {}
---
apiVersion: v1
kind: Service
metadata:
labels:
app: hello-sinatra-ss
name: hello-sinatra-ss
spec:
ports:
- name: 8080-tcp
port: 8080
protocol: TCP
targetPort: 8080
selector:
app: hello-sinatra-ss
EOF
これでStatefulSetが作成され、指定した通りレプリカが2つ起動しています。
$ oc get all NAME TYPE FROM LATEST buildconfigs/hello-sinatra Source Git 1 NAME TYPE FROM STATUS STARTED DURATION builds/hello-sinatra-1 Source Git@cf28c79 Complete About a minute ago 47s NAME DOCKER REPO TAGS UPDATED imagestreams/hello-sinatra docker-registry.default.svc:5000/test-ruby/hello-sinatra latest About a minute ago NAME REVISION DESIRED CURRENT TRIGGERED BY deploymentconfigs/hello-sinatra 1 1 1 config,image(hello-sinatra:latest) NAME READY STATUS RESTARTS AGE po/hello-sinatra-1-build 0/1 Completed 0 1m po/hello-sinatra-1-s2ls7 1/1 Running 0 1m po/hello-sinatra-ss-0 1/1 Running 0 12s po/hello-sinatra-ss-1 1/1 Running 0 9s NAME DESIRED CURRENT READY AGE rc/hello-sinatra-1 1 1 1 1m NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE svc/hello-sinatra 172.30.82.101 <none> 8080/TCP 1m svc/hello-sinatra-ss 172.30.165.8 <none> 8080/TCP 12s NAME DESIRED CURRENT AGE statefulsets/hello-sinatra-ss 2 2 12s
OpenShiftのs2iイメージをカスタマイズする
OpenShift 全部俺 Advent Calendar 2017
昨日は忘年会でした。全部俺 Advent Calendarがすごく大変そう、と言われましたが各エントリ20分程度で書いていますし、そうなるように内容を調整しています。例えば昨日のエントリは17時くらいに同僚に何書いて欲しい？と聞いてから最新の情報をちょっと調べて書いて飲みに行った、くらいのノリです。
今日はデフォルトのs2iイメージをカスタマイズしてみましょう。例ではRubyを利用します。
$ oc new-project test-custom-s2i $ oc new-app http://github.com/nekop/hello-sinatra $ oc get all oc NAME TYPE FROM LATEST buildconfigs/hello-sinatra Source Git 1 NAME TYPE FROM STATUS STARTED DURATION builds/hello-sinatra-1 Source Git@cf28c79 Running 49 seconds ago NAME DOCKER REPO TAGS UPDATED imagestreams/hello-sinatra docker-registry.default.svc:5000/test-custom-s2i/hello-sinatra NAME REVISION DESIRED CURRENT TRIGGERED BY deploymentconfigs/hello-sinatra 0 1 0 config,image(hello-sinatra:latest) NAME READY STATUS RESTARTS AGE po/hello-sinatra-1-build 1/1 Running 0 49s
oc describe bc hello-sinatra、そしてoc describe is ruby -n openshiftと追っていくと、利用されているImageStreamruby:2.4はregistry.access.redhat.com/rhscl/ruby-24-rhel7:latestを参照していることがわかります。
このイメージをDockerfileビルドを利用してカスタマイズしていきます。今回は単純にtouch /foobarなどとしてみます。
cat <<EOF | oc new-build --dockerfile=- --to=custom-ruby FROM registry.access.redhat.com/rhscl/ruby-24-rhel7:latest USER root RUN touch /foobar USER 1001 EOF
ビルドが開始されます。
$ oc get all NAME TYPE FROM LATEST buildconfigs/custom-ruby Docker Dockerfile 1 buildconfigs/hello-sinatra Source Git 1 NAME TYPE FROM STATUS STARTED DURATION builds/custom-ruby-1 Docker Dockerfile Pending builds/hello-sinatra-1 Source Git@cf28c79 Complete 10 minutes ago 1m3s NAME DOCKER REPO TAGS UPDATED imagestreams/custom-ruby docker-registry.default.svc:5000/test-custom-s2i/custom-ruby imagestreams/hello-sinatra docker-registry.default.svc:5000/test-custom-s2i/hello-sinatra latest 9 minutes ago imagestreams/ruby-24-rhel7 docker-registry.default.svc:5000/test-custom-s2i/ruby-24-rhel7 latest 5 seconds ago NAME REVISION DESIRED CURRENT TRIGGERED BY deploymentconfigs/hello-sinatra 1 1 1 config,image(hello-sinatra:latest) NAME READY STATUS RESTARTS AGE po/custom-ruby-1-build 0/1 Init:0/1 0 4s po/hello-sinatra-1-build 0/1 Completed 0 10m po/hello-sinatra-1-ddx5v 1/1 Running 0 9m NAME DESIRED CURRENT READY AGE rc/hello-sinatra-1 1 1 1 9m NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE svc/hello-sinatra 172.30.223.174 <none> 8080/TCP 10m
ビルドが終わったらbc/hello-sinatraのspec.strategy.sourceStragtegyのruby:2.4をcustom-ruby:latestに変更します。これでカスタマイズしたs2iイメージが利用されます。
$ oc edit bc/hello-sinatra
sourceStrategy:
from:
kind: ImageStreamTag
name: ruby:2.4
namespace: openshift
変更後はこうなります。
sourceStrategy:
from:
kind: ImageStreamTag
name: custom-ruby:latest
BuildConfigはConfigChange triggerがデフォルトで有効になっているので、ビルドが自動的に開始され、レジストリにpushされ、DeploymentConfigのImageChange triggerが発動してデプロイされます。
$ oc get all NAME TYPE FROM LATEST buildconfigs/custom-ruby Docker Dockerfile 1 buildconfigs/hello-sinatra Source Git 2 NAME TYPE FROM STATUS STARTED DURATION builds/custom-ruby-1 Docker Dockerfile Complete 6 minutes ago 54s builds/hello-sinatra-1 Source Git@cf28c79 Complete 16 minutes ago 1m3s builds/hello-sinatra-2 Source Git@cf28c79 Complete 4 minutes ago 19s NAME DOCKER REPO TAGS UPDATED imagestreams/custom-ruby docker-registry.default.svc:5000/test-custom-s2i/custom-ruby latest 5 minutes ago imagestreams/hello-sinatra docker-registry.default.svc:5000/test-custom-s2i/hello-sinatra latest 3 minutes ago imagestreams/ruby-24-rhel7 docker-registry.default.svc:5000/test-custom-s2i/ruby-24-rhel7 latest 6 minutes ago NAME REVISION DESIRED CURRENT TRIGGERED BY deploymentconfigs/hello-sinatra 2 1 1 config,image(hello-sinatra:latest) NAME READY STATUS RESTARTS AGE po/custom-ruby-1-build 0/1 Completed 0 6m po/hello-sinatra-1-build 0/1 Completed 0 16m po/hello-sinatra-2-build 0/1 Completed 0 4m po/hello-sinatra-2-t4dpb 1/1 Running 0 3m NAME DESIRED CURRENT READY AGE rc/hello-sinatra-1 0 0 0 15m rc/hello-sinatra-2 1 1 1 3m NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE svc/hello-sinatra 172.30.223.174 <none> 8080/TCP 16m
新しくデプロイされたコンテナに入ると、ちゃんとカスタマイズが反映されています。
$ oc rsh dc/hello-sinatra ls -la /foobar -rw-r--r--. 1 root root 0 Dec 13 08:41 /foobar
