3
Kubernetes mit Zugriff auf ein VMware Volume
Hallo,
ich versuche bei k8s über den cloud-provider auf vSphere volumes zuzugreifen. Leider gelingt mir das nicht. Ggf hat sich die letzten k8s Versionen ja was geändert. Ich nutze die v1.13.0
Ich habe die volumes mit govc angelegt. Ähnlich wie das hier beschrieben wurde:
https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/gu ...
Anschließend hab ich mein k8s so umkonfiguriert dass mein vSphere erreicht wird. Dazu bin ich dieser Anleitung gefolgt:
https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/ex ...
Das vSphere wird auch anscheinend conncted da ich Fehlermeldungen bekomme wenn ich das PW nicht korrekt ist. Auch die Nodes habe ich dementsprechend konfiguriert.
Folgende Fehlermeldungen bekomme ich:
...
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 3m12s default-scheduler Successfully assigned test/pvpod to kubenode1
Warning FailedMount 69s kubelet, kubenode1 Unable to mount volumes for pod "pvpod_test(21ae72a7-fdfb-11e8-9c88-005056bffdc5)": timeout expired waiting for volumes to attach or mount for pod "test"/"pvpod". list of unmounted volumes=[test-volume]. list of unattached volumes=[test-volume default-token-26ngg]
Warning FailedAttachVolume 7s (x2 over 2m9s) attachdetach-controller AttachVolume.Attach failed for volume "test-volume" : No VM found
Bzw auf dem node:
...
Dec 12 11:31:52 kubenode1 kubelet[28665]: I1212 11:31:52.151615 28665 reconciler.go:207] operationExecutor.VerifyControllerAttachedVolume started for volume "test-volume" (UniqueName: "kubernetes.io/vsphere-volume/master") pod "pvpod" (UID: "fd689fee-fdf8-11e8-bd72-005056bf5a53")
Dec 12 11:31:52 kubenode1 kubelet[28665]: E1212 11:31:52.181917 28665 nestedpendingoperations.go:267] Operation for "\"kubernetes.io/vsphere-volume/master\"" failed. No retries permitted until 2018-12-12 11:32:56.181879025 +0100 CET m=+11883.708036210 (durationBeforeRetry 1m4s). Error: "Volume not attached according to node status for volume \"test-volume\" (UniqueName: \"kubernetes.io/vsphere-volume/master\") pod \"pvpod\" (UID: \"fd689fee-fdf8-11e8-bd72-005056bf5a53\") "
Muss vielleicht doch noch was auf den Nodes installiert werden außer dass das kubelet mit --cloud-provider=vsphere aufgefrufen wird?
ich versuche bei k8s über den cloud-provider auf vSphere volumes zuzugreifen. Leider gelingt mir das nicht. Ggf hat sich die letzten k8s Versionen ja was geändert. Ich nutze die v1.13.0
Ich habe die volumes mit govc angelegt. Ähnlich wie das hier beschrieben wurde:
https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/gu ...
Anschließend hab ich mein k8s so umkonfiguriert dass mein vSphere erreicht wird. Dazu bin ich dieser Anleitung gefolgt:
https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/ex ...
Das vSphere wird auch anscheinend conncted da ich Fehlermeldungen bekomme wenn ich das PW nicht korrekt ist. Auch die Nodes habe ich dementsprechend konfiguriert.
Folgende Fehlermeldungen bekomme ich:
kubectl describe pod pvpod
...
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 3m12s default-scheduler Successfully assigned test/pvpod to kubenode1
Warning FailedMount 69s kubelet, kubenode1 Unable to mount volumes for pod "pvpod_test(21ae72a7-fdfb-11e8-9c88-005056bffdc5)": timeout expired waiting for volumes to attach or mount for pod "test"/"pvpod". list of unmounted volumes=[test-volume]. list of unattached volumes=[test-volume default-token-26ngg]
Warning FailedAttachVolume 7s (x2 over 2m9s) attachdetach-controller AttachVolume.Attach failed for volume "test-volume" : No VM found
Bzw auf dem node:
...
Dec 12 11:31:52 kubenode1 kubelet[28665]: I1212 11:31:52.151615 28665 reconciler.go:207] operationExecutor.VerifyControllerAttachedVolume started for volume "test-volume" (UniqueName: "kubernetes.io/vsphere-volume/master") pod "pvpod" (UID: "fd689fee-fdf8-11e8-bd72-005056bf5a53")
Dec 12 11:31:52 kubenode1 kubelet[28665]: E1212 11:31:52.181917 28665 nestedpendingoperations.go:267] Operation for "\"kubernetes.io/vsphere-volume/master\"" failed. No retries permitted until 2018-12-12 11:32:56.181879025 +0100 CET m=+11883.708036210 (durationBeforeRetry 1m4s). Error: "Volume not attached according to node status for volume \"test-volume\" (UniqueName: \"kubernetes.io/vsphere-volume/master\") pod \"pvpod\" (UID: \"fd689fee-fdf8-11e8-bd72-005056bf5a53\") "
Muss vielleicht doch noch was auf den Nodes installiert werden außer dass das kubelet mit --cloud-provider=vsphere aufgefrufen wird?
Auf Facebook teilen
Auf Twitter teilen
Auf Reddit teilen
Auf Linkedin teilenBitte markiere auch die Kommentare, die zur Lösung des Beitrags beigetragen haben
Content-ID: 395376
Url: https://administrator.de/contentid/395376
Ausgedruckt am: 24.11.2024 um 02:11 Uhr
3 Kommentare
Neuester Kommentar
Hi,
stimmt der Pfad zur VMDK?
Der VMware User hat die notwendigen Berechtigungen?
Welche ESXi Version verwendest du?
Schon auch die Logs vom API Server und Controller Manager geprüft?
https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/tr ...
Insbesondere ob du das selbe Problem hast wie dieser User:
https://github.com/vmware/kubernetes/issues/513
Normalerweise nicht, denn das VMware Cloud Provider Plugin ist direkt in Kubernetes enthalten.
Viele Grüße
Exception
stimmt der Pfad zur VMDK?
Der VMware User hat die notwendigen Berechtigungen?
Welche ESXi Version verwendest du?
Schon auch die Logs vom API Server und Controller Manager geprüft?
https://vmware.github.io/vsphere-storage-for-kubernetes/documentation/tr ...
Insbesondere ob du das selbe Problem hast wie dieser User:
https://github.com/vmware/kubernetes/issues/513
Muss vielleicht doch noch was auf den Nodes installiert werden außer dass das kubelet mit --cloud-provider=vsphere aufgefrufen wird?
Normalerweise nicht, denn das VMware Cloud Provider Plugin ist direkt in Kubernetes enthalten.
Viele Grüße
Exception
Hi,
die Pfade sollten stimmen. Zumindest bekomme ich mit govc die Datei angezeigt. ESXi ist v6.5.0
Auch finde ich im Log vom kube-controller folgendes was sich ständig wiederholt. Das scheint wirklich so zu sein wie bei dem 2. Link:
I1213 13:09:24.993637 1 reconciler.go:289] attacherDetacher.AttachVolume started for volume "test-volume" (UniqueName: "kubernetes.io/vsphere-volume/master") from node "kubnode1"
E1213 13:09:25.005658 1 datacenter.go:78] Unable to find VM by UUID. VM UUID:
E1213 13:09:25.006308 1 nodemanager.go:282] Error "No VM found" node info for node "kubnode1" not found
E1213 13:09:25.006504 1 vsphere.go:573] Cannot find node "kubnode1" in cache. Node not found!!!
E1213 13:09:25.006899 1 attacher.go:89] Error attaching volume "master" to node "kubnode1": No VM found
E1213 13:09:25.007231 1 nestedpendingoperations.go:267] Operation for "\"kubernetes.io/vsphere-volume/master\"" failed. No retries permitted until 2018-12-13 13:11:27.007182512 +0000 UTC m=+4992.296873999 (durationBeforeRetry 2m2s). Error: "AttachVolume.Attach failed for volume \"test-volume\" (UniqueName: \"kubernetes.io/vsphere-volume/master\") from node \"kubnode1\" : No VM found"
I1213 13:09:25.008205 1 event.go:221] Event(v1.ObjectReference{Kind:"Pod", Namespace:"test", Name:"pvpod", UID:"ab00f066-fdfc-11e8-bd72-005056bf5a53", APIVersion:"v1", ResourceVersion:"12665809", FieldPath:""}): type: 'Warning' reason: 'FailedAttachVolume' AttachVolume.Attach failed for volume "test-volume" : No VM found
Eine Lösung hat der dkirrane wohl aber auch nicht gefunden. Meine UUIDs sind da auch unterschiedlich.
Viele Grüße,
Daniel
die Pfade sollten stimmen. Zumindest bekomme ich mit govc die Datei angezeigt. ESXi ist v6.5.0
Auch finde ich im Log vom kube-controller folgendes was sich ständig wiederholt. Das scheint wirklich so zu sein wie bei dem 2. Link:
I1213 13:09:24.993637 1 reconciler.go:289] attacherDetacher.AttachVolume started for volume "test-volume" (UniqueName: "kubernetes.io/vsphere-volume/master") from node "kubnode1"
E1213 13:09:25.005658 1 datacenter.go:78] Unable to find VM by UUID. VM UUID:
E1213 13:09:25.006308 1 nodemanager.go:282] Error "No VM found" node info for node "kubnode1" not found
E1213 13:09:25.006504 1 vsphere.go:573] Cannot find node "kubnode1" in cache. Node not found!!!
E1213 13:09:25.006899 1 attacher.go:89] Error attaching volume "master" to node "kubnode1": No VM found
E1213 13:09:25.007231 1 nestedpendingoperations.go:267] Operation for "\"kubernetes.io/vsphere-volume/master\"" failed. No retries permitted until 2018-12-13 13:11:27.007182512 +0000 UTC m=+4992.296873999 (durationBeforeRetry 2m2s). Error: "AttachVolume.Attach failed for volume \"test-volume\" (UniqueName: \"kubernetes.io/vsphere-volume/master\") from node \"kubnode1\" : No VM found"
I1213 13:09:25.008205 1 event.go:221] Event(v1.ObjectReference{Kind:"Pod", Namespace:"test", Name:"pvpod", UID:"ab00f066-fdfc-11e8-bd72-005056bf5a53", APIVersion:"v1", ResourceVersion:"12665809", FieldPath:""}): type: 'Warning' reason: 'FailedAttachVolume' AttachVolume.Attach failed for volume "test-volume" : No VM found
Eine Lösung hat der dkirrane wohl aber auch nicht gefunden. Meine UUIDs sind da auch unterschiedlich.
Viele Grüße,
Daniel
Guten Abend,
hm okay. Dann würde ich dir empfehlen, dass du dich dem offenen Case auf Github anschließt bzw. ggf. einen neuen Case erstellst.
Meine K8s Testumgebung hat kein ESXi. Daher kann ich das nicht kurz selber testen/reproduzieren.
Viele Grüße
Exception
hm okay. Dann würde ich dir empfehlen, dass du dich dem offenen Case auf Github anschließt bzw. ggf. einen neuen Case erstellst.
Meine K8s Testumgebung hat kein ESXi. Daher kann ich das nicht kurz selber testen/reproduzieren.
Viele Grüße
Exception
