Tomas Lipensky - vedomostni koutek

Trace:

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
automatizace:kubernetes [2024/02/17 19:09]
tomas 		automatizace:kubernetes [2024/02/20 08:39] (current)
tomas [Architektura]
Line 41: Line 41:
 Calico - síťový doplnek na toky mezi namespacema atd. používá Container Network Interface ([[https://github.com/containernetworking/cni|CNI]]), pody: calico-kube-controler a calico-node, příkaz calicoctl\\ Calico - síťový doplnek na toky mezi namespacema atd. používá Container Network Interface ([[https://github.com/containernetworking/cni|CNI]]), pody: calico-kube-controler a calico-node, příkaz calicoctl\\
 Flannel - Síťový plugin (CNI)\\ Flannel - Síťový plugin (CNI)\\
-Weave - Síťový plugin (CNI)\\+WeaveNet - Síťový plugin (CNI)\\
 Romana - Síťový plugin (CNI)\\ Romana - Síťový plugin (CNI)\\
 Kube-router - CNI\\ Kube-router - CNI\\
Line 55: Line 55:
 [[automatizace:helm]] templatovací jazyk pro kubernetes\\ [[automatizace:helm]] templatovací jazyk pro kubernetes\\
 Knative serving ... skalovani od 0 podu, byuziva Istio\\ Knative serving ... skalovani od 0 podu, byuziva Istio\\
-Linkerd ... jak istio, ale lehci\\+Linkerd ... jak istio, nebo Aspen,, ale lehci\\
 [[https://kustomize.io/|kustomize]] ... Kubernetes configuration management, umí se odkazovat na sdílený kód mezi aplikacema, nepoužívá parametry (temlaty) jako helm\\ [[https://kustomize.io/|kustomize]] ... Kubernetes configuration management, umí se odkazovat na sdílený kód mezi aplikacema, nepoužívá parametry (temlaty) jako helm\\
 [[https://kyverno.io/|Kyverno]] ... policy pro Kubernetes\\ [[https://kyverno.io/|Kyverno]] ... policy pro Kubernetes\\
 [[https://flagger.app/|Flagger]] ... rozhazovani trafficu na ruzne verze podu - AB testovani, canary, atd\\ [[https://flagger.app/|Flagger]] ... rozhazovani trafficu na ruzne verze podu - AB testovani, canary, atd\\
 [[https://portainer.io|Portainer]] ... WebGUI na správu Kubernetes, Docker, Swarm atd.\\ [[https://portainer.io|Portainer]] ... WebGUI na správu Kubernetes, Docker, Swarm atd.\\
 +[[https://github.com/kubernetes/dashboard|kubernetes-dashboard]] ... Kubernetes Dashboard - WEB GUI na správu kubernetes\\
 [[https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner|NFS subdir external provider]]\\ [[https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner|NFS subdir external provider]]\\
 [[https://github.com/stakater/Reloader|stakater/reloader]] ... automatický restart podu, když se změní config mapa, nebo secret\\ [[https://github.com/stakater/Reloader|stakater/reloader]] ... automatický restart podu, když se změní config mapa, nebo secret\\
-flunetd - logovaní služba na sběr logů. Kubernetes nedisponuje sbíráním logů\\+fluentd - logovaní služba na sběr logů. Kubernetes nedisponuje sbíráním logů\\ 
 +prometheus - logování, monitoring, alerting\\ 
 +OpenTelemetry - poskytuje tracing a metriky dalším nástrojům\\ 
 +Jaeger ... konzumuje metriky\\ 
  
 ===Nástroje=== ===Nástroje===
Line 83: Line 88:
 annotation ... anotace/popis - klíč=hodnoty - popisné hodnoty, nepoužívají se v Kubernetes, používají je třetí strany. change-cause například se použije v kubectl rollout history deploy\\ annotation ... anotace/popis - klíč=hodnoty - popisné hodnoty, nepoužívají se v Kubernetes, používají je třetí strany. change-cause například se použije v kubectl rollout history deploy\\
  
 +===Scheduler===
 +Chování scheduleru lze konfigurovat sheduler profilama. Konfigurace pomocí apis/kubescheduler.config.k8s.io/v1/KubeSchedulerConfiguration. Profil pro scheduler lze vybrat v podu vlastností .spec.schedulerName. Je spoustu [[https://kubernetes.io/docs/reference/scheduling/config/#scheduling-plugins||pluginů]] pro konfiguraci Extension points:
 +
 +queueSort - jak jsou setřízené čekající (pending) pody\\
 +preFilter - pre-procesing podů. může nějaké pody vyloučit z plánování\\
 +Filter - výběr nodů vhodných pro pod. Pokud žádný node, tak se pod vyloučí z plánování\\
 +postFilter - když nějaký plugin označí pod naplánovatelný, ostatní pluginy se už nevolají\\
 +preScore\\
 +Score - přiřazení skóre - scheduler nasadí pod s nejvyšším skórem\\
 +reserve\\
 +permit\\
 +preBind\\
 +Bind\\
 +postBind\\
 +multiPoint\\
 +
 +Filtry:
 +  * ImageLocality - upřednostňuje nody obsahující daaný image. Extension points: score.
 +  * TaintToleration - Implementuje taints a tolerance. Extension points: filter, preScore, score.
 +  * NodeName - Kontroluje, zda Pod spec node name se shoduje s node. Extension points: filter.
 +  * NodePorts - Zjišťuje, zda node node má k dispozici dané porty. Extension points: preFilter, filter.
 +  * NodeAffinity - Implementuje node selectory a node afinitu. Extension points: filter, score.
 +  * PodTopologySpread - Implementuje Pod topology spread. Extension points: preFilter, filter, preScore, score.
 +  * NodeUnschedulable - Filtruje nody, které mají .spec.unschedulable = true. Extension points: filter.
 +  * NodeResourcesFit - Zjišťuje, zda node má všechny potřebné zdroje.
 +  * NodeResourcesBalancedAllocation - upřednostňuje nody, které by zjískaly lépe balancované zdroje, kdyby tam pod byl. Extension points: score.
 +
 +  * nodeName, nodeSelector - konkrétní node, nebo konkrétní skupina nodů s daným labelem
 +  * affinity, anti-affinity - vhodnější nody - upřednostnění
 +  * taint - vyloučení nějakých nodů pro pod, tolerance - ignorování taintu
 +  * schedulerName - vybere profil scheduleru
 +
 +spec.affinity.pod[Anti]Affinity.[required|preffered]DuringSchedulingIgnoredDuringExecution.labelSelector.matchExpressions:
 +  * requiredDuringSchedulingIgnoredDuringExecution - nedá na node, pokud splněná podmínka
 +  * preferredDuringSchedulingIgnoredDuringExecution - preferuje dané nody
 +  * podAffinity - snaží se dát pody dohromady
 +  * podAntiAffinity - snaží se dát na jiné nody
 +
 +===HA===
 +  * vše konfigurovat pomocí hostname, ne IP
 +  * použít loadbalancery, TLS mít na Load balanceru, např. haproxy  (/etc/haproxy/haproxy.cfg)
 +  * na přidáni dalšího Control Plane bude nejspíš potřeba přegenerovat klíče, budou expirované
 +  * etcd lze použít externí, musí se udělat první (nonColocated etcd)
 ====DNS==== ====DNS====
 SERVICE.NAMESPACE.svc.cluster.local\\ SERVICE.NAMESPACE.svc.cluster.local\\
Line 171: Line 219:
 ''kubectl top nodes'' ... ukáže metriky podů\\ ''kubectl top nodes'' ... ukáže metriky podů\\
 ''%%kubectl taint nodes --all node-role.kubernetes.io/control-plane-%%'' ... odstraní blokování nodu pro control plane aktivity\\ ''%%kubectl taint nodes --all node-role.kubernetes.io/control-plane-%%'' ... odstraní blokování nodu pro control plane aktivity\\
 +''kubectl taint nodes worker bubba=value:PreferNoSchedule'' ... nodu worker přidá taint bubba:PreferNoSchedulle\\
  
 ==pods== ==pods==
Line 179: Line 228:
 ''kubeclt edit po nginx'' ... editace podu\\ ''kubeclt edit po nginx'' ... editace podu\\
 ''%%kubectl exec -it aaa-6d5f854689-f28zp --namespace=default -- /bin/bash%%'' ... spusti na danem podu bash\\ ''%%kubectl exec -it aaa-6d5f854689-f28zp --namespace=default -- /bin/bash%%'' ... spusti na danem podu bash\\
 +''kubectl attach POD1'' ... připojí se do podu POD1 do spušťeného procesu\\
 +''%%kubectl debug POD1 --image debian --attach%%''\\
 ''kubectl get pods''\\ ''kubectl get pods''\\
 ''kubectl get po nginx -w'' ... sledování podu\\ ''kubectl get po nginx -w'' ... sledování podu\\
Line 303: Line 354:
  
 ==network policies== ==network policies==
 +[[https://github.com/ahmetb/kubernetes-network-policy-recipes|Network policy]] jsou pravidla síťového firewalu. Některé CNI drivery NP nepoužívají, ale mají jiný způsob kontroly. Pokud je NetPol prázdná, neobsahuje egress, ani ingress, tak zakazuje tok. Pokud tam sekce je, tak povoluje tok. podSelector: {} = všechny pody.
 +
 ''kubectl get networkpolicy -n namespace'' ... seznam sitovych pravidel (firewall)\\ ''kubectl get networkpolicy -n namespace'' ... seznam sitovych pravidel (firewall)\\
 ''kubectl describe networkpolicy Policy1 -n namespace'' ... popis sitovych pravidel\\ ''kubectl describe networkpolicy Policy1 -n namespace'' ... popis sitovych pravidel\\
Line 332: Line 385:
 ''kubectl create token admin-user'' ... vytvoří token pro service account\\ ''kubectl create token admin-user'' ... vytvoří token pro service account\\
  
-===clusterroles, role, clusterrolebindings, role bindings - RBAC===+===Bezpečnost=== 
 +==Autorizace== 
 +Kontrolována Autorizačním controlerem API serveru, umí používat různé formy autentifikace, OpenID, certifikáty, tokeny 
 + 
 +useradd user1\\ 
 +passwd user1\\ 
 +openssl genrsa -out ~user1/user1.key 2048\\ 
 +openssl req -new -key ~user1/user1.key -out ~user1/user1.csr -subj "/CN=DevDan/O=development"\\ 
 +sudo openssl x509 -req -in ~user1/user1.csr -CA /var/lib/minikube/certs/apiserver-etcd-client.crt -CAkey /var/lib/minikube/certs/apiserver-etcd-client.key -CAcreateserial -out ~user1/user1.crt -days 45\\ 
 +kubectl config set-credentials DevDan --client-certificate=~user1/user1.crt --client-key=~user1/user1.key\\ 
 +kubectl config set-context minukume-user1 --cluster=minikube --namespace=development --user=user1\\ 
 + 
 + 
 +==clusterroles, role, clusterrolebindings, role bindings - RBAC== 
 +Je kontrolována module authorization controllerem API serveru 
 ''%%kubectl auth can-i --list%%'' ... zobrazí, na co mám práva\\ ''%%kubectl auth can-i --list%%'' ... zobrazí, na co mám práva\\
 ''%%kubectl auth can-i create deployments --as bob --namespace developer%%''\\ ''%%kubectl auth can-i create deployments --as bob --namespace developer%%''\\
Line 340: Line 408:
 ''kubectl get clusterroles''\\ ''kubectl get clusterroles''\\
 ''kubectl get roles''\\ ''kubectl get roles''\\
 +
 +==Admission Controler==
 +PodSecurityPolicy - vynucení pravidel je od 1.25 nahrazeno Pod Security Admission. PSP/PSA je kontrolováno Admission Controlerem API serveru.
 +SecurityContext je nastavení bezpečnosti Podu pomocí SELinux/AppArmor. Je to sekce ve YAML definice
 +
 +grep admission /etc/kubernetes/manifests/kube-apiserver.yaml\\
  
 ===poddisruptionbudgets=== ===poddisruptionbudgets===
Line 347: Line 421:
  
 ===kubectl pluginy=== ===kubectl pluginy===
-kube [[https://krew.sigs.k8s.io/docs/user-guide/setup/install/|krew]] install whoami ... nainstaluje plugin whoami\\+kubectl [[https://krew.sigs.k8s.io/docs/user-guide/setup/install/|krew]] install whoami ... nainstaluje plugin whoami\\ 
 +kubectl krew search ... seznam dostupných kubectl pluginů\\
 kubectl whoami ... spusti plugin, co ukaze, jaký uživatel jsem\\ kubectl whoami ... spusti plugin, co ukaze, jaký uživatel jsem\\
 +kubectl tail --rs staging/payment-1234 ... ukazuje logy ze všech podů replikasety\\
 +kubectl sniff bigpod-abcd-123 -c mainapp -n accounting ... odposlech síťového provozu a přeposílání do Wiresharku\\
 +
 ====Další rozšíření==== ====Další rozšíření====
 +Rozšíření, kako třeba cilium, linkerd, jsou popsány v horní části stránky, crd s nimi pracuje
 +
 k get customresourcedefinitions.apiextensions.k8s.io ... zesnam API rozšíření\\ k get customresourcedefinitions.apiextensions.k8s.io ... zesnam API rozšíření\\
 +kubectl get crd --all-namespaces ... kratší zápis\\
  
 +cilium\\
 +linkerd\\
 [https://cloud.google.com/knative|knative] ... nástroje pro rozšíření ovládáné - skálování od 0, škálování podle eventů atd.\\ [https://cloud.google.com/knative|knative] ... nástroje pro rozšíření ovládáné - skálování od 0, škálování podle eventů atd.\\
 [https://tekton.dev/|tekon] ... CI/CD\\ [https://tekton.dev/|tekon] ... CI/CD\\
Line 372: Line 455:
  
 ''kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.out'' ... inicializace kubernetes pomoci ClusteConfiguration souboru, vytvoří control plane (cp) node\\ ''kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.out'' ... inicializace kubernetes pomoci ClusteConfiguration souboru, vytvoří control plane (cp) node\\
 +kubeadm config print init-defaults ... ukáže konfiguraci\\
 ''kubeadm token create'' ... vytvoří token\\ ''kubeadm token create'' ... vytvoří token\\
 ''kubeadm token list'' ... vylistuje certifikáty\\ ''kubeadm token list'' ... vylistuje certifikáty\\
Line 423: Line 507:
 ''sudo systemctl restart kubelet''\\ ''sudo systemctl restart kubelet''\\
 ''kubectl uncordon cp''\\ ''kubectl uncordon cp''\\
 +
 +====Troubleshooting====
 +systemctl status kubelet.service\\
 +journalctl -u kubelet\\
 +sudo find /var/log -name "*apiserver*log"
 +/etc/systemd/system/kubelet.service.d/10-kubeadm.conf\\
 +/var/lib/kubelet/config.yaml\\
 +/etc/kubernetes/manifests/\\
 +Zapnotut/prozkoumat API auditing\\
 +Bezpečnostní problém? RBAC, SELinux, AppArmor\\
 +Síťový problém - přidat ephemeral kontejner s network nástroji\\
 +logy a status podu\\
 +Probél na node?\\
 +/var/log/kube-apiserver.log\\
 +[[https://kubernetes.io/docs/tasks/debug/debug-application/]]\\
 +[[https://kubernetes.io/docs/tasks/debug/debug-cluster/]]\\
 +[[https://kubernetes.io/docs/tasks/debug/debug-application/determine-reason-pod-failure/]]\\
 +
  
 ====REST API==== ====REST API====
Line 450: Line 552:
 /api/v1/namespaces/default/pods/mujpod/exec\\ /api/v1/namespaces/default/pods/mujpod/exec\\
 /apis/networking.k8s.io/v1/ingresses\\ /apis/networking.k8s.io/v1/ingresses\\
 +/apis/metrics/k8s.io/ ... metriky\\
 +/apis/metrics.k8s.io/v1beta1/nodes ... metriky nodů\\
 +/apis/metrics.k8s.io/v1beta1/pods\\
Last modified: 2024/02/17 19:09
GNU Free Documentation License 1.3 Except where otherwise noted, content on this wiki is licensed under the following license: GNU Free Documentation License 1.3