Всем привет.
Триалю тут "серверный" софт, рассчитанный на развёртывание в kubernetes.
Для эксперимента развернул его в minikube, поставленном на моей Windows 11 Pro.
Нагуглить я не смог по этому поводу ничего — не могу подобрать такое сочетание ключевых слов, чтобы находилось что-то полезное.
Кто может что посоветовать по данному вопросу? Где и какие настройки подкрутить? Куда вообще смотреть?
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Doom100500, Вы писали: S>>Нагуглить я не смог по этому поводу ничего — не могу подобрать такое сочетание ключевых слов, чтобы находилось что-то полезное. S>>Кто может что посоветовать по данному вопросу? Где и какие настройки подкрутить? Куда вообще смотреть?
D>Я на десятке запускал minikube из под wsl2 с драйвером docker. Проблем не было ни внутри ни снаружи.
А что значит "из-под wsl2"? Запускаем wsl2 терминал — и оттуда поехали?
Можно и попробовать.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
S>Здравствуйте, Doom100500, Вы писали: S>>>Нагуглить я не смог по этому поводу ничего — не могу подобрать такое сочетание ключевых слов, чтобы находилось что-то полезное. S>>>Кто может что посоветовать по данному вопросу? Где и какие настройки подкрутить? Куда вообще смотреть?
D>>Я на десятке запускал minikube из под wsl2 с драйвером docker. Проблем не было ни внутри ни снаружи. S>А что значит "из-под wsl2"? Запускаем wsl2 терминал — и оттуда поехали? S>Можно и попробовать.
Ну да, только бинарник minikube туда надо поставить для линукса.
А в качестве docker что используется?
Я ставил Docker Desktop, в нём в настройках работа через WSL2 и нормально порты пробрасываются.
S>При этом наблюдаю странную проблему — сеть изнутри pod-ов работает очень-очень стрёмно.
Здравствуйте, karbofos42, Вы писали: K>А в качестве docker что используется?
Docker desktop. K>Я ставил Docker Desktop, в нём в настройках работа через WSL2 и нормально порты пробрасываются.
Он у меня вроде бы заведён через WSL2. И если просто запускать контейнеры внутри докера — всё ок, порты пробрасываются, всё работает.
А вот миникуб внутри этого докера выглядит как настоящий, но айпишники подов даже не пингуются. K>Именно внутри подов или виртуалки в целом?
Внутри виртуалки миникуба стоит какая-то наркомания, в которой, к примеру, "wget" не понимает https, поэтому замерить скорость скачивания тех же имажей я сходу не смог.
Но в целом, судя по времени выкачивания докер-имажей, в виртуалке всё более-менее норм.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Doom100500, Вы писали:
D>Я на десятке запускал minikube из под wsl2 с драйвером docker. Проблем не было ни внутри ни снаружи.
Пока не получилось.
sinclair@DESKTOP-8L2SM42:~$ minikube start --addons=ingress,dashboard --driver=docker --vm=true --memory=7820 --cpus=4 --disk-size=50GB
😄 minikube v1.32.0 on Ubuntu 22.04 (amd64)
✨ Using the docker driver based on existing profile
🧯 The requested memory allocation of 7820MiB does not leave room for system overhead (total system memory: 7820MiB). You may face stability issues.
💡 Suggestion: Start minikube with less memory allocated: 'minikube start --memory=2200mb'
🧯 The requested memory allocation of 7820MiB does not leave room for system overhead (total system memory: 7820MiB). You may face stability issues.
💡 Suggestion: Start minikube with less memory allocated: 'minikube start --memory=2200mb'
🧯 The requested memory allocation of 7820MiB does not leave room for system overhead (total system memory: 7820MiB). You may face stability issues.
💡 Suggestion: Start minikube with less memory allocated: 'minikube start --memory=2200mb'
👍 Starting control plane node minikube in cluster minikube
🚜 Pulling base image ...
🏃 Updating the running docker "minikube" container ...
🐳 Preparing Kubernetes v1.28.3 on Docker 24.0.7 ...
▪ Generating certificates and keys ...
💢 initialization failed, will try again: wait: /bin/bash -c "sudo env PATH="/var/lib/minikube/binaries/v1.28.3:$PATH" kubeadm init --config /var/tmp/minikube/kubeadm.yaml --ignore-preflight-errors=DirAvailable--etc-kubernetes-manifests,DirAvailable--var-lib-minikube,DirAvailable--var-lib-minikube-etcd,FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml,FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml,FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml,FileAvailable--etc-kubernetes-manifests-etcd.yaml,Port-10250,Swap,NumCPU,Mem,SystemVerification,FileContent--proc-sys-net-bridge-bridge-nf-call-iptables": Process exited with status 1
stdout:
[init] Using Kubernetes version: v1.28.3
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[certs] Using certificateDir folder "/var/lib/minikube/certs"
[certs] Using existing ca certificate authority
[certs] Using existing apiserver certificate and key on disk
stderr:
[WARNING Swap]: swap is enabled; production deployments should disable swap unless testing the NodeSwap feature gate of the kubelet
[WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'
[WARNING DirAvailable--var-lib-minikube-etcd]: /var/lib/minikube/etcd is not empty
error execution phase certs/apiserver-kubelet-client: [certs] certificate apiserver-kubelet-client not signed by CA certificate ca: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "minikubeCA")
To see the stack trace of this error execute with --v=5 or higher
▪ Generating certificates and keys ...
💣 Error starting cluster: wait: /bin/bash -c "sudo env PATH="/var/lib/minikube/binaries/v1.28.3:$PATH" kubeadm init --config /var/tmp/minikube/kubeadm.yaml --ignore-preflight-errors=DirAvailable--etc-kubernetes-manifests,DirAvailable--var-lib-minikube,DirAvailable--var-lib-minikube-etcd,FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml,FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml,FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml,FileAvailable--etc-kubernetes-manifests-etcd.yaml,Port-10250,Swap,NumCPU,Mem,SystemVerification,FileContent--proc-sys-net-bridge-bridge-nf-call-iptables": Process exited with status 1
stdout:
[init] Using Kubernetes version: v1.28.3
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[certs] Using certificateDir folder "/var/lib/minikube/certs"
[certs] Using existing ca certificate authority
[certs] Using existing apiserver certificate and key on disk
stderr:
[WARNING Swap]: swap is enabled; production deployments should disable swap unless testing the NodeSwap feature gate of the kubelet
[WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'
[WARNING DirAvailable--var-lib-minikube-etcd]: /var/lib/minikube/etcd is not empty
error execution phase certs/apiserver-kubelet-client: [certs] certificate apiserver-kubelet-client not signed by CA certificate ca: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "minikubeCA")
To see the stack trace of this error execute with --v=5 or higher
╭───────────────────────────────────────────────────────────────────────────────────────────╮
│ │
│ 😿 If the above advice does not help, please let us know: │
│ 👉 https://github.com/kubernetes/minikube/issues/new/choose │
│ │
│ Please run `minikube logs --file=logs.txt` and attach logs.txt to the GitHub issue. │
│ │
╰───────────────────────────────────────────────────────────────────────────────────────────╯
❌ Exiting due to GUEST_START: failed to start node: wait: /bin/bash -c "sudo env PATH="/var/lib/minikube/binaries/v1.28.3:$PATH" kubeadm init --config /var/tmp/minikube/kubeadm.yaml --ignore-preflight-errors=DirAvailable--etc-kubernetes-manifests,DirAvailable--var-lib-minikube,DirAvailable--var-lib-minikube-etcd,FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml,FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml,FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml,FileAvailable--etc-kubernetes-manifests-etcd.yaml,Port-10250,Swap,NumCPU,Mem,SystemVerification,FileContent--proc-sys-net-bridge-bridge-nf-call-iptables": Process exited with status 1
stdout:
[init] Using Kubernetes version: v1.28.3
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[certs] Using certificateDir folder "/var/lib/minikube/certs"
[certs] Using existing ca certificate authority
[certs] Using existing apiserver certificate and key on disk
stderr:
[WARNING Swap]: swap is enabled; production deployments should disable swap unless testing the NodeSwap feature gate of the kubelet
[WARNING Service-Kubelet]: kubelet service is not enabled, please run 'systemctl enable kubelet.service'
[WARNING DirAvailable--var-lib-minikube-etcd]: /var/lib/minikube/etcd is not empty
error execution phase certs/apiserver-kubelet-client: [certs] certificate apiserver-kubelet-client not signed by CA certificate ca: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "minikubeCA")
To see the stack trace of this error execute with --v=5 or higher
╭───────────────────────────────────────────────────────────────────────────────────────────╮
│ │
│ 😿 If the above advice does not help, please let us know: │
│ 👉 https://github.com/kubernetes/minikube/issues/new/choose │
│ │
│ Please run `minikube logs --file=logs.txt` and attach logs.txt to the GitHub issue. │
│ │
╰───────────────────────────────────────────────────────────────────────────────────────────╯
Сходу не вижу, что именно я сделал не так.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Doom100500, Вы писали: D>Ну да, только бинарник minikube туда надо поставить для линукса.
Не, не работает.
Вот развернул Eclipse Che — все диагностики зелёненькие, все поды развёрнуты, адреса известны.
Только эти адреса даже не пингуются, ни из винды, ни изнутри WSL2. Тем более на них нельзя зайти по HTTPS.
Так что миникуб в докере — это декорация, как минимум под виндой.
Точно такой же Eclipse Che, развёрнутый в миникубе под hyperv, хотя бы работает (айпишники пингуются, коннект открывается).
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
S>А вот миникуб внутри этого докера выглядит как настоящий, но айпишники подов даже не пингуются.
По-моему и не должны пинговаться.
В целом для kubernetes по-моему странно ломиться на конкретный pod (не за логами, а фронтэнд дёргать).
Обычно вроде через сервисы ходят.
Через команду minikube service <имя сервиса> создаётся туннель и собственно в браузере на хосте сразу открывается страничка с фронтэндом указанного сервиса.
Для этого на localhost будет использоваться рандомный порт, а не какой-нибудь указанный в сервисе 8080.
Ну, либо через kubectl port-forward можно фиксированный порт пробросить на нужный сервис в кластере kubernetes, тогда можно будет ломиться на http://localhost:8080 и попадать в сервис, а не каждый раз новый порт получать.
В docker проброс портов работает из коробки без дополнительных телодвижений, т.к. всё же это не N компов и не пытается их эмулировать.
Здравствуйте, karbofos42, Вы писали: K>По-моему и не должны пинговаться. K>В целом для kubernetes по-моему странно ломиться на конкретный pod (не за логами, а фронтэнд дёргать).
Ну, я иду не на "конкретный под", а на адрес сервиса. И вот он не отвечает, если запустить миникуб в докере. А в hyperv — отвечает.
K>Обычно вроде через сервисы ходят.
K>Через команду minikube service <имя сервиса> создаётся туннель и собственно в браузере на хосте сразу открывается страничка с фронтэндом указанного сервиса.
Там nginx сконфигурирован смотреть в host header, и его localhost не устраивает — нужно именно 192.168.58.2.nip.io.
И порт нужен 443, иначе там всё ломается после пары редиректов.
K>Для этого на localhost будет использоваться рандомный порт, а не какой-нибудь указанный в сервисе 8080. K>Ну, либо через kubectl port-forward можно фиксированный порт пробросить на нужный сервис в кластере kubernetes, тогда можно будет ломиться на http://localhost:8080 и попадать в сервис, а не каждый раз новый порт получать. K>В docker проброс портов работает из коробки без дополнительных телодвижений, т.к. всё же это не N компов и не пытается их эмулировать.
Ну, по идее-то вся эта штука изображает из себя целый кластер, который должен себя вести примерно так же, как если бы он был развёрнут на настоящем железе.
Если использовать driver=hyperv, то адрес дашборда получается вот такой: https://172.27.37.137.nip.io/dashboard/ — и он реально работает безо всяких туннелей.
А в докере всё выглядит как настоящее, но связи нет
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Конкретно по этому вопросу вряд ли что посоветую (да и сомневаюсь, что вообще кто-то посоветует, ковыряться в потрохах винды с этими hyperv и wsl-ями вряд ли кто-то возьмётся).
Но вообще я бы посоветовал взять виртуалку, поставить на неё debian и по официальной инструкции через kubeadm поставить нормальный kubernetes в конфигурации с одной нодой (ну или взять две виртуалки в одной подсети и сделать аж кластер, хотя для целей запуска чего-либо это не требуется).
Думаю, что все проблемы с производительностью это решит.
Альтернативно лично у меня нормально работал кубернетес, который в докер десктопе встроен. Правда под маком, но думаю, в винде тоже должен нормально работать.
Здравствуйте, vsb, Вы писали: vsb>Но вообще я бы посоветовал взять виртуалку,
Уже взята. VM под HyperV. vsb>поставить на неё debian
Стоит убунта. Не уверен, что дебиан сильно лучше. vsb>и по официальной инструкции через kubeadm поставить нормальный kubernetes в конфигурации с одной нодой
А чем это будет отличаться от minikube? vsb>(ну или взять две виртуалки в одной подсети и сделать аж кластер, хотя для целей запуска чего-либо это не требуется).
Кластер мне не нужен. Мне нужно потриалить Eclipse Che. vsb>Думаю, что все проблемы с производительностью это решит.
Всё может быть. vsb>Альтернативно лично у меня нормально работал кубернетес, который в докер десктопе встроен. Правда под маком, но думаю, в винде тоже должен нормально работать.
В докер десктопе есть кубернетес?
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
vsb>>Но вообще я бы посоветовал взять виртуалку, S>Уже взята. VM под HyperV. vsb>>поставить на неё debian S>Стоит убунта. Не уверен, что дебиан сильно лучше.
Без разницы.
vsb>>и по официальной инструкции через kubeadm поставить нормальный kubernetes в конфигурации с одной нодой S>А чем это будет отличаться от minikube?
Как минимум тем, что им пользуются больше людей и на теоретические проблемы можно пытаться искать ответы.
vsb>>Альтернативно лично у меня нормально работал кубернетес, который в докер десктопе встроен. Правда под маком, но думаю, в винде тоже должен нормально работать. S>В докер десктопе есть кубернетес?
S>Для эксперимента развернул его в minikube, поставленном на моей Windows 11 Pro.
Когда мне понадобилось аналогичное предприятие, я завел виртуалку с Ubuntu, и уже внутри нее был minikube и весь прочий Лас-Вегас. Работало отлично, кстати.
PS: по историческим причинам, виртуалка была на VMWare, но я не думаю, что Hyper-V чем-то хуже в этом аспекте.
Здравствуйте, vsb, Вы писали: vsb>Без разницы.
Ну, в теории наверное да. На практике, конечно, красноглазие — это пипец.
Всё сводится к гуглению своей проблемы, и втыканию в терминал произвольных скриптов в надежде, что оно заработает
Характерный пример: https://stackoverflow.com/questions/59265021/unable-to-locate-package-kubectl-when-installing-the-kubectl-kubeadm-for-kuberne
У меня — свежепоставленная Ubuntu 22.04. И первый же шаг в инструкции по установке не работает .
Вот пока писал, убунта предложила "обновить пакеты". Обновил — перезагрузка — голубой экран, 0% CPU, ничего не происходит .
Надо почаще делать снапшоты.
vsb>Как минимум тем, что им пользуются больше людей и на теоретические проблемы можно пытаться искать ответы.
Ну, попробовать можно. Но у Eclipse Che есть две инструкции:
1. Поставить его в Minikube https://eclipse.dev/che/docs/stable/administration-guide/installing-che-on-minikube/
2. Поставить его в OpenShift https://eclipse.dev/che/docs/stable/administration-guide/installing-che-on-openshift-using-cli/
Как его поставить в "нормальный кубернетес с одной нодой" — хз.
vsb>>>Альтернативно лично у меня нормально работал кубернетес, который в докер десктопе встроен. Правда под маком, но думаю, в винде тоже должен нормально работать. S>>В докер десктопе есть кубернетес? vsb>Да.
Ну, вот непонятно, как им воспользоваться (и да, судя по всему, это не поможет, т.к. в докер десктопе нетворкинг контейнеров сломан безнадёжно).
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, sergey2b, Вы писали: S>я из за пробле с сетью под вин S>стал использовать docker под linux
Ну, вот в докере внутри миникуба внутри докера внутри убунты оно заработало.
Как бы мне теперь ещё IP-адреса контейнеров, лежащих в докере внутри миникуба внутри докера внутри убунты внутри hyper-V, пробросить наружу, в свой локалхост?
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
S>Здравствуйте, sergey2b, Вы писали: S>>я из за пробле с сетью под вин S>>стал использовать docker под linux S>Ну, вот в докере внутри миникуба внутри докера внутри убунты оно заработало. S>Как бы мне теперь ещё IP-адреса контейнеров, лежащих в докере внутри миникуба внутри докера внутри убунты внутри hyper-V, пробросить наружу, в свой локалхост?
— kubectl port forward
— Что-то нативное Minicube
— Load balancer Service, Metallb.
— VPN воткнуть прямо в кластер и к нему соединяться. Тот же Zerotier или Tailscale. В VPN нужно добавить всю подсеть сервисов а то и подов. Тогда можно "ходить как у себя дома" по всему хозяйству
