Centos7部署K8S

一、Kubernetes概述

Kubernetes 是一个可移植、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态，其服务、支持和工具的使用范围相当广泛。
Kubernetes 这个名字源于希腊语，意为“舵手”或“飞行员”。K8s 这个缩写是因为 K 和 s 之间有 8 个字符的关系。 Google 在 2014 年开源了 Kubernetes 项目。 Kubernetes 建立在 Google 大规模运行生产工作负载十几年经验的基础上，结合了社区中最优秀的想法和实践。

1、为什么需要K8S,它能做什么

Kubernetes 为你提供了一个可弹性运行分布式系统的框架。 Kubernetes 会满足你的扩展要求、故障转移你的应用、提供部署模式等。
服务发现和负载均衡
Kubernetes 可以使用 DNS 名称或自己的 IP 地址来暴露容器。如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。
存储编排
Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。
自动部署和回滚
你可以使用 Kubernetes 描述已部署容器的所需状态，它可以以受控的速率将实际状态更改为期望状态。例如，你可以自动化 Kubernetes 来为你的部署创建新容器，删除现有容器并将它们的所有资源用于新容器。
自动完成装箱计算
你为 Kubernetes 提供许多节点组成的集群，在这个集群上运行容器化的任务。你告诉 Kubernetes 每个容器需要多少 CPU 和内存 (RAM)。 Kubernetes 可以将这些容器按实际情况调度到你的节点上，以最佳方式利用你的资源。
自我修复
Kubernetes 将重新启动失败的容器、替换容器、杀死不响应用户定义的运行状况检查的容器，并且在准备好服务之前不将其通告给客户端。
密钥与配置管理
Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 SSH 密钥。你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥。
批处理执行 除了服务外，Kubernetes 还可以管理你的批处理和 CI（持续集成）工作负载，如有需要，可以替换失败的容器。
水平扩缩 使用简单的命令、用户界面或根据 CPU 使用率自动对你的应用进行扩缩。
IPv4/IPv6 双栈 为 Pod（容器组）和 Service（服务）分配 IPv4 和 IPv6 地址。
为可扩展性设计 在不改变上游源代码的情况下为你的 Kubernetes 集群添加功能

二、安装K8S

1、预置条件

需要关闭防火墙，关闭swap分区，时间同步等
下面的步骤，所有主机都需要执行

主机环境：

# 都是centos7.9，虚拟机环境，最小化安装
192.168.80.128 master
192.168.80.131 node1 
192.168.80.132 node2

Centos7.9升级内核

网上搭建资料全是升级内核的
我尝试了下，使用Centos7.9的默认内核：3.10.0-1160.71.1.el7.x86_64集群搭建成功
测试安装nginx,任意节点正常访问，没有部署比较复杂的应用，不确定是否出现不稳定的情况
可以不装，但是需要的时候，得知道怎么升级

#查看现在的内核版本
[root@master ~]#uname -a
Linux worker01 3.10.0-1160.el7.x86_64 #1 SMP Mon Oct 19 16:18:59 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

# 查看 yum 中可升级的内核版本
# 如果list中有需要的版本可以直接执行 update 升级，多数是没有的，所以要按以下步骤操作
yum list kernel --showduplicates


# 导入ELRepo软件仓库的公共秘钥
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

# Centos7系统安装ELRepo
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
# Centos8系统安装ELRepo
yum install -y https://www.elrepo.org/elrepo-release-8.el8.elrepo.noarch.rpm

# 查看ELRepo提供的内核版本
yum --disablerepo="*" --enablerepo="elrepo-kernel" list available


#kernel-lt：表示longterm，即长期支持的内核
#kernel-ml：表示mainline，即当前主线的内核
#安装主线内核（32位安装kernek-ml）
yum --enablerepo=elrepo-kernel install -y kernel-ml.x86_64

# grub2-mkconfig: 这是一个GRUB2的工具，用于根据系统的当前状态动态生成GRUB配置文件。
# 它会检查系统上的内核版本、安装的引导菜单项以及其他配置细节，然后基于这些信息创建或更新GRUB配置。
# 当你运行这个命令时，它会自动检测系统上的变化（比如内核更新），并根据这些变化重新生成GRUB的配置文件
# 确保启动菜单保持最新，且包含所有有效的启动选项。这对于系统升级、内核更换或者修复GRUB配置问题非常有用。
grub2-mkconfig -o /boot/grub2/grub.cfg

# 查看启动内核的菜单项有哪些
[root@node2 ~]#  sudo awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg
0 : CentOS Linux (6.8.7-1.el7.elrepo.x86_64) 7 (Core)
1 : CentOS Linux (3.10.0-1160.71.1.el7.x86_64) 7 (Core)
2 : CentOS Linux (0-rescue-f788a8d1727f47ddaf6a16214215d088) 7 (Core)
[root@node2 ~]# 


# 备份启动内核版本
cp /etc/default/grub /etc/default/grub-bak

# 设置默认内核版本
grub2-set-default 0 

# 查看默认内核
grubby --default-kernel

#重新创建内核配置
grub2-mkconfig -o /boot/grub2/grub.cfg

#更新软件包并重启系统
yum makecache

# 重启
reboot

#验证内核
[root@master ~]# uname -a
Linux master 6.8.7-1.el7.elrepo.x86_64 #1 SMP PREEMPT_DYNAMIC Wed Apr 17 15:04:09 EDT 2024 x86_64 x86_64 x86_64 GNU/Linux

设置hostname

不设置也问题不大,但是hosts文件要设置


# 在需要创建master节点的主机执行,例如我这里:192.168.80.128上执行
hostname master

# 节点 192.168.80.131上执行
hostname node1

# 192.168.80.132上执行
hostname node2

# 然后重新连接hostname就变过来了

1、安装NTP时间同步

配置NTP时间同步服务

#!/bin/bash

#安装ntp软件包。
yum -y install ntp

#设置ntp服务开机自启。
systemctl enable ntpd

#启动ntp服务。
systemctl start ntpd

#从公共ntp服务器同步一次时间。
ntpdate -u cn.pool.ntp.org

#将系统时间同步到硬件时钟。
hwclock --systohc

#设置系统时区为上海。
timedatectl set-timezone Asia/Shanghai

2、安装cri-dockerd

CRI 是 Kubernetes 项目引入的一个标准化接口，旨在解耦Kubernetes与底层容器运行时的直接依赖。它定义了一套API，使得Kubernetes可以与任何符合CRI规范的容器运行时进行通信，而不需要知道具体运行时的实现细节。这意味着Kubernetes可以支持多种容器运行时，如Docker、containerd、CRI-O等，增强了平台的灵活性和可移植性。
在 Kubernetes v1.24 版本之前，Docker 是默认的容器运行时。由于Docker并未直接实现CRI接口，Kubernetes引入了一个叫作Dockershim的组件作为适配层，它的作用是将Kubernetes的CRI调用转换为Docker API调用。简单来说，Dockershim起到了桥梁的作用，使得Kubernetes能够通过CRI接口与Docker容器引擎进行通信。
随着Kubernetes的发展，为了进一步减少依赖并优化架构，从Kubernetes 1.20版本开始，官方宣布计划废弃Dockershim，并鼓励使用直接支持CRI接口的容器运行时。
从Kubernetes 1.24 +版本开始，Dockershim 已从 Kubernetes 项目中移除，改为默认使用Containerd
cri-dockerd 是一种替代方案，它直接实现了CRI接口，允许Kubernetes直接与Docker交互，而无需依赖Dockershim，是随着Dockershim废弃计划出现的解决方案之一，旨在提供更直接、更高效且未来更可持续的Docker集成方式。
cri-dockerd的Github地址：https://github.com/Mirantis/cri-dockerd
最新发布的版本：https://github.com/Mirantis/cri-dockerd/releases

#!/bin/bash

# 下载centos7的rpm包
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.13/cri-dockerd-0.3.13-3.el7.x86_64.rpm
# 安装
rpm -ivh cri-dockerd-0.3.13-3.el7.x86_64.rpm


# 修改配置cri-docker的启动配置文件：/usr/lib/systemd/system/cri-docker.service

# vim到/usr/lib/systemd/system/cri-docker.service里
# 找到大概第10行修改ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.7

# 这段配置是修改 cri-docker 系统服务的启动参数,主要作用是:
# 设置 Kubernetes 使用的容器网络插件为 CNI (Container Network Interface)
# 通过 --network-plugin=cni 参数指定网络插件类型为 CNI。这是 Kubernetes 默认的网络模型,
# 需要安装额外的 CNI 插件比如 Calico、Flannel 等来提供 Pod 网络。
# 设置 pause 镜像
# 通过 --pod-infra-container-image 指定 pause 镜像,这个镜像用来提供 Pod 内部共享的网络和文件空间。
# 默认是 k8s.gcr.io/pause,这里修改为了国内阿里云的镜像,加速获取镜像。
# 修改 cri-docker 服务的启动参数
# Kubernetes 通过 docker CRI (Container Runtime Interface) 来管理容器,cri-docker 这个系统服务就是 docker 的 CRI 实现。
# 通过修改服务启动参数,可以自定义 Kubernetes 使用 docker 时的网络和镜像配置。
# 总结一下,这组配置主要是设置了 CNI 网络插件类型和自定义了 pause 镜像,方便后续 Kubernetes 集群使用。

# 直接一行命令替换
sudo sed -i 's#ExecStart=.*#ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.7#' /usr/lib/systemd/system/cri-docker.service



# 重载系统守护进程→设置cri-dockerd自启动→启动cri-dockerd
systemctl daemon-reload
systemctl enable cri-docker.socket cri-docker --now

3、环境配置

#!/bin/bash


# 配置hosts文件
cat >> /etc/hosts << EOF
192.168.80.128    master
192.168.80.131    node1
192.168.80.132    node2
EOF



# 将 SELinux 设置为 permissive 模式（相当于将其禁用）
# 为什么要关闭，因为容器访问主机文件系统时必需禁用，不然会访问不到
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config


# 关闭防火墙，设置开机不启动
systemctl stop firewalld
systemctl disable firewalld


# 关闭swap分区
sudo swapoff -a

# 永久禁用swap,删除或注释掉/etc/fstab里的swap设备的挂载命令，以/dev/mapper/centos-swap开头的那一行
# /^\/dev\/mapper\/centos-swap/：这是一个地址表达式，匹配所有以 /dev/mapper/centos-swap 开头的行
# s/^/#/：这是一个替换命令，s 是替换命令的简写，^ 表示行的开始，/#/ 是要插入的注释符号
sudo sed -i '/^\/dev\/mapper\/centos-swap/s/^/#/' /etc/fstab

4、配制iptables规则

清理iptables规则
iptables -F：清除iptables的filter表的所有规则链中的规则。
iptables -X：删除iptables的filter表中所有非默认的空链。
iptables -F -t nat：清除iptables的nat表的所有规则链中的规则。
iptables -X -t nat：删除iptables的nat表中所有非默认的空链。
iptables -P FORWARD ACCEPT：设置iptables filter表的FORWARD链的默认策略为ACCEPT，允许数据包转发。这对于Kubernetes集群中的Pod间通信是必要的。

# 清理iptables规则
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT

#设置系统参数,告诉内核的网桥模块在处理IPv4和IPv6数据包时调用iptables的规则。
# 这是因为在Kubernetes中，Pod间的通信依赖于iptables规则进行网络策略实施和数据包转发，
# 这两行设置确保了在使用如Flannel、Calico等网络插件时，网络策略能够正确应用。
cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF


# 重新加载所有sysctl配置文件
sysctl --system

5、安装docker

使用docker作为k8s的CRI接口的容器运行时，所以需要安装docker

# 删除旧版本
sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
                  
                  
#yum-utils 提供了 yum-config-manager ，并且 device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2
sudo yum install -y yum-utils

# 使用官方源地址（比较慢） 可以使用国内的阿里镜像
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装26.1.0版本的docker
yum install docker-ce-26.1.0 docker-ce-cli-26.1.0 containerd.io docker-buildx-plugin docker-compose-plugin

# 开启自启动
systemctl enable docker


# 配置docker镜像加速,清华大学镜像加速
cat <<EOF | sudo tee /etc/docker/daemon.json
{
    "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]
}
EOF

# 刷新配置 
systemctl daemon-reload

# 重启docker
systemctl restart docker

# 查看版本
docker version

# 查看docker 的信息
docker info

2、开始安装

1、安装k8s组件

kubeadm、kubelet 和 kubectl 是 Kubernetes 集群管理中的三个核心组件
kubeadm 是 Kubernetes 社区提供的一种简化集群部署和管理的工具。
kubelet 是运行在每一个 Kubernetes 节点上的代理进程，它是节点与集群控制平面之间的桥梁。
- kubelet 的主要职责包括：
- Pod 管理：根据 API server 的指令，创建、修改和监控节点上的容器（Pods），确保它们按照预期状态运行。
- 健康检查：定期检查容器状态并向 API server 报告，支持节点级和 Pod 级别的健康检查。
- 资源管理：管理节点资源，如 CPU、内存和存储，确保 Pod 的资源请求和限制得到满足。
- 日志和监控：收集容器日志，提供给集群的监控系统
kubectl 是 Kubernetes 的命令行工具，用于与 Kubernetes 集群进行交互。它提供了强大的命令集，使得用户能够从本地机器上执行各种集群操作

# 配置yum为阿里镜像仓库
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF


#查看kubeadm有什么版本，-V自然排序r是倒序 head -n 10只显示10条
yum list --showduplicates kubeadm | sort -Vr | head -n 10


#不指定版本默认为最新版本,目前安装k8s 1.28.2
sudo yum install -y kubelet-1.28.2 kubeadm-1.28.2 kubectl-1.28.2 --disableexcludes=kubernetes

#设置kubelet自启动
systemctl enable  kubelet  --now

2、初始化K8S集群

只需要在master节点初始化即可

# 初始化k8s集群
#在master节点执行初始化（node节点不用执行）
#apiserver-advertise-address  指定apiserver的IP，即master节点的IP
#image-repository  设置镜像仓库为国内镜像仓库
#kubernetes-version  设置k8s的版本，跟kubeadm版本一致
#service-cidr  这是设置node节点的网络的，暂时这样设置
#pod-network-cidr  这是设置node节点的网络的，暂时这样设置
#cri-socket  设置cri使用cri-dockerd

kubeadm init \
--apiserver-advertise-address=192.168.80.128 \
--image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \
--kubernetes-version v1.28.2 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--cri-socket unix:///var/run/cri-dockerd.sock \
--ignore-preflight-errors=all

# 可以查看kubelet日志
journalctl -xefu kubelet

等待初始化成功，如果不出问题，出现成功：Your Kubernetes control-plane has initialized successfully!
我的返回如下：

[kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.80.128:6443 --token ugbeb5.673rb9ivznpzi2oh \
        --discovery-token-ca-cert-hash sha256:7a68c380e113ca2b1d589bb31bc3e6a21bb5e28373d79bf7083bf4c3f8446639

返回的信息中，让我们配置环境变量，然后还要配置k8s集群的pod网络
然后先执行如下命令，配置环境变量

# 在master节点执行，配置环境变量
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf


# 在node节点执行，配置环境变量
echo "export KUBECONFIG=/etc/kubernetes/kubelet.conf" >> /etc/profile
source /etc/profile

3、安装网络插件

目前比较常用的是flannel和calico，
flannel的功能比较简单，不具备复杂网络的配置能力，不支持网络策略；
calico是比较出色的网络管理插件，单具备复杂网络配置能力的同时，
往往意味着本身的配置比较复杂，所以相对而言，比较小而简单的集群使用flannel，
考虑到日后扩容，未来网络可能需要加入更多设备，配置更多策略，则使用calico更好。
官网地址：https://docs.tigera.io/calico/latest/getting-started/kubernetes/self-managed-onprem/onpremises

calico

# 下载calico.yaml
wget https://raw.githubusercontent.com/projectcalico/calico/v3.27.3/manifests/calico.yaml --no-check-certificate

#查看calico用到的镜像
grep image: calico.yaml


# 默认的calico.yaml清单文件无需手动配置Pod子网范围（如果需要，可通过CALICO_IPV4POOL_CIDR指定），默认使用
# kube-controller-manager的"–cluster-cidr"启动项的值，即kubeadm init时指定的"–pod-network-cidr"或清单文件中使用"podSubnet"的值。

vim calico.yaml
...
# 我下载的V3.27.3这里是被注释上的，打开即可
- name: CALICO_IPV4POOL_CIDR
  value: "10.244.0.0/16"   #更改为初始化pod的地址范围
...


#安装calico.yaml
kubectl apply -f calico.yaml

#如果是重装calico，需要先清除旧的配置
rm -rf /etc/cni/net.d/
rm -rf /var/lib/calico

flannel

如果不想装calico就安装flannel
Github地址：https://github.com/flannel-io/flannel#deploying-flannel-manually

# 下载flannel
wget https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
#更改network地址，是初始化时的pod地址范围，默认就是：10.244.0.0/16
 vim kube-flannel.yml
 ...
 net-conf.json: |
    {
      "Network": "10.244.0.0/16",  #更改为初始化pod的地址范围
      "Backend": {
        "Type": "vxlan"
      }
    }
 ...   
#安装flannel
kubectl apply -f kube-flannel.yml

4、node节点加入集群

网络也配置好之后，node节点执行加入

查看所有命名空间的pod
[root@mastart k8s]# kubectl get pod -A
NAMESPACE     NAME                                       READY   STATUS     RESTARTS       AGE
kube-system   calico-kube-controllers-787f445f84-sb5rn   0/1     Pending    0              38s
kube-system   calico-node-57q5j                          0/1     Init:0/3   0              38s
kube-system   calico-node-ksspf                          0/1     Init:0/3   0              38s
kube-system   calico-node-rbxhw                          0/1     Init:0/3   0              38s
kube-system   coredns-6554b8b87f-24c2t                   0/1     Pending    0              3h1m
kube-system   coredns-6554b8b87f-fd9df                   0/1     Pending    0              3h1m
kube-system   etcd-mastart                               1/1     Running    0              3h1m
kube-system   kube-apiserver-mastart                     1/1     Running    1 (3h1m ago)   3h1m
kube-system   kube-controller-manager-mastart            1/1     Running    0              3h1m
kube-system   kube-proxy-45ftw                           1/1     Running    0              33m
kube-system   kube-proxy-85w8t                           1/1     Running    0              33m
kube-system   kube-proxy-fn9wz                           1/1     Running    0              3h1m
kube-system   kube-scheduler-mastart                     1/1     Running    0              3h1m


#如果有pod启动失败，可以通过下面的命令查看pod的详细信息
kubectl describe pod coredns-6554b8b87f-24c2t -n kube-system


#在你要加入的node节点上执行，master节点不用执行
# --cri-socket unix:///var/run/cri-dockerd.sock 是一个配置选项，用于指定容器运行时接口 (CRI) 与 Docker 守护程序之间的通信方式。
kubeadm join 192.168.80.128:6443 --token ugbeb5.673rb9ivznpzi2oh \
        --discovery-token-ca-cert-hash sha256:7a68c380e113ca2b1d589bb31bc3e6a21bb5e28373d79bf7083bf4c3f8446639  \
    --cri-socket unix:///var/run/cri-dockerd.sock
 
 #如果上面的令牌忘记了，或者新的node节点加入，在master上执行下面的命令，生成新的令牌
 # 记得后面要加上 --cri-socket unix:///var/run/cri-dockerd.sock 容器运行时
 kubeadm token create --print-join-command

5、验证集群的可用性

#检查节点
#status为ready就表示集群可以正常运行了
[root@node1 k8s]# kubectl get nodes
NAME      STATUS   ROLES           AGE     VERSION
mastart   Ready    control-plane   3h41m   v1.28.2
node1     Ready    <none>          74m     v1.28.2
node2     Ready    <none>          74m     v1.28.2

# 查看集群健康情况
[root@mastart k8s]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE   ERROR
etcd-0               Healthy   ok        
scheduler            Healthy   ok        
controller-manager   Healthy   ok

其他命令：

移除节点

# 在要移除的节点上，禁用调度以阻止新的Pod在这个节点上运行
kubectl cordon $NODENAME

# 逐渐驱逐节点上的Pod,驱逐过程会尽量将Pod转移到其他节点上，并确保服务不中断。
# 使用--ignore-daemonsets参数是因为daemonset类型的Pods通常不应该被驱逐，它们通常提供集群级别的服务
kubectl drain $NODENAME --ignore-daemonsets --delete-emptydir-data

# 从集群中移除节点
kubectl delete node $NODENAME

# 如果你想彻底清除节点上的所有Kubernetes组件，可以手动删除相关的文件和目录，例如：
rm -rf /etc/cni/net.d
rm -rf /var/lib/kubelet/*

3、测试部署

测试部署Nginx
在k8s-master机器上执行

# 创建一次deployment部署
[root@mastart k8s]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
# Deployment nginx Service 暴露80端口
[root@mastart k8s]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
# 查看Nginx的pod和service信息
[root@mastart k8s]# kubectl get pod,svc -owide
NAME                         READY   STATUS    RESTARTS   AGE   IP             NODE
pod/nginx-7854ff8877-f7st9   1/1     Running   0          11m   10.244.104.1   node2

NAME                 TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE 
service/kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP        3h59m 
service/nginx        NodePort    10.105.79.246   <none>        80:31129/TCP   11m
[root@mastart k8s]# 
[root@mastart k8s]#

访问Nginx地址： http://任意节点的ip:图中Nginx的对外映射端口，http://192.168.80.132:31129/