强化学习，是在于环境的互动当中为了达成一个目标而进行的学习过程
从基本元素分析：
假设有左右两个老虎机
状态只有一个（老虎机不会动），行动得到的奖励是及时的，做出一个选择就会得到一个奖励，不会对以后的行动有影响。只需要学习不同的行动所具有的价值，即学习State-Action Value函数，可以简化为Action Value函数。
选择一个老虎机之后，可以得到一定的奖励。那么可以认为这个奖励是一个服从一定概率分布的随机变量。两个老虎机对应的概率分布可能是不同的，但概率分布是固定的，不会改变。概率分布有一个期望值，所以最优的情况就是选期望最高的那个。
定义一个行动具有的价值为对应奖励的期望值，设选择左边的价值为q(L)，右边的为q(R)，假设左边的奖励服从N(500,50)，右边的服从N(550,100)。显然右边是最优的选择。定义行动价值的估计值为Q(L)和Q(R)，初始值为0。
利用实际获取的奖励来估计价值（如利用奖励的平均值）
用$Q_t(a)$来代表t时刻对a这个行动的价值的一个估计：
\[Q_(a)=\frac{\sum_{i=1}^{t-1}R_i*1(A_i=a)}{\sum_{i=1}^{t-1}1(A_i=a)}, a=L,R\] \[A_t = argmax_aQ_t(a) (Greedy策略)\]贪婪策略会导致重复选第一次选择的老虎机
一种补救的方法是，强行要求所有的行动都选择一遍，再做贪婪选择
由于随机性的存在，只尝试一次是不够的（我们实验的原理就是大数定律）
另一种方法是反其道而行之，因为贪婪的问题是第一次选的会成为最大值，那么我们让价值函数的初始值特别大，因此选择任何一个行动后，其对应的价值会变小，迫使我们去尝试其他行动
需要注意，价值的初始值为0时，这个初始值不计入之后的平均计算，任何行动执行一次之后，就用实际获得的奖励值替代了初始值；当我们选择一个很高的初始值，同样不计入，实际的结果就相当于把所有的行动都尝试一遍。
我们这里说的方法，是将初始值计入之后平均值的计算，如果不计入，相当于只探索一遍，只有计入才能鼓励更多的探索。
这个方法只能考虑一开始的探索行为，一旦我们考虑状态会发生改变的情况，这个方法就不可行了。
归根结底，不能太贪婪！
一种有效解决方法，成为$\epsilon-Greedy$，其含义是在大多数情况下，作出贪婪的选择；以一定的概率$\epsilon$，做出随机的选择。
]]>为了演示 HorizontalPodAutoscaler，你将首先启动一个 Deployment 用 hpa-example 镜像运行一个容器， 然后使用以下清单文件将其暴露为一个服务（Service）：
apiVersion: apps/v1
kind: Deployment
metadata:
name: php-apache
spec:
selector:
matchLabels:
run: php-apache
template:
metadata:
labels:
run: php-apache
spec:
containers:
- name: php-apache
image: registry.k8s.io/hpa-example
ports:
- containerPort: 80
resources:
limits:
cpu: 500m
requests:
cpu: 200m
---
apiVersion: v1
kind: Service
metadata:
name: php-apache
labels:
run: php-apache
spec:
ports:
- port: 80
selector:
run: php-apache
可以手动创建，在本地离线部署。也可以直接运行以下命令：
kubectl apply -f https://k8s.io/examples/application/php-apache.yaml
现在服务器正在运行，使用 kubectl 创建自动扩缩器。 kubectl autoscale 子命令是 kubectl 的一部分， 可以帮助你执行此操作。
你将很快运行一个创建 HorizontalPodAutoscaler 的命令， 该 HorizontalPodAutoscaler 维护由你在这些说明的第一步中创建的 php-apache Deployment 控制的 Pod 存在 1 到 10 个副本。
粗略地说，HPA 控制器将增加和减少副本的数量 （通过更新 Deployment）以保持所有 Pod 的平均 CPU 利用率为 50%。 Deployment 然后更新 ReplicaSet —— 这是所有 Deployment 在 Kubernetes 中工作方式的一部分 —— 然后 ReplicaSet 根据其 .spec 的更改添加或删除 Pod。
由于每个 Pod 通过 kubectl run 请求 200 milli-cores，这意味着平均 CPU 使用率为 100 milli-cores。 有关算法的更多详细信息， 请参阅算法详细信息。
创建 HorizontalPodAutoscaler：
kubectl autoscale deployment php-apache --cpu-percent=50 --min=1 --max=10
你可以通过运行以下命令检查新制作的 HorizontalPodAutoscaler 的当前状态：
# 你可以使用 “hpa” 或 “horizontalpodautoscaler”；任何一个名字都可以。
kubectl get hpa
请注意当前的 CPU 利用率是 0%，这是由于我们尚未发送任何请求到服务器 （TARGET 列显示了相应 Deployment 所控制的所有 Pod 的平均 CPU 利用率）。
接下来，看看自动扩缩器如何对增加的负载做出反应。 为此，你将启动一个不同的 Pod 作为客户端。 客户端向 php-apache 服务发送查询。
这里使用hey来测试
#下载hey
wget https://hey-release.s3.us-east-2.amazonaws.com/hey_linux_amd64
#如果下载速度较慢，可使用xiaoz软件库链接
wget http://soft.xiaoz.org/linux/hey_linux_amd64
#赋予执行权限
chmod +x hey_linux_amd64
#移动文件到sbin目录
mv hey_linux_amd64 /usr/sbin/hey
现在执行：
hey -n 10000 -c 10 http://php-apache/
如果这里找不到服务器，可以修改php-apache服务，改为NodePort方式：
kubectl edit svc php-apache
# 把type从ClusterIP改为NodePort
type : NodePort
# 保存，退出，查看服务
kubectl get svc php-apache
# 采用IP：Port的方式测试
hey -n 10000 -c 10 http://IP:Port
观察负载
# 准备好后按 Ctrl+C 结束观察
kubectl get hpa php-apache --watch
一分钟时间左右之后，通过以下命令，我们可以看到 CPU 负载升高了；例如：
NAME REFERENCE TARGET MINPODS MAXPODS REPLICAS AGE
php-apache Deployment/php-apache/scale 305% / 50% 1 10 1 3m
然后，更多的副本被创建。例如：
NAME REFERENCE TARGET MINPODS MAXPODS REPLICAS AGE
php-apache Deployment/php-apache/scale 305% / 50% 1 10 7 3m
这时，由于请求增多，CPU 利用率已经升至请求值的 305%。 可以看到，Deployment 的副本数量已经增长到了 7：
kubectl get deployment php-apache
你应该会看到与 HorizontalPodAutoscaler 中的数字与副本数匹配
NAME READY UP-TO-DATE AVAILABLE AGE
php-apache 7/7 7 7 19m
]]>说明： 有时最终副本的数量可能需要几分钟才能稳定下来。由于环境的差异， 不同环境中最终的副本数量可能与本示例中的数量不同。
[root@master01 ~]# cd /home/zhengzihao/
[root@master01 zhengzihao]# ls
aware bak master01.qcow2 master02.qcow2 node01.qcow2 node02.qcow2
# bak 是备份镜像
[root@master01 zhengzihao]# cd bak/
[root@master01 bak]# ls
master01.qcow2 master02.qcow2 node01.qcow2 node02.qcow2
[root@master01 bak]# cd ..
[root@master01 zhengzihao]# ll
total 32600724
drwxr-xr-x. 10 root root 4096 Aug 4 03:53 aware
drwxr-xr-x. 2 root root 90 Aug 2 03:55 bak
-rw-------. 1 qemu qemu 8603369472 Aug 4 23:26 master01.qcow2
-rw-------. 1 qemu qemu 8352104448 Aug 4 23:25 master02.qcow2
-rw-------. 1 qemu qemu 8307736576 Aug 4 23:26 node01.qcow2
-rw-------. 1 qemu qemu 8118075392 Aug 4 23:26 node02.qcow2
[root@master01 zhengzihao]# rm -rf master01.qcow2
[root@master01 zhengzihao]# ls
aware bak master02.qcow2 node01.qcow2 node02.qcow2
[root@master01 zhengzihao]# virsh list --all
Id Name State
---------------------------------------
5 zzh-master01 running
7 zzh-node01 running
8 zzh-node02 running
10 zzh-master02 running
- centos-stream8 shut off
- centos-stream8-clone shut off
- master01 shut off
- master02 shut off
- node01 shut off
- node02 shut off
- origal shut off
- origal-clone shut off
- overlay-master01 shut off
- overlay-master02 shut off
[root@master01 zhengzihao]# virsh shutdown zzh-master01
Domain 'zzh-master01' is being shutdown
[root@master01 zhengzihao]# virsh list --all
Id Name State
---------------------------------------
7 zzh-node01 running
8 zzh-node02 running
10 zzh-master02 running
- centos-stream8 shut off
- centos-stream8-clone shut off
- master01 shut off
- master02 shut off
- node01 shut off
- node02 shut off
- origal shut off
- origal-clone shut off
- overlay-master01 shut off
- overlay-master02 shut off
- zzh-master01 shut off
# 如果关不掉可以使用destroy
[root@master01 zhengzihao]# ls
aware bak master02.qcow2 node01.qcow2 node02.qcow2
[root@master01 zhengzihao]# cp ./bak/master01.qcow2 ./
[root@master01 zhengzihao]# ls
aware bak master01.qcow2 master02.qcow2 node01.qcow2 node02.qcow2
[root@master01 zhengzihao]# virsh start zzh-master01
Domain 'zzh-master01' started
[root@master01 zhengzihao]# watch virsh list --all
sudo su
# 进入配置文件
vi /etc/ssh/sshd_config
# 定位到 PermitRootLogin
/PermitRootLogin
# 将注释符删掉，进行如下修改
PermitRootLogin yes
service sshd restart
目前比较新的Linux发行版都已经采用NetworkManager来管理网络了，自定义DNS变得更加麻烦：每次NetworkManager启动都会覆盖/etc/resolv.conf，因此仅仅在/etc/resolv.conf中修改是不保险的。
sudo chattr +i /etc/resolv.conf
这个命令将/etc/resolv.conf设置为不可修改，如此一来自定义DNS就不会被覆盖了
sudo nano /etc/NetworkManager/conf.d/dns.conf
# 增加如下两行
[main]
dns=null
sudo nano /etc/NetworkManager/conf.d/dns-servers.conf
# 自定义DNS
[global-dns-domain-*]
servers=::1,127.0.0.1,8.8.8.8
# 最后重启软件
sudo systemctl restart NetworkManager
| 主机名 | IP | 角色 | CPU | 内存 | 系统 |
|---|---|---|---|---|---|
| master01 | 223.193.36.152 | master,etcd | 8C | 32G | CentOS 7 |
| master02 | 223.193.36.155 | master,etcd | 8C | 32G | CentOS 7 |
| node01 | 223.193.36.179 | worker | 8C | 32G | CentOS 7 |
| node02 | 223.193.36.182 | worker | 8C | 32G | CentOS 7 |
| harbor | 223.193.36.117 | repository | 8C | 32G | CentOS 7 |
# 1. 卸载之前安装的组件
sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
# 1.安装yum-utils
sudo yum install -y yum-utils
# 2.设置稳定的存储库
sudo yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 下面是官网的, 上面使用阿里云的 国内比较快
# https://download.docker.com/linux/centos/docker-ce.repo
# 1. 直接安装最新docker版本
sudo yum -y install docker-ce docker-ce-cli containerd.io
# 2. 安装完成后查看版本
docker -v
# 如果想安装不同版本
# 1.列出可用版本
yum list docker-ce --showduplicates | sort -r
# 2.安装指定版本
sudo yum install docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io
如:
sudo yum install docker-ce-18.09.1 docker-ce-cli-18.09.1 containerd.io
# 启动docker
systemctl start docker
# 停止docker
systemctl stop docker
# 重启
systemctl restart docker
# 查看状态
systemctl status docker
# 设置开机自启动
systemctl enable docker
# 查看信息
docker info
# 查看帮助文档
docker --help
# 1.卸载 Docker 引擎、CLI 和容器包
sudo yum remove docker-ce docker-ce-cli containerd.io
# 2.主机上的图像、容器、卷或自定义配置文件不会自动删除。要删除所有图像、容器和卷
sudo rm -rf /var/lib/docker
# 3.必须手动删除任何编辑的配置文件。
# 给所有k8s主机配置docker
sudo nano /etc/docker/daemon.json
# 改为如下内容
{
"registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
"insecure-registries": ["http://harbor.ifzzh.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
# 参数说明：
# "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
# "insecure-registries": ["http://harbor.xinjizhiwa.com"], #允许拉取自建仓库harbor仓库的镜像；
# "exec-opts": ["native.cgroupdriver=systemd"] #kubeadm去寻找的cgroup默认是systemd，而docker不配置的话，默认是cgroupfs，不配置这个，部署k8s时会报错；
# 重启docker服务
systemctl restart docker.service
# 查看swap
free -h
# 临时关闭swap分区
swapoff -a && sysctl -w vm.swappiness=0
# 永久关闭，把fstab中swap那一行注释掉
sed -ni '/^[^#]*swap/s@^@#@p' /etc/fstab
# 网卡编号验证
ifconfig eth0 |grep ether |awk '{print $2}'
# 硬件编号验证
cat /sys/class/dmi/id/product_uuid
cat > /etc/modules-load.d/k8s.conf << EOF
br_netfilter
EOF
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv4.ip_forward=1
EOF
sysctl --system
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 关闭SELinux
setenforce 0
sed -i '7c SELINUX=disabled' /etc/selinux/config
# 1. 配置yum源
cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF
# 2.查看安装源中的k8s都有什么版本？
yum -y list kubeadm --showduplicates | sort -r
# 3. yum安装组件
yum -y install kubeadm-1.23.17-0 kubelet-1.23.17-0 kubectl-1.23.17-0
# 4. 设置开机自启动
systemctl enable --now kubelet.service
# 5. 查看状态（此时启动失败，不用管，因为还没配置完成，配置完成后自动会启动）
systemctl status kubelet.service
kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16 --service-dns-domain=ifzzh.com
# 参数释义：
--pod-network-cidr=10.100.0.0/16 #pod的网段
--service-cidr=10.200.0.0/16 #service资源的网段
--service-dns-domain=ifzzh.com #service集群的dns解析名称
这里以安装 LT 内核的5.4.278版本为例
共需下载三个类型rpm
wget https://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-lt-5.4.278-1.el7.elrepo.x86_64.rpm
wget https://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-lt-devel-5.4.278-1.el7.elrepo.x86_64.rpm
wget https://mirrors.coreix.net/elrepo-archive-archive/kernel/el7/x86_64/RPMS/kernel-lt-headers-5.4.278-1.el7.elrepo.x86_64.rpm
rpm -ivh kernel-lt-5.4.278-1.el7.elrepo.x86_64.rpm
rpm -ivh kernel-lt-devel-5.4.278-1.el7.elrepo.x86_64.rpm
rpm -qa | grep kernel
CentOS 7
# 1. 卸载之前安装的组件
sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
# 1.安装yum-utils
sudo yum install -y yum-utils
# 2.设置稳定的存储库
sudo yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 下面是官网的, 上面使用阿里云的 国内比较快
# https://download.docker.com/linux/centos/docker-ce.repo
# 1. 直接安装最新docker版本
sudo yum -y install docker-ce docker-ce-cli containerd.io
# 2. 安装完成后查看版本
docker -v
# 如果想安装不同版本
# 1.列出可用版本
yum list docker-ce --showduplicates | sort -r
# 2.安装指定版本
sudo yum install docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io
如:
sudo yum install docker-ce-18.09.1 docker-ce-cli-18.09.1 containerd.io
# 启动docker
systemctl start docker
# 停止docker
systemctl stop docker
# 重启
systemctl restart docker
# 查看状态
systemctl status docker
# 设置开机自启动
systemctl enable docker
# 查看信息
docker info
# 查看帮助文档
docker --help
# 1.卸载 Docker 引擎、CLI 和容器包
sudo yum remove docker-ce docker-ce-cli containerd.io
# 2.主机上的图像、容器、卷或自定义配置文件不会自动删除。要删除所有图像、容器和卷
sudo rm -rf /var/lib/docker
# 3.必须手动删除任何编辑的配置文件。
kubectl delete deployment [deployment-name]
kubectl delete pod [pod-name]
kubectl delete pod <pod-name> --force --grace-period=0
# 先查看pod的名字
kubectl get pod -n [ns]
# 查看该pod的类型（Controlled By字段）
kubectl describe pod -n [ns] [pod-name]
# 查看对应的类型，获得pod对应的name
kubectl get [pod type] -n ns
# 在namespace之前加上刚刚查到的name
kubectl delete [type] [name] -n [ns] --force --grace-period=0