【云原生】Kubernetes之持久化

Kubernetes 持久化存储

一、为什么要做持久化存储

  • 在k8s中部署的应用都是以Pod容器的形式运行的,假如我们部署的MySQL、Redis等数据库,需要对这些数据库产生的数据做备份。因为Pod是有生命周期的,如果Pod不挂在数据卷,那Pod删除或重启后这些数据会随之消失,如果想要长久的保留这些数据就要用到Pod数据持久化存储。

二、都有哪些存储

2.1、emptyDir

2.1.1、什么是emptyDir
  • emptyDir是一个临时存储卷,与Pod的声明周期绑定在一起,如果Pod被删除了,这意味着数据也被随之删除。
2.1.2、emptyDir作用
  • 可以实现持久化
  • 同一个Pod的多个容器可以实现数据共享,多个不同的Pod之间不能进行数据通信
  • 随着Pod的生命周期而存在,当我们删除Pod时,其数据也会被随之删除
2.1.3、emptyDir的应用场景
  • 临时缓存空间,比如基于磁盘的归并排序
  • 为较耗时计算任务提供检查点,以便任务能方便的从崩溃前状态恢复执行
  • 存储Web访问日志及错误日志等信息
2.1.4、emptyDir优缺点

优点

  • 可以实现同一个Pod内多个容器之间数据共享
  • 当Pod内的某个容器被强制删除时,数据并不会丢失,因为Pod没有删除

缺点

  • 当Pod被删除时,数据也会随之删除
  • 不同的Pod之间无法实现数据共享
2.1.5、emptyDir的使用方式
[root@master ~]# cat emptyDir.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: test
spec:
  containers:
  - name: test-pod
    image: busybox:1.28
    imagePullPolicy: IfNotPresent
    # 定义容器内的挂载点
    volumeMounts:
    # 挂载的卷名称未data
    - name: data
    # 将data数据卷挂载到内容内部的/opt目录下
      mountPath: /opt/
    command: ["sh","-c","sleep 1000"]
  # 创建一个卷
  volumes:
  # 卷名字叫data,刚好与容器挂载的卷名字一致
  - name: data
  # emptyDir是一个空目录,用于临时存储数据。{}表示使用默认配置
    emptyDir: {}
# 查看临时目录存在的位置,可用如下方法
[root@master ~]# kubectl get pod -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP           NODE    NOMINATED NODE   READINESS GATES
test   1/1     Running   0          32s   10.244.2.2   node1   <none>           <none>


# 查看 Pod 的 uid,指定的机器指定目录下会生成带有 uid 号的目录
[root@master ~]# kubectl get pod test -o yaml | grep uid
  uid: b6b8a98d-9324-4869-a443-4e7dbe24f232


# 登录 node1 机器
[root@node1 ~]# tree /var/lib/kubelet/pods/b6b8a98d-9324-4869-a443-4e7dbe24f232/
/var/lib/kubelet/pods/b6b8a98d-9324-4869-a443-4e7dbe24f232/
├── containers
│   └── test-pod
│       └── 2e82889a
├── etc-hosts
├── plugins
│   └── kubernetes.io~empty-dir
│       ├── data
│       │   └── ready
│       └── wrapped_kube-api-access-n7cgv
│           └── ready
└── volumes
    ├── kubernetes.io~empty-dir
    │   └── data
    └── kubernetes.io~projected
        └── kube-api-access-n7cgv
            ├── ca.crt -> ..data/ca.crt
            ├── namespace -> ..data/namespace
            └── token -> ..data/token

11 directories, 7 files
# 在容器里面写文件,对应的emptyDir目录会有相应文件
[root@master ~]# kubectl exec -it test -- sh -c 'date > /opt/time.txt'
[root@master ~]# kubectl exec -it test -- ls /opt/time.txt
/opt/time.txt
[root@master ~]# kubectl exec -it test -- cat /opt/time.txt
Fri Jul  5 00:25:52 UTC 2024


# 登录到node1机器查看
[root@node1 ~]# cat /var/lib/kubelet/pods/b6b8a98d-9324-4869-a443-4e7dbe24f232/volumes/kubernetes.io~empty-dir/data/time.txt 
Fri Jul  5 00:25:52 UTC 2024

2.2、hostPath

2.2.1、什么是hostPath
  • hostPath Volume是指Pod挂载宿主机上的目录或文件。hostPath Volume使得容器可以使用宿主机的文件系统进行存储,hostpath(宿主机路径):节点级别的存储卷,在Pod被删除,这个存储卷还是存在的,不会被删除,所以只要同一个Pod被调度到同一个节点上来,在Pod被删除重新被调度到这个节点之后,对应的数据依然存在的
2.2.2、hostPath应用场景
  • Pod中容器想要访问宿主机文件
2.2.3、hostPath优缺点

优点

  • 可以实现同一个Pod不同容器之间的数据共享
  • 可以实现同一个Node节点不同Pod之间的数据共享

缺点

  • 无法满足跨节点Pod之间的数据共享
2.2.4、hostPath的使用方式
[root@master ~]# cat hostPath.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: test
spec:
  containers:
  - name: test-pod
    image: busybox:1.28
    imagePullPolicy: IfNotPresent
    # 定义容器内部的挂载点
    volumeMounts:
    # 挂载卷的名字叫 data
    - name: data
    # 叫 data 卷挂载到容器中/opt
      mountPath: /opt
    # 容器执行的命令,主要是让容器运行
    command: ["sh","-c","sleep 1000"]
  # 定义了Pod中挂载的卷
  volumes:
  # 卷的名称
  - name: data
  # 指定宿主机的卷存储路径
    hostPath: 
  # 宿主机上的路径,这个Pod被分配到什么Node节点,那么就会自动在该Node节点/下面创建data目录
      path: "/data"
  # 卷类型,意味着如果宿主机上/data目录不存在Kubernetes会自动创建它
      type: DirectoryOrCreate
# 在容器当中写入数据,对应Node节点/data目录下就会出现数据,最终实现持久化存储
[root@master ~]# kubectl exec -it test -- sh -c 'date > /opt/time.txt'
[root@master ~]# kubectl exec -it test -- cat /opt/time.txt
Fri Jul  5 00:39:34 UTC 2024
[root@master ~]# kubectl get pod -o wide
NAME   READY   STATUS    RESTARTS   AGE     IP           NODE    NOMINATED NODE   READINESS GATES
test   1/1     Running   0          5m54s   10.244.1.4   node2   <none>           <none>


# 登录 node2 机器查看
[root@node2 ~]# ls /data/
time.txt
[root@node2 ~]# cat /data/time.txt 
Fri Jul  5 00:39:34 UTC 2024

2.3、PV以及PVC

  • 前面和大家一起学习了一些基本的资源对象的使用方法,前面我们也和大家降到了有状态的应用和数据有持久化的应用,我们有通过hostPath 或者 emptyDir的方式来持久化我们的数据,但是显然我们还需要更加可靠的存储保存应用持久化数据,这样的容器在重建后,依赖可以使用之前的数据。但是显然存储资源和CPU资源以及内存资源有很多大不同,为了屏蔽底层的技术实现细节,让用户更加方便的使用,Kubernetes便引入了PV和PVC两个重要的资源对象来实现对存储的管理。这也是我们这节课和大家讲解的核心:PV 和 PVC
2.3.1、什么是PV
  • PV的全称是:PersistentVolume(持久化卷),是对底层的共享存储的一种抽象,PV由管理员进行创建和配置,它和具体的底层的共享存储技术的实现方式有关,比如Ceph、GlusterFS、NFS等,都是通过插件机制完成与共享存储的对接。
  • PersistentVolume(PV)是集群中的一块存储,由管理员配置或使用存储类动态配置。它是集群中的资源,就像Pod是K8S集群资源一样。PV是容量插件,入Volumes,其声明周期独立于使用PV的任务单个Pod
2.3.2、什么是PVC
  • PersistentVolumeClaim(PVC)是一个持久化存储卷,我们在创建Pod时可以定义这个类型的存储卷。它类似于一个Pod。Pod消耗节点的资源,PVC消耗PV资源。Pod可以请求特定级别的资源(CPU和内存)。pvc在申请pv的时候也可以请求特定大小和访问模式(例如,可以依次读写或多次只读)
2.3.3、PV的供应方式

可以通过两种方式配置PV:静态或动态

  • 静态的:

​ 集群管理员创建了许多PV,它们包含可供集群用户使用的实际存储的详细信息。它们存在于Kubernetes API中,可供使用

  • 动态的:

​ 当管理员创建PV都不匹配用户的PersistentVolumeClaim(PVC)时,集群可能会尝试为PVC专门动态配置卷。此配置基于StorageClasses,PVC必须请求存储类,管理员必须创建并配置该类,以便进行动态配置。

2.3.4、绑定
  • 用户创建pvc并指定需要的资源和访问模式。在找到可用pv之前,pvc会保持未绑定状态

  • 每个持久卷会处于以下阶段(Phase)之一:

    Available

    卷是一个空闲资源,尚未绑定到任何申领

    Bound

    该卷已经绑定到某申领

    Released

​ 所绑定的申领已被删除,但是关联存储资源尚未被集群回收

Failed

​ 卷的自动回收操作失败

2.3.5、使用流程
  • 需要主调一个存储服务器,把它划分成多个存储空间

  • K8S管理员可以把这些存储空间定义成多个PV

  • 在Pod中使用PVC类型的存储卷之前需要先创建PVC,通过定义需要使用的PV的大小和对应的访问模式,找到合适的PV

  • PVC被创建之后,就可以当成存储卷来使用了,我们在定义Pod时就可以使用这个PVC的存储卷

  • PVC和PV它们时一一对应的关系,PV如果被PVC绑定了,就不能被其他PVC使用了

  • 我们在创建PVC的时候,应该确保和底下的PV能绑定,如果没有合适的PV,那么PVC就会处于pending(等待)状态

2.3.6、回收策略
  • 我们创建Pod时如果使用PVC做为存储卷,那么它会和PV绑定,当删除Pod,PVC和PV绑定就会解除,解除之后和PVC绑定的PV卷里的数据需要怎么处理,目前,卷可以保留,回收或删除:

Retain

​ 当删除PVC的时候,PV仍然存在,处于released状态,但是它不能被其他PVC绑定使用,里面的数据还是存在的,当我们下次再使用的时候,数据还是存在的,这个是默认的回收策略

Recycle 简单擦除(rm -rf /thevolume/*)

Delete

​ 删除PVC时即会从Kubernetes中移除PV,也会从相关的外部设施中删除存储资产

2.3.7、访问模式
  • PersistentVolume(PV)卷可以用资源提供者所支持的任何方式挂载到宿主系统上。如下表所示,提供者(驱动)的能力不同,每个PV卷的访问模式都会设置为对应卷所支持的模式值。例如,NFS可以支持多个读写客户,但是某个特定的NFS PV卷可能在服务器上以只读的方式导出。每个PV卷都会获得自身的访问模式集合,描述的是特定PV卷的能力

  • 访问模式有:

ReadWriteOnce

​ 卷可以被一个节点以读写方式挂载。ReadWriteOnce访问模式也允许运行在同一节点上的多个Pod访问卷

ReadOnlyMant

​ 卷可以被多个节点以只读方式挂载

ReadWriteMany

​ 卷可以被多个节点以读写方式挂载

ReadWriteOncePod

​ 特性状态:Kubernetes v1.27[beat]

​ 卷可以被单个Pod以读写方式挂载。如果你想确保整个集群中只有一个Pod可以读取或写入该PVC,请使用 ReadWriteOncePod访问模式。这只支持CSI卷以及需要kubernetes 1.22以上版本

在命令行接口(CLI)中,访问模式也使用以下缩写形式:

  • RWO -ReadWriteOnce

  • ROX -ReadOnlyMany

  • RWX -ReadWriteMany

  • RWOP -ReadWriteOncePod

2.3.8 示例
  • 这里面为了方便演示,决定使用相对简单的NFS这种存储资源
2.3.8.1、资源列表
  • 这里面Kubernetes集群由Master、Node1、Node2节点组成,本节课不在演示Kubernetes的部署了,只解释NFS的部署,以及配置PV、PVC相关内容
操作系统 主机名 配置 IP
CentOS 7.9 master 2C4G 192.168.93.101
CentOS 7.9 node1 2C4G 192.168.93.102
CentOS 7.9 node2 2C4G 192.168.93.103
CentOS 7.9 nfs 2C4G 192.168.93.104
2.3.8.2、部署NFS
  • NFS节点操作
2.3.8.2.1、关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
2.3.8.2.2、关闭内核安全机制
setenforce 0
sed -i "s/.*SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config
2.3.8.2.3、安装
[root@nfs ~]# yum -y install nfs-utils rpcbind
[root@nfs ~]# mkdir -p /data/volumes
[root@nfs ~]# cat > /etc/exports << EOF
/data/volumes 192.168.93.0/24(rw,no_root_squash)
EOF
[root@nfs ~]# systemctl enable nfs --now
# 所有Kubernetes集群中的节点需要安装以下软件包用以支持NFS
yum -y install nfs-utils rpcbind
2.3.8.3、PV、PVC应用示例
  • 该yaml文件一共创建了3个资源,分别是PV、PVC、Pod
  • 启动PV的名字叫test-pv,指定的存储大小是1G(从NFS的/data/volumes分配的空间),回收策略是Delete,访问模式是ReadWriteMany
  • PVC叫test-pvc,请求的存储是1G,访问模式是ReadWriteMany
  • Pod挂载test-pvc这个PVC到/opt目录
[root@master ~]# cat pv-pvc-test.yaml 
apiVersion: v1
# 定义资源对象(PV)
kind: PersistentVolume
metadata:
# PV的名字
  name: test-pv
spec:
# 定义持久卷的存储容量,这里是1G
  capacity:
    storage: 1G
  # 定义回收策略
  persistentVolumeReclaimPolicy: Delete
  # 定义访问模式
  accessModes: ["ReadWriteMany"]
  # 指定持久卷的后端存储是NFS
  nfs:
  # NFS服务器上的路径
    path: /data/volumes
  # NFS服务器的IP地址
    server: 192.168.93.104
---
apiVersion: v1
# 定义资源对象(PVC)
kind: PersistentVolumeClaim
metadata:
# PVC的名字
  name: test-pvc
spec:
  # ReadWriteMany表示PVC期望的访问模式与PV匹配
  accessModes: ["ReadWriteMany"]
  # 定义PVC所需的存储资源
  resources:
  # PVC请求的最小存储容量
    requests:
      storage: 1G
   # PVC促成农户资源上限(不能超过1G)
    limits:
      storage: 1G
---
apiVersion: v1
kind: Pod
metadata:
  name: test
spec:
  containers:
  - name: test-pod
    image: busybox:1.28
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: data
      mountPath: /opt
    command: ["sh","-c","sleep 1000"]
  volumes:
  # 定义存储卷的名字
  - name: data
    persistentVolumeClaim:
    # claimName:test-pvc表明这个卷使用名为test-pvc的持久化声明
      claimName: test-pvc
[root@master ~]# kubectl apply -f pv-pvc-test.yaml 
persistentvolume/test-pv created
persistentvolumeclaim/test-pvc created
pod/test created
# 查看Pod
[root@master ~]# kubectl get pod
NAME   READY   STATUS    RESTARTS   AGE
test   1/1     Running   0          15s


# 查看PVC
[root@master ~]# kubectl get pvc
NAME       STATUS   VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS   AGE
test-pvc   Bound    test-pv   1G         RWX                           27s


# 查看PV
[root@master ~]# kubectl get pv
NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS   REASON   AGE
test-pv   1G         RWX            Delete           Bound    default/test-pvc                           56s
# 查看PVC相关信息
[root@master ~]# kubectl describe pvc test-pvc
Name:          test-pvc
Namespace:     default
StorageClass:  
Status:        Bound
Volume:        test-pv
Labels:        <none>
Annotations:   pv.kubernetes.io/bind-completed: yes
               pv.kubernetes.io/bound-by-controller: yes
Finalizers:    [kubernetes.io/pvc-protection]
Capacity:      1G
Access Modes:  RWX
VolumeMode:    Filesystem
Used By:       test
Events:        <none>


# 查看PV相关信息
[root@master ~]# kubectl describe pvc test-pv
Name:          test-pvc
Namespace:     default
StorageClass:  
Status:        Bound
Volume:        test-pv
Labels:        <none>
Annotations:   pv.kubernetes.io/bind-completed: yes
               pv.kubernetes.io/bound-by-controller: yes
Finalizers:    [kubernetes.io/pvc-protection]
Capacity:      1G
Access Modes:  RWX
VolumeMode:    Filesystem
Used By:       test
Events:        <none>
# 写入数据进行验证
[root@master ~]# kubectl exec -it test -- sh -c 'date > /opt/time.txt'

[root@master ~]# kubectl exec -it test -- cat /opt/time.txt
Fri Jul  5 01:55:08 UTC 2024
# 查看Pod被被配到那个node节点上
[root@master ~]# kubectl get pod -o wide
NAME   READY   STATUS    RESTARTS   AGE    IP           NODE    NOMINATED NODE   READINESS GATES
test   1/1     Running   0          4m3s   10.244.1.5   node2   <none>           <none>


# 登录到node2
[root@nfs ~]# cat /data/volumes/time.txt 
Fri Jul  5 01:55:08 UTC 2024

相关推荐

  1. 原生Kubernetes持久

    2024-07-09 17:48:09       5 阅读

最近更新

  1. SDL常用结构体和函数接口

    2024-07-09 17:48:09       0 阅读
  2. 谷粒商城实战笔记-35-前端基础-ES6-模块化

    2024-07-09 17:48:09       0 阅读
  3. 分享一款开源免费的ftp服务工具——Pyftpsync

    2024-07-09 17:48:09       0 阅读
  4. 线程局部变量共享

    2024-07-09 17:48:09       0 阅读
  5. SQL Server报告服务的艺术:在SSRS中打造专业报告

    2024-07-09 17:48:09       0 阅读

热门阅读

  1. urlib Python爬虫

    2024-07-09 17:48:09       7 阅读
  2. 【MySQL】SQL中的DROP、DELETE和TRUNCATE的区别

    2024-07-09 17:48:09       10 阅读
  3. 云原生监控-Kubernetes-Promethues-Grafana

    2024-07-09 17:48:09       9 阅读
  4. arm (exti中断)

    2024-07-09 17:48:09       9 阅读
  5. LRU Cache 双向链表以及STL list实现----面试常考

    2024-07-09 17:48:09       12 阅读
  6. gitlab每日备份以及restore

    2024-07-09 17:48:09       9 阅读
  7. Centos安装Node.js

    2024-07-09 17:48:09       8 阅读
  8. C#多线程并行计算实例

    2024-07-09 17:48:09       5 阅读
  9. C#架构师的成长之路

    2024-07-09 17:48:09       11 阅读
  10. 算法刷题1-10大排序算法汇总

    2024-07-09 17:48:09       9 阅读