DaemonSet节点管理：实现Kubernetes集群自动化运维

实际应用场景背景

在Kubernetes大规模生产环境中，集群节点数量众多，手动维护每个节点变得异常繁琐。特别是当需要定期清理Docker镜像缓存、管理系统日志、执行安全扫描等操作时，传统的人工运维方式效率低下且容易遗漏节点。通过DaemonSet部署节点管理任务，可以在每个节点上自动运行维护脚本，实现集群运维的自动化，显著提升运维效率并降低人为失误风险。

DaemonSet节点管理核心概念

DaemonSet是Kubernetes中一种特殊的工作负载资源，它确保在集群的所有（或部分）节点上都运行一个Pod的副本。这一特性使其成为节点级任务的理想选择，无论是日志收集、监控代理还是定期清理任务，都能通过DaemonSet实现全集群覆盖。

DaemonSet的主要特点

全节点覆盖：自动在每个节点上部署一个Pod实例
自动适应：节点加入或离开集群时自动调整Pod分布
一致性管理：确保所有节点执行相同的维护任务
持久运行：Pod在节点上持续运行，适合长期任务

DaemonSet节点管理架构设计

DaemonSet节点管理的架构基于Kubernetes原生控制器，通过在每个节点上部署具备特定功能的Pod来实现集中式管理。这种架构充分利用了Kubernetes的调度能力和资源管理机制，实现了对集群节点的统一维护。

架构组件详解

DaemonSet控制器：负责维护Pod副本，确保每个节点都运行一个实例
Cron任务容器：执行定时清理和维护任务
主机挂载卷：访问节点文件系统和Docker套接字
特权模式：获得执行系统级操作所需的权限

技术优势

自动化部署：无需手动在每个节点上安装管理工具
集中化配置：通过ConfigMap统一管理所有节点的任务配置
版本控制：利用GitOps实现配置变更的版本追踪
弹性伸缩：随节点数量变化自动调整Pod数量

Base配置详解

镜像说明

定时清理任务使用的是自定义镜像：k8s-harbor:30002/tools/cron:v1

如有需要获取该镜像，请联系张师傅（微信：ggttxlss）。

DaemonSet基础配置

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: basejob
spec:
  template:
    spec:
      containers:
        - name: basejob
          image: basejob-image
          command:
            - /bin/bash
            - '-c'
          args:
            - /usr/sbin/init

该基础配置定义了一个DaemonSet资源，使用init进程启动容器，为后续挂载和配置提供基础框架。

主机时间同步配置

为确保节点上的定时任务按预期时间执行，需要同步主机时间：

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: basejob
spec:
  template:
    spec:
      volumes:
        - name: volume-host-time
          hostPath:
            path: /etc/localtime
            type: ''

      containers:
        - name: basejob
          volumeMounts:
            - name: volume-host-time
              readOnly: true
              mountPath: /etc/localtime

更新策略配置

为避免更新过程中影响所有节点，配置滚动更新策略：

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: basejob
spec:
  updateStrategy:
    rollingUpdate:
      maxUnavailable: 100

Overlay配置详解

ConfigMap配置

通过ConfigMap配置定时任务，定义具体的清理任务：

kind: ConfigMap
apiVersion: v1
metadata:
  name: basejob-cm
data:
  crontab: |+
    * * * * * mkdir -p /tmp/{pull,prune,delete,test}
    # 30 0 * * * rm -rf /var/data/* >> /tmp/delete/$(date +\%Y-\%m-\%d).log
    40 * * * * docker pull openjdk:8-jdk && docker pull nginx >> /tmp/pull/$(date +\%Y-\%m-\%d).log
    50 0 * * * docker system prune -a -f >> /tmp/prune/$(date +\%Y-\%m-\%d).log
    * * * * * echo "test" >> /tmp/test/$(date +\%Y-\%m-\%d).log

挂载定时任务配置

将ConfigMap中的定时任务配置挂载到容器内：

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: basejob
spec:
  template:
    spec:
      volumes:
        - name: volume-basejob-cm
          configMap:
            name: basejob-cm
            items:
              - key: crontab
                path: tmp1

      containers:
        - name: basejob
          volumeMounts:
            - name: volume-basejob-cm
              readOnly: true
              mountPath: /var/spool/cron/tmp1
              subPath: tmp1

          lifecycle:
            postStart:
              exec:
                command:
                  - /bin/bash
                  - '-c'
                  - >-
                    cp /var/spool/cron/tmp1 /var/spool/cron/root && chmod 600 /var/spool/cron/root && /usr/sbin/crond

Docker套接字挂载配置

为了能够执行Docker命令，需要挂载Docker套接字：

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: basejob
spec:
  template:
    spec:
      volumes:
        - name: volume-docker-sock
          hostPath:
            path: /var/run/docker.sock
      containers:
        - name: basejob
          volumeMounts:
            - name: volume-docker-sock
              mountPath: /var/run/docker.sock

数据目录挂载配置

允许访问节点上的特定数据目录：

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: basejob
spec:
  template:
    spec:
      volumes:
        - name: volume-var-data
          hostPath:
            path: /var/data

      containers:
        - name: basejob
          volumeMounts:
            - name: volume-var-data
              mountPath: /var/data

特权模式配置

为了执行系统级操作，配置特权模式：

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: basejob
spec:
  template:
    spec:
      securityContext:
        seLinuxOptions: {}

Kustomization配置

整合所有配置并通过Kustomize进行管理：

resources:
  - ../../base
  - ./configmap.yaml

patches:
  - ./mount-crontab-job.yaml
  - ./mount-docker-socket.yaml
  - ./mount-var-data.yaml
  - ./privileged.yaml

namespace: infrastructure  # 统一的namespace

images:
  - name: basejob-image
    newName: k8s-harbor:30002/tools/cron
    newTag: v1

注意：所需镜像k8s-harbor:30002/tools/cron:v1可联系张师傅（微信：ggttxlss）获取。

配置参数详解

以下表格详细说明了DaemonSet节点管理中的关键配置参数：

参数名	含义	可选值	默认值
maxUnavailable	DaemonSet更新时最大不可用Pod数	数字或百分比	100
image	使用的镜像名称	有效的镜像名称	basejob-image
newName	替换后的镜像名称	有效的镜像名称	k8s-harbor:30002/tools/cron
newTag	替换后的镜像标签	有效的镜像标签	v1
path	hostPath挂载路径	有效的文件系统路径	/etc/localtime等
mountPath	容器内挂载路径	有效的容器内路径	/etc/localtime等
crontab	定时任务配置	cron表达式及命令	见示例配置

常见运维任务示例

Docker镜像清理

最常用的运维任务之一是定期清理Docker镜像和容器：

# 清理所有未使用的容器、网络、镜像和构建缓存
docker system prune -a -f

日志文件管理

定期清理容器日志以释放磁盘空间：

# 清理指定容器日志
truncate -s 0 /var/log/containers/*.log

系统资源监控

执行资源监控和报告：

# 收集节点资源使用情况
df -h && free -m && iostat

部署与验证

镜像获取

在部署前，请确保已获取所需镜像：k8s-harbor:30002/tools/cron:v1

如需获取该镜像，请联系张师傅（微信：ggttxlss）。

部署命令

使用以下命令部署DaemonSet节点管理任务：

kubectl apply -k overlays/infrastructure

或者使用dry-run模式预览将要部署的资源：

kubectl apply -k overlays/infrastructure --dry-run=client -o yaml

验证部署

部署完成后，可以通过以下命令验证DaemonSet是否正常运行：

# 查看DaemonSet状态
kubectl get daemonset -n infrastructure

# 查看Pod状态
kubectl get pods -n infrastructure -l app=basejob

# 查看Pod日志
kubectl logs -n infrastructure <pod-name>

安全考虑

在实施DaemonSet节点管理时，必须注意安全性：

最小权限原则：只授予必要的权限，避免过度授权
镜像安全：使用可信的镜像源，定期更新镜像
访问控制：通过RBAC限制对DaemonSet的访问
审计日志：记录所有管理操作以供审查

最佳实践

1. 资源限制

为DaemonSet设置适当的资源限制，防止资源耗尽：

resources:
  limits:
    cpu: 500m
    memory: 512Mi
  requests:
    cpu: 100m
    memory: 128Mi

2. 健康检查

配置适当的健康检查以确保Pod正常运行：

livenessProbe:
  exec:
    command:
    - /bin/sh
    - -c
    - ps aux | grep crond | grep -v grep
  initialDelaySeconds: 30
  periodSeconds: 60

3. 故障恢复

合理配置重启策略以应对故障：

restartPolicy: Always

总结

通过DaemonSet实现Kubernetes集群节点管理，可以有效简化运维工作，提高集群的可靠性和可维护性。该方案利用Kubernetes原生功能，实现了节点级任务的自动化部署和管理。结合ConfigMap和Kustomize，运维人员可以轻松地定义和更新节点管理任务，并通过GitOps实现配置的版本化管理。

与传统的手工运维相比，DaemonSet节点管理方案具有更高的效率和一致性，特别适用于大规模Kubernetes集群的日常维护工作。同时，通过合理的安全配置和最佳实践，可以确保该方案的安全性和稳定性。

目录CONTENT

DaemonSet节点管理：实现Kubernetes集群自动化运维

DaemonSet节点管理：实现Kubernetes集群自动化运维

实际应用场景背景

DaemonSet节点管理核心概念

DaemonSet的主要特点

DaemonSet节点管理架构设计

架构组件详解

技术优势

Base配置详解

镜像说明

DaemonSet基础配置

主机时间同步配置

更新策略配置

Overlay配置详解

ConfigMap配置

挂载定时任务配置

Docker套接字挂载配置

数据目录挂载配置

特权模式配置

Kustomization配置

配置参数详解

常见运维任务示例

Docker镜像清理

日志文件管理

系统资源监控

部署与验证

镜像获取

部署命令

验证部署

安全考虑

最佳实践

1. 资源限制

2. 健康检查

3. 故障恢复

总结

参考文档

评论区