浅尝KubeSphere,安装MySQL等中间件

kubesphere提供了一种便携的k8s集群管理方式,借助kubesphere快速在k8s中搭建Mysql/Redis/Nacos/SEATA/Sentinel
浅尝KubeSphere,安装MySQL等中间件
category
tags
type
slug
date
summary
status
icon
password

前言

我们团队在服务器环境中中统一使用KubeSphere作为k8s的默认可视化界面,它可以方便地管理k8s环境中的各个元素。包括每个节点的内存、硬盘、CPU用量等等。
notion image

创建各个中间件

实际生产时,以下组件都需要做HA高可用,这里仅演示一个单机测试版本。
1. MySQL

核心三要素

部署方式(StatefulSet),数据存储 (PVC),配置文件(ConfigMap)。
notion image

开始前准备

可在官方镜像文档描述查看mysql容器启动的相关配置
传统 Docker的启动方式
 

创建配置configmap

  • 在配置项中添加配置
    • notion image
  • 添加一个key-value配置,key就是配置文件的文件名 这里是 my.cnf
    • notion image
      my.cnf的内容,填写的是数据库服务端的配置

创建 挂载卷

  • 创建卷
    • notion image
  • 设置存储类型和访问模式以及卷容量
    • notion image

添加工作负载

  • 在部署工作负载中选择有状态负载
    • notion image
  • 镜像 配置为dockerhub中的mysql,并使用镜像默认端口设置
    • notion image
  • 镜像环境变量,根据mysql镜像的官方要求,需要添加一个MYSQL_ROOT_PASSWORD;创建后点击下一步
    • notion image
  • 挂载存储卷
    • notion image
      notion image
  • 挂载配置卷
    • notion image
      指定配置卷的挂载目录
      notion image

对外 提供服务

  • KS默认会创建一个内网服务,可以选择修改,或重新创建一个NodePort对外服务
    • notion image
  • NodePort类型表示可以从集群中的任意节点IP进行访问
    • notion image
  • 访问地址,如图冒号后的地址就是外部访问的端口号
    • notion image
  • 访问客户端测试
    • notion image
2. Nacos

开始前准备

可参考nacos官方的部署手册

部署有状态服务

虽然nacos没有存储,但是为了保证nacos的访问地址稳定需要部署成有状态(StatefulSet)
notion image

设置镜像

可在官方镜像文档描述查找nacos-server镜像,及容器启动的相关配置
notion image
  • 环境变量
    • 我这里用到了上面 的数据库 , 需要再添加一个 MODE = standalone 才能支持数据库配置,否则默认是集群模式运行
      notion image
  • 同步 主机时区
    • notion image

暴露外部服务

notion image
notion image
Nacos的一些问题
负载时的演示效果不同
notion image
nacos的默认配置文件
3. Redis

开始前准备

部署类型 有状态、PVC挂卷、配置文件 , 并且redis启动需要一个自定义 命令
notion image

创建一个ConfigMap

notion image
配置的key就是redis配置文件的文件名
notion image

创建存储卷

你也可以选择安装NFS的存储类型,进行动态分配卷,我这里示例都是用local手动分配的卷。
notion image

创建有状态副本集

notion image
  • 设置镜像,并使用镜像的默认端口
    • notion image
  • 添加启动命令,并勾选上同步时区
    • notion image
  • 挂载存储卷
    • notion image
  • 挂载CM配置 只需要配置到目录级别,会自动读取CM中的redis.conf映射到目录下的指定文件。
    • notion image
       
4. SEATA

部署前准备

官方文档的Docker部署方式
seata 连接到Nacos,由nacos托管 seata的配置;同时客户端是通过nacos的注册中心中获取seata的地址。

创建配置文件CM

我这里需要将SEATA注册到nacos中,使用nacos进行配置,用mysql进行undo_log的存储,需要修改application.yml文件,配置参考如下:
参考文章

创建有状态副本

  • 查找镜像
    • notion image
  • 开放端口
    • 7091是面板的地址 ,8091是 服务端口地址
      notion image
  • 挂载配置文件,注意,我们这里只修改application.yml 配置文件,为了不覆盖容器中/seata-server/resources 目录下的其它配置文件,这里要使用子路径配置。
    • notion image

暴露服务

notion image
此方案部署后,seata-server虽然部署成功,但是注册到Nacos上的IP是Kubernetes内部集群IP,seata客户端应用是无法访问到seata-server服务的,除非nacos和seata客户端应用也部署在Kubernetes集群内部,但显然目前无法进行这么大的变革。
所以解决问题的方法就是让seata-server的注册IP是宿主机IP.
定义SEATA的外部IP
查阅了seata官方文档,是支持相关配置的:
notion image
Kubernetes相关的文档中支持用 Pod 字段作为环境变量的值,根据文档,修改YAML,如下:
notion image
定义SEATA的外部端口
k8s如果用NodePort方式暴露端口的话端口必须是30000-32765之间的端口号,但是在容器中默认配置的端口是8091,这就会导致连接不上,要从外部访问的折中之计就是先利用hostPort将容器的端口直接在宿主机上暴露。
notion image
这样做会占用了宿主机唯一的8091端口,要注意实例数不能大于节点机数,否则多出来的会无法部署。

通过Mysql存储实现Seata的高可用

开始前准备

创建seata的数据库,并且执行官方的初始化脚本 mysql.sql , 数据库建完效果如下,我目前用的是1.5.2版本的脚本:
notion image
在NACOS中配置Seata的Store类型为DB
创建/config.txt,并填写数据库配置如下:
创建一个nacos配置导入脚本 /conf/nacos-config.sh 内容点击展开:
执行脚本,后面跟上nacos的ip和端口,例如:./nacos-config.sh -h192.168.31.191 -p31864
成功执行的结果
成功执行的结果
配置添加成功的效果如下:当然这些配置你也可以在NACOS中逐一添加
notion image
  • 导入配置后,重新启动Seata,若日志结尾出现{dataSource-1} inited表示Seata 成功连接mysql
    5.Sentinel

    部署前准备

    dockerhub上有现成的sentinel控制台镜像。

    创建有状态副本集

    notion image
     

    相关

    记一次Kubernetes部署应用过程
    前文已经部署了高可用的Kubernetes集群以及Rancher集群,这两天正好需要提前部署seata-server,琢磨着正好趁这个风险不大的机会试验一下Kubernetes,特此记录下。 在正式部署之前,我有必要描述下现有架构的现状。现有架构主要是基于SpringCloud框架搭建的微服务体系,配置中心和服务注册中心使用的都是阿里的Nacos组件。 从架构转型角度来说,全面切换至Kubernetes为基础的微服务体系肯定不够现实,从现有主流的方案来说,一般是使用Kubernetes做基础措施,利用其做服务编排调度,软件层面还是基于SpringCloud的开发方式,这也是比较现实的逐步切换的方案。 那么目前就架构来说,seata-server会部署在Kuberetes上管理,seata客户端应用使用Docker容器部署,Nacos服务是二进制方式物理安装。seata-server因为没有管理后台,所以并不需要对外暴露服务,只需要seata客户端应用能够进行服务间调用即可。 本次过程描述重点并不是怎样部署才能使seata-server能够使用,而是通过Kubernetes部署应用的过程。 Seata官方文档支持Kubernetes的部署方式,并提供了YAML格式的资源文件(因为使用了Nacos方式,使用了自定义文件): apiVersion: apps/v1 kind: Deployment metadata: name: seata-server namespace: default labels: k8s-app: seata-server spec: replicas: 1 selector: matchLabels: k8s-app: seata-server template: metadata: labels: k8s-app: seata-server spec: containers: - name: seata-server image: docker.io/seataio/seata-server:latest imagePullPolicy: IfNotPresent env: - name: SEATA_CONFIG_NAME value: file:/root/seata-config/registry ports: - name: http containerPort:
    记一次Kubernetes部署应用过程
    上一篇
    都2024年了,竟然还有人穿着孔乙己的长衫?
    下一篇
    搭建KubeSphere+k8s环境
    Loading...
    2024-6-4
    最新发布
    什么是正确的交易理念?《毛选》已经给了我们答案
    2024-12-1
    这个世界的真相是什么?为什么说“道”比方法论更重要?
    2024-11-29
    十年一次的机遇,2024年A股牛市操作手册,如何让资产快速翻25倍?
    2024-11-27
    为什么手中的绩优股票迟迟不涨?成交量到底怎么看?什么是量价关系?
    2024-11-24
    价格行为技术分析-10-交易区间概念基础
    2024-11-22
    价格行为基础教学-02-认识多空力量
    2024-11-22