浅尝KubeSphere，搭建MySQL等中间件 | Tangly的学习笔记

category

tags

type

status

slug

date

summary

icon

password

前言

实际操作中都是使用KubeSphere作为k8s的默认可视化界面使用。它可以方便地管理k8s环境中的各个元素。

notion image

创建各个中间件

1. MySQL

核心三要素

部署方式(StatefulSet)，数据存储 (PVC)，配置文件(ConfigMap)。

notion image

开始前准备

可在官方镜像文档描述查看mysql容器启动的相关配置

Mysql - Official Image | Docker Hub

MySQL is a widely used, open-source relational database management system (RDBMS).

https://hub.docker.com/_/mysql

传统 Docker的启动方式

创建配置configmap

在配置项中添加配置

notion image

添加一个key-value配置，key就是配置文件的文件名这里是 my.cnf

notion image

my.cnf的内容，填写的是数据库服务端的配置

创建挂载卷

创建卷

notion image

设置存储类型和访问模式以及卷容量

notion image

添加工作负载

在部署工作负载中选择有状态负载

notion image

镜像配置为dockerhub中的mysql，并使用镜像默认端口设置

notion image

镜像环境变量，根据mysql镜像的官方要求，需要添加一个MYSQL_ROOT_PASSWORD；创建后点击下一步

notion image

挂载存储卷

notion image

notion image

挂载配置卷

notion image

指定配置卷的挂载目录

notion image

对外提供服务

KS默认会创建一个内网服务，可以选择修改，或重新创建一个NodePort对外服务

notion image

NodePort类型表示可以从集群中的任意节点IP进行访问

notion image

访问地址，如图冒号后的地址就是外部访问的端口号

notion image

访问客户端测试

notion image

2. Nacos

开始前准备

可参考nacos官方的部署手册

Nacos支持三种部署模式

Nacos定义为一个IDC内部应用组件，并非面向公网环境的产品，建议在内部隔离网络环境中部署，强烈不建议部署在公共网络环境。以下文档中提及的VIP，网卡等所有网络相关概念均处于内部网络环境。单机模式 - 用于测试和单机试用。集群模式 - 用于生产环境，确保高可用。多集群模式 - 用于多数据中心场景。安装好 JDK，需要 1.8 及其以上版本建议: 2核 CPU / 4G 内存及其以上建议: 生产环境 3 个节点及其以上 Standalone means it is non-cluster Mode. * sh startup.sh -m standalone Standalone means it is non-cluster Mode.

https://nacos.io/zh-cn/docs/deployment.html

Nacos支持三种部署模式

部署有状态服务

虽然nacos没有存储，但是为了保证nacos的访问地址稳定需要部署成有状态(StatefulSet)

notion image

设置镜像

可在官方镜像文档描述查找nacos-server镜像，及容器启动的相关配置

https://hub.docker.com/r/nacos/nacos-server

notion image

环境变量

我这里用到了上面的数据库 , 需要再添加一个 MODE = standalone 才能支持数据库配置，否则默认是集群模式运行

notion image

同步主机时区

notion image

暴露外部服务

notion image

例如我的访问地址：http://192.168.31.191:31864/nacos/index.html

notion image

Nacos的一些问题

负载时的演示效果不同

notion image

nacos的默认配置文件

3. Redis

开始前准备

Redis - Official Image | Docker Hub

Redis is an open source key-value store that functions as a data structure server.

https://hub.docker.com/_/redis

部署类型有状态、PVC挂卷、配置文件，并且redis启动需要一个自定义命令

notion image

创建一个ConfigMap

notion image

配置的key就是redis配置文件的文件名

notion image

创建存储卷

你也可以选择安装NFS的存储类型，进行动态分配卷，我这里示例都是用local手动分配的卷。

notion image

创建有状态副本集

notion image

设置镜像，并使用镜像的默认端口

notion image

添加启动命令，并勾选上同步时区

notion image

挂载存储卷

notion image

挂载CM配置只需要配置到目录级别，会自动读取CM中的redis.conf映射到目录下的指定文件。

notion image

4. SEATA

部署前准备

官方文档的Docker部署方式

使用 Docker 部署 Seata Server

避免直接拉取latest版本镜像，latest版本并不一定是released版本，为避免不必要的问题，请到docker镜像仓库确定要拉取的镜像版本。启动seata-server实例 $ docker run --name seata-server -p 8091:8091 -p 7091:7091 seataio/seata-server:1.5.0 指定seata-server IP和端口启动 $ docker run --name seata-server \ -p 8091:8091 \ -p 7091:7091 \ -e SEATA_IP=192.168.1.1 \ -e SEATA_PORT=8091 \ seataio/seata-server Docker compose 启动 docker-compose.yaml 示例 $ docker exec -it seata-server sh $ docker logs -f seata-server

使用 Docker 部署 Seata Server

https://seata.io/zh-cn/docs/ops/deploy-by-docker.html

使用 Docker 部署 Seata Server

seata 连接到Nacos，由nacos托管 seata的配置；同时客户端是通过nacos的注册中心中获取seata的地址。

创建配置文件CM

我这里需要将SEATA注册到nacos中，使用nacos进行配置，用mysql进行undo_log的存储，需要修改application.yml文件，配置参考如下：

参考文章

Docker搭建Seata服务并注册到Nacos中失败解决_至学者的博客-CSDN博客_seata注册nacos失败

在上面的搭建基础上，将容器中的seata-server包拷贝到宿主主机上： docker cp seata:/seata-server /data/seata/ 说明：seata是指启动的容器名停止并删除启动中的容器 docker stop seata docker rm seata 修改配置文件application.yml 修改前 server: port: 7091 spring: application: name: seata-server logging: config: classpath:logback-spring.xml file: path: ${user.home}/logs/seata extend: logstash-appender: destination: 127.0.0.1:4560 kafka-appender: bootstrap-servers: 127.0.0.1:9092 topic: logback_to_logstash console: user: username: admin password: admin seata: config: # support: nacos, consul, apollo,

https://blog.csdn.net/calm_encode/article/details/123424571

创建有状态副本

查找镜像

notion image

开放端口

7091是面板的地址，8091是服务端口地址

notion image

挂载配置文件，注意，我们这里只修改application.yml 配置文件，为了不覆盖容器中/seata-server/resources 目录下的其它配置文件，这里要使用子路径配置。

notion image

暴露服务

notion image

此方案部署后，seata-server虽然部署成功，但是注册到Nacos上的IP是Kubernetes内部集群IP，seata客户端应用是无法访问到seata-server服务的，除非nacos和seata客户端应用也部署在Kubernetes集群内部，但显然目前无法进行这么大的变革。

所以解决问题的方法就是让seata-server的注册IP是宿主机IP.

定义SEATA的外部IP

查阅了seata官方文档，是支持相关配置的：

notion image

Kubernetes相关的文档中支持用 Pod 字段作为环境变量的值，根据文档，修改YAML，如下：

notion image

定义SEATA的外部端口

k8s如果用NodePort方式暴露端口的话端口必须是30000-32765之间的端口号，但是在容器中默认配置的端口是8091，这就会导致连接不上，要从外部访问的折中之计就是先利用hostPort将容器的端口直接在宿主机上暴露。

notion image

这样做会占用了宿主机唯一的8091端口，要注意实例数不能大于节点机数，否则多出来的会无法部署。

通过Mysql存储实现Seata的高可用

开始前准备

创建seata的数据库，并且执行官方的初始化脚本 mysql.sql , 数据库建完效果如下，我目前用的是1.5.2版本的脚本：

notion image

在NACOS中配置Seata的Store类型为DB

创建/config.txt，并填写数据库配置如下：

创建一个nacos配置导入脚本 /conf/nacos-config.sh 内容点击展开：

执行脚本，后面跟上nacos的ip和端口，例如：./nacos-config.sh -h192.168.31.191 -p31864

成功执行的结果

配置添加成功的效果如下：当然这些配置你也可以在NACOS中逐一添加

notion image

导入配置后，重新启动Seata，若日志结尾出现{dataSource-1} inited表示Seata 成功连接mysql

5.Sentinel

部署前准备

dockerhub上有现成的sentinel控制台镜像。

https://hub.docker.com/r/bladex/sentinel-dashboard

创建有状态副本集

notion image

相关

云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps_哔哩哔哩_bilibili

大家记得一键三连呀【点赞、评论、收藏】感谢支持~《云原生实战》是尚硅谷与KubeSphere官方联合打造的云原生系列课程之一；上篇由雷神主讲：p1-p130 ，下篇由KubeSphere团队人员参与录制：p131-p200（本次更新内容）Java架构师的第一课，Docker+k8s+KubeSphere+DevOps上云实战；让雷神带你站在新高度重新审视技术，真正实现云上亿级流量永不宕机！ ...

https://www.bilibili.com/video/BV13Q4y1C7hS?p=79&vd_source=39f78b1b8c48640556d1685e5f99a413

云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps_哔哩哔哩_bilibili

记一次Kubernetes部署应用过程

前文已经部署了高可用的Kubernetes集群以及Rancher集群，这两天正好需要提前部署seata-server，琢磨着正好趁这个风险不大的机会试验一下Kubernetes，特此记录下。在正式部署之前，我有必要描述下现有架构的现状。现有架构主要是基于SpringCloud框架搭建的微服务体系，配置中心和服务注册中心使用的都是阿里的Nacos组件。从架构转型角度来说，全面切换至Kubernetes为基础的微服务体系肯定不够现实，从现有主流的方案来说，一般是使用Kubernetes做基础措施，利用其做服务编排调度，软件层面还是基于SpringCloud的开发方式，这也是比较现实的逐步切换的方案。那么目前就架构来说，seata-server会部署在Kuberetes上管理，seata客户端应用使用Docker容器部署，Nacos服务是二进制方式物理安装。seata-server因为没有管理后台，所以并不需要对外暴露服务，只需要seata客户端应用能够进行服务间调用即可。本次过程描述重点并不是怎样部署才能使seata-server能够使用，而是通过Kubernetes部署应用的过程。 Seata官方文档支持Kubernetes的部署方式，并提供了YAML格式的资源文件（因为使用了Nacos方式，使用了自定义文件）： apiVersion: apps/v1 kind: Deployment metadata: name: seata-server namespace: default labels: k8s-app: seata-server spec: replicas: 1 selector: matchLabels: k8s-app: seata-server template: metadata: labels: k8s-app: seata-server spec: containers: - name: seata-server image: docker.io/seataio/seata-server:latest imagePullPolicy: IfNotPresent env: - name: SEATA_CONFIG_NAME value: file:/root/seata-config/registry ports: - name: http containerPort:

https://segmentfault.com/a/1190000040132540

CentOS安装 ping 命令_代码一天不写我浑森蓝廋的博客-CSDN博客_centos 安装ping

docker版的CentOS镜像由于做了精简，去掉了 ping 命令，那我们该如何安装这个命令呢首先可以用 yum provides 命令来搜索哪个软件包里包含了 ping 命令

https://blog.csdn.net/zhang197093/article/details/78732494

聊聊k8s的hostport和NodePort

说到 NodePort 这种 service 类型, 大家应该都很熟悉了，主要是用来给一组 pod 做集群级别的代理，当然也可以通过设置 XX 让他只在特定节点生效。集群级别的nodeport: 部署后可以查看service: nodeport 如果可以不用填写，这样 kubernetes 会从 30000-32767 这个端口段随机选择一个未被使用的端口。其实这个等于采用默认的外部流量策略 externalTrafficPolicy: Cluster 如果希望指定特定节点做 proxy，可以通过设置 externalTrafficPolicy 字段等于 Local：到宿主机节点上，可以看到，service 通过 kube-proxy 开启了 10.213.20.196:30008 的监听， 10.213.20.196 是节点： NodePort 虽然可以给 pod 提供节点级别的 porxy，但是如果对于一个daemonset，采用 NodePort 方式来申明节点端口就不这么直观了，这个时候就可以使用pod的 hostport 来直接在pod的节点上暴露端口。设置完就可以了。那 hostport 的实现原理是怎么样的呢？是不是也是开了一个程序监听？通过到节点执行 netstat -anp| grep 10000

https://cloud.tencent.com/developer/article/1894185

聊聊k8s的hostport和NodePort