K8s环境下使用sidecar模式对EMQX的exhook.proto 进行流量代理

背景

在使用emqx作为mqtt时需要我们需要拦截client的各种行为，如连接，发送消息，认证等。除了使用emqx自带的插件机制。我们也可以用多语言-钩子扩展来实现这个功能，但是目前emqx仅仅支持单个grpc服务端的设置，所以会有单点问题。当然也可以用外部的流量代理。本文在k8s环境下使用sidecar的模式对grpc的流量做负载均衡，以实现高可用的效果。如图所示：

进行拦截：

打包emqx-exhook-server

docker build -f Dockerfile -t emqx-exhook-server:0.0.1 .

k8s 部署emqx

apiVersion: apps/v1
kind: Deployment
metadata:name: emqx-deploymentlabels:app: emqx
spec:replicas: 1selector:matchLabels:app: emqxtemplate:metadata:labels:app: emqxspec:initContainers:- name: emqx-exhook-serverimage: emqx-exhook-server:0.0.1restartPolicy: Alwayscontainers:- name: emqximage: emqx:5.8.0ports:- name: mqttcontainerPort: 1883- name: mqttsslcontainerPort: 8883- name: mgmtcontainerPort: 8081- name: wscontainerPort: 8083- name: wsscontainerPort: 8084- name: dashboardcontainerPort: 18083restartPolicy: Always---
apiVersion: v1
kind: Service
metadata:name: emqx-service
spec:selector:app: emqxports:- name: mqttport: 1883protocol: TCPtargetPort: mqtt- name: mqttsslport: 8883protocol: TCPtargetPort: mqttssl- name: mgmtport: 8081protocol: TCPtargetPort: mgmt- name: wsport: 8083protocol: TCPtargetPort: ws- name: wssport: 8084protocol: TCPtargetPort: wss- name: dashboardport: 18083protocol: TCPtargetPort: dashboard

测试

• mac-desktop下需要开启端口转发

kubectl port-forward svc/emqx-service 18083:18083
kubectl port-forward svc/emqx-service 1883:1883 

• 配置
  

• 进行发布/订阅
  

  正常连接

总结

• 对于在k8s的集群的来说也是支持的，因为每个pod都有一个sidecar
• 对于sidecar 也可以动态升级，不影响主容器
• 因每个pod都有一个sidecar，原生支持负载均衡（客户端负载均衡），挂掉一台且不会影响emqx集群
• github