当前位置：首页 > news >正文

一次网络不通“争吵“引发的思考

news 文章来源：https://blog.csdn.net/alisystemsoftware/article/details/132338038 2024/11/26 16:28:33

作者：郑明泉、余凯

为啥争吵，吵什么？

“你到底在说什么啊，我K8s的ecs节点要访问clb的地址不通和本地网卡有什么关系…” 气愤语气都从电话那头传了过来，这时电话两端都沉默了。过了好一会传来地铁小姐姐甜美的播报声打断了刚刚的沉寂「乘坐地铁必须全程佩戴口罩，下一站西湖文化广场…」。

pod需要访问clb的443的监听，但是如果是集群内（集群内后面都指的K8s的节点或者POD）访问就会出现如下报错Connection refused：

在这里插入图片描述

所以就捋了一下客户链路如下:

在这里插入图片描述

具体现象是什么

无论是节点node还是pod里访问192.168.1.200:443都是不通的，但是访问192.168.1.200:80却是正常的。同时集群外的ECS192.168.3.100访问192.168.1.200:443和192.168.1.200:80都是正常的。

进一步分析看看

CLB1的IP192.168.1.200被绑定到了K8s的node节点的kube-ipvs0网卡上，这个是一张dummy 网卡，参考dummy interface。由于 SVC1 是LoadBalancer类型的，同时复用了这个CLB1，关联endpoint是POD1192.168.1.101:80，那么就可以解释为何访问192.168.1.200:80是正常，是由于kube-proxy根据SVC1的配置创建ipvs规则同时挂载了可被访问的后端服务。而集群里访问192.168.1.200:443都是不通的，因为IP被绑定到dummy网卡后，就不会再出节点去访问到CLB1，同时没有443对应ipvs规则，所以直接是拒绝的。

这个时候如果节点里没有ipvs规则（ipvs优先于监听）但是又能访问通的话，可以检查一下是否本地有监听0.0.0.0:443的服务，那么这个时候所有网卡IP+443都能通，但是访问的是本地服务，而不是真正的CLB后端的服务。

在这里插入图片描述

是否有办法解决呢

最建议的方式

最好的方式拆分，集群内和集群外的服务分开两个CLB使用。

阿里云svc注解的方式

SVC1使用这个注解service.beta.kubernetes.io/alibaba-cloud-loadbalancer-hostname，进行占位，这样就不会绑定CLB的IP到kube-ipvs0的网卡上，集群内访问CLB的IP就会出集群访问CLB，但是需要注意如果监听协议为TCP或UDP，集群内访问CLB IP时将会存在回环访问问题。详细信息，请参见客户端无法访问负载均衡CLB [ 1] 。

需要CCM版本在 v2.3.0及以上版本才支持这个注解，具体参考：通过Annotation配置传统型负载均衡CLB [ 2]

在这里插入图片描述

demo：

apiVersion: v1
kind: Service
metadata:annotations:service.beta.kubernetes.io/alibaba-cloud-loadbalancer-hostname: "${your_service_hostname}"name: nginx-svcnamespace: default
spec:ports:- name: httpport: 80protocol: TCPtargetPort: 80selector:app: nginxtype: LoadBalancer

集群内访问 ExternalTrafficPolicy 策略有影响吗？

我们都知道K8s的nodeport和loadbalancer模式是可以调整外部流量策略的，那么图中的「外部策略为Local/Cluster，所有集群节点创建IPVS规则是有区别的」该如何解释呢，以及集群内访问nodePort/CLBIP的时候会发生什么。

在这里插入图片描述

以下都是针对svc的internalTrafficPolicy都是Cluster或者缺省的情况，这个ServiceInternalTrafficPolicy特性在1.22的K8s中默认开启，具体参考service-traffic-policy [ 3]

具体到阿里云容器在不同网络CNI情况下的数据链路，可以参考下面的文章：

全景剖析阿里云容器网络数据链路（一）—— Flannel
全景剖析阿里云容器网络数据链路（二）—— Terway ENI
全景剖析阿里云容器网络数据链路（三）—— Terway ENIIP
全景剖析阿里云容器网络数据链路（四）—— Terway IPVLAN+EBPF
全景剖析阿里云容器网络数据链路（五）—— Terway ENI-Trunking
全景剖析阿里云容器网络数据链路（六）—— ASM Istio

此处我们只讨论ipvs TrafficPolicy Local在Kubernetes 从1.22升级到1.24的行为变化。

Kubernetes 1.24 IPVS的变化

以下均以kube-proxy的IPVS模式为例：

当externalTrafficPolicy为Cluster模式或缺省的时候，ipvs规则里的nodePort/CLBIP后端会挂载所有的Endpoint的IP，这时候集群内访问会丢失源IP，因为节点会做一层SNAT。
当externalTrafficPolicy是Local的时候

- 当节点上有对应service的Endpoint的时候，ipvs规则里的nodePort/CLBIP后端只挂载自己节点的Endpoint的IP，集群内访问会保留源IP。
- 当节点上没有对应service的Endpoint的时候
- 在1.24之前的版本是会挂空的后端的，集群内访问会拒绝。
- 在1.24之后的K8s集群里，当节点上没有对应service的Endpoint的时候，ipvs规则里的nodePort/CLB IP后端会挂载所有的Endpoint的IP，这时候集群内访问会丢失源IP，因为节点会做一层SNAT。社区调整了Local策略后端服务的规则挂载策略，具体参考社区PR [ 4] 。

https://github.com/kubernetes/kubernetes/pull/97081/commits/61085a75899a820b5eebfa71801e17423c1ca4da

集群外访问SLB

集群外访问SLB的话，CCM只会挂载Local类型的节点，情况跟1.24 kubernetes前一样，这里不做过多阐述，请见上面连接。

集群外访问NodePort

1.24 Kubernetes之前版本

访问有Endpoint的节点的NodePort，可以通，可以保留源IP

Nginx分布在cn-hongkong.10.0.4.174和cn-hongkong.10.0.2.84节点。

在这里插入图片描述

从外部10.0.3.72节点访问有后端pod所在节点的cn-hongkong.10.0.2.84的30479端口，可以访问。

在这里插入图片描述

cn-hongkong.10.0.0.140节点上是有相关的IPVS的规则的，但是只有该节点上后端Pod IP。

在这里插入图片描述

通过conntrack表可以到，这是由于在cn-hongkong.10.0.0.140节点上，相关的链路被dnat，最后是由pod cn-hongkong.10.0.2.84节点上的的nginx-7d6877d777-tzbf7 10.0.2.87返回源，所有的相关转化都在该节点上，所以TCP四层建连可以成功。

在这里插入图片描述

访问没有Endpoint的节点的NodePort，不能通，因为节点上没有相关的ipvs转发规则

从外部10.0.3.72节点访问无后端pod所在节点的cn-hongkong.10.0.0.140的30479端口，不可以访问。

在这里插入图片描述

查看该cn-hongkong.10.0.0.140节点，并没有相关的ipvs转发规则，所以无法进行dnat，访问会失败。

在这里插入图片描述

1.24 Kubernetes版本之后（含）

访问有Endpoint节点的NodePort，可以通，可以保留源IP

访问没有Endpoint节点的NodePort：

terway ENIIP or host网络：不通

Nginx分布在cn-hongkong.10.0.2.77和cn-hongkong.10.0.0.171 节点。

在这里插入图片描述

从外部10.0.3.72节点访问无后端pod所在节点的cn-hongkong.10.0.5.168的30745端口，可以看到，访问失败。

在这里插入图片描述

cn-hongkong.10.0.5.168节点上是有相关的IPVS的规则的，并且会把所有的后端Pod IP加到IPVS规则中。

在这里插入图片描述

通过conntrack表可以到，这是由于在cn-hongkong.10.0.5.168节点上，相关的链路被dnat，最后是由pod cn-hongkong.10.0.2.77节点上的nginx-79fc6bc6d-8vctc 10.0.2.78返回源，源在接受这个链路后，会发现和自己的五元组不匹配，直接丢弃，三次握手必然失败，所以建连失败。

在这里插入图片描述

flannel网络：可以通，但是保留不了源IP

Nginx分布在cn-hongkong.10.0.2.86。

在这里插入图片描述

从外部访问cn-hongkong.10.0.4.176的31218端口，可以访问成功。

在这里插入图片描述

cn-hongkong.10.0.4.176记录了src是10.0.3.72，并做了dnat为172.16.160.135，期望它返回给10.0.4.176的58825端口。

在这里插入图片描述

后端ep所在节点cn-hongkong.10.0.2.86，conntrack表记录了src是10.0.4.176，sport是58825。所以可以看到应用pod是记录的源IP是10.0.4.176，丢失了源IP。

在这里插入图片描述

集群内访问SLB或者NodePort

1.24 Kubernetes之前版本

有Endpoint的节点上访问，可以通，可以保留源IP

Nginx分布在ap-southeast-1.192.168.100.209和ap-southeast-1.192.168.100.208节点，ap-southeast-1.192.168.100.210节点没有Nginx pod。

在这里插入图片描述

从集群任意节点（本例就在209节点）访问有后端pod所在节点的ap-southeast-1.192.168.100.209的NodePort 31565端口，可以访问。

在这里插入图片描述

从有后端pod所在节点ap-southeast-1.192.168.100.209访问SLB 8.222.252.252 的80端口，可以访问。

在这里插入图片描述

ap-southeast-1.192.168.100.209节点上是有NodePort 和SLB 的IPVS的规则的，但是只有该节点上后端Pod IP。

在这里插入图片描述

通过conntrack表可以到，这是由于在ap-southeast-1.192.168.100.209 节点上，相关的链路被dnat，最后是由pod 在ap-southeast-1.192.168.100.209 节点上的的nginx-7d6877d777-2wh4s 192.168.100.222返回源，所有的相关转化都在该节点上，所以TCP四层建连可以成功。

在这里插入图片描述

没有Endpoint的节点上访问，不能通，因为节点上没有相关的ipvs转发规则

从集群任意节点（本例就在210节点）访问没有后端pod所在节点的ap-southeast-1.192.168.100.210 的NodePort 31565端口或者SLB，不可以访问。

也进一步证实，集群内访问关联svc的SLB不出节点，即使SLB有其他监听端口，访问SLB其他端口也会拒绝。

在这里插入图片描述

查看该ap-southeast-1.192.168.100.210 节点，并没有相关的ipvs转发规则，所以无法进行dnat，访问会失败。

在这里插入图片描述

1.24 Kubernetes版本之后（含）

有Endpoint节点上访问，可以通，可以保留源IP

与上文的1.24 Kubernetes之前版本集群内访问一致，可以参考上文描述。

没有Endpoint节点上访问：

Nginx分布在cn-hongkong.10.0.2.77和cn-hongkong.10.0.0.171节点，所以在没有Nginx的cn-hongkong.10.0.4.141节点上测试。

在这里插入图片描述

分别有以下几种情况：

terway或后端为hostNetwork

- 节点访问的通 NodePort（源 IP 是 ECS IP，不需要做 SNAT），无法保留源IP

可以看到没有Endpoint的节点的NodePort 110.0.4.141:30745 的IPVS 的规则添加的Nginx的所有后端POD nginx-79fc6bc6d-8vctc 10.0.2.78 和 nginx-79fc6bc6d-j587w 10.0.0.172。

在这里插入图片描述

集群内节点自身访问没有后端pod所在节点的cn-hongkong.10.0.4.141 的NodePort 30745/TCP端口，可以访问。

在这里插入图片描述

通过conntrack表可以到，在cn-hongkong.10.0.4.141节点上，相关的链路被dnat，最后是由后盾Nginx pod nginx-79fc6bc6d-8vctc 10.0.2.78返回源。

在这里插入图片描述

而在nginx-79fc6bc6d-8vctc 10.0.2.78 所在的节点cn-hongkong.10.0.2.77上的conntrack表记录的是10.04.141访问10.0.2.78，并期望10.0.2.78直接返回10.0.4.141的的39530端口。

在这里插入图片描述

集群内有endpoint 节点访问没有后端pod所在节点的ap-southeast-1.192.168.100.131 的NodePort 32292端口，不可以访问，与上文1.24 Kubernetes版本之后（含）集群外访问一致，可以参考上文描述。

- 节点访问不通 SLB IP（源 IP 是 SLB IP，没有人做 SNAT）

可以看到没有Endpoint的节点的SLB IP 的IPVS 的规则添加的Nginx的所有后端POD nginx-79fc6bc6d-8vctc 10.0.2.78 和 nginx-79fc6bc6d-j587w 10.0.0.172。

在这里插入图片描述

没有Endpoint的节点上访问 SLB 47.243.247.219，访问确是超时。

在这里插入图片描述

通过conntrack表可以到，在没有ep的节点访问SLB的IP，可以看到期望的是后端pod返回给SLB IP。而SLB IP 在节点上已经被kube-ipvs虚拟占位了，所以没有做snat，造成无法访问。

在这里插入图片描述

flannel并且后端为普通pod，可以访问通，但是保留不了源IP

Nginx分布在cn-hongkong.10.0.2.86。

在这里插入图片描述

在cn-hongkong.10.0.4.176访问SLB 47.242.86.39 是可以访问成功的。

在这里插入图片描述

cn-hongkong.10.0.4.176节点的conntrack表可以看到是src和dst都是47.242.86.39，但是期望的是 nginx pod172.16.160.135 返回给 10.0.4.176 的54988端口，47.242.86.39 snat成10.0.4.176。

在这里插入图片描述

后端ep所在节点cn-hongkong.10.0.2.86，conntrack表记录了src是10.0.4.176，sport是54988。所以可以看到应用pod是记录的源IP是10.0.4.176，丢失了源IP。

在这里插入图片描述

相关链接：

[1] 客户端无法访问负载均衡CLB

https://help.aliyun.com/document_detail/55206.htm

[2] 通过Annotation配置传统型负载均衡CLB

https://www.yuque.com/r/goto?url=https%3A%2F%2Fhelp.aliyun.com%2Fzh%2Fack%2Fack-managed-and-ack-dedicated%2Fuser-guide%2Fadd-annotations-to-the-yaml-file-of-a-service-to-configure-clb-instances

[3] service-traffic-policy

https://kubernetes.io/zh-cn/docs/concepts/services-networking/service-traffic-policy/

[4] 社区PR

https://github.com/kubernetes/kubernetes/pull/97081/commits/61085a75899a820b5eebfa71801e17423c1ca4da

一次网络不通“争吵“引发的思考

作者： 郑明泉、余凯为啥争吵，吵什么？ “你到底在说什么啊，我K8s的ecs节点要访问clb的地址不通和本地网卡有什么关系…” 气愤语气都从电话那头传了过来，这时电话两端都沉默了。过了好一会传来地铁小姐姐甜美的播报声…...

编程日记 2023/8/23 0:33:01

【使用Node.js搭建自己的HTTP服务器】

文章目录前言1.安装Node.js环境2.创建node.js服务3. 访问node.js 服务4.内网穿透4.1 安装配置cpolar内网穿透4.2 创建隧道映射本地端口 5.固定公网地址前言 Node.js 是能够在服务器端运行 JavaScript 的开放源代码、跨平台运行环境。Node.js 由 OpenJS Foundation&#xff0…...

编程日记 2023/8/23 0:31:59

回归预测 | MATLAB实现PSO-RF粒子群优化算法优化随机森林算法多输入单输出回归预测（多指标，多图）

回归预测 | MATLAB实现PSO-RF粒子群优化算法优化随机森林算法多输入单输出回归预测（多指标，多图） 目录回归预测 | MATLAB实现PSO-RF粒子群优化算法优化随机森林算法多输入单输出回归预测（多指标，多图）效果…...

编程日记 2023/8/23 0:30:58

● 392.判断子序列 ● 115.不同的子序列

● 392.判断子序列 class Solution { public:bool isSubsequence(string s, string t) {int len1s.size(),len2t.size();int res0;vector<vector<int>>dp(s.size()1,vector<int>(t.size()1,false));for(int i1;i<s.size();i){for(int j1;j<len2;j){if(…...

编程日记 2023/8/23 0:29:55

4.SpringCloud 基本架构

1.SpringCloud概述 Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具（例如配置管理，服务发现，断路器，智能路由，微代理，控制总线，一次性令牌，全局锁，…...

编程日记 2023/8/23 0:28:54

springboot后端返回图片，vue前端接收并显示的解决方案

后端图片数据返回后端通过二进制流的形式，写入response中 controller层 /*** 获取签到二维码*/GetMapping("/sign-up-pict")public void signUpPict(Long id, Long semId, HttpServletResponse response) throws NoSuchAlgorithmException {signUpServ…...

编程日记 2023/8/23 0:27:51

算法|Day46 动态规划14

LeetCode 1143- 最长公共子序列题目链接：力扣（LeetCode）官网 - 全球极客挚爱的技术成长平台题目描述：给定两个字符串 text1 和 text2，返回这两个字符串的最长公共子序列的长度。如果不存在公共子序列 &#xff…...

编程日记 2023/8/23 0:26:48

宠物小程序开发攻略：五分钟教你打造宠物店小程序

随着互联网技术的发展和智能手机的普及，小程序成为了各行各业的新宠。宠物服务行业也不例外，宠物店通过搭建小程序，可以实现线上线下的结合，提供更便捷的服务和更优质的用户体验。那么，宠物服务小程序的制作流程是怎样…...

编程日记 2023/8/23 0:25:46

open suse 15.5(任意版本) 使用阿里云的repo

一、shell suse 的包管理工具叫 zypper. zypper addrepo -f http://mirrors.aliyun.com/opensuse/distribution/leap/15.5/repo/oss/ openSUSE-15.5-Oss zypper addrepo -f http://mirrors.aliyun.com/opensuse/distribution/leap/15.5/repo/non-oss/ openSUSE-15.5-Non-Oss …...

编程日记 2023/8/23 0:24:44

第一篇：编写 Hello World 程序

编写 Hello World 程序 Hello World 程序就是让应用程序显示 Hello World 字符串。这是最简单的应用，但却包含了一个应用程序的基本要素，所以一般使用它来演示程序的创建过程。本章要讲的就是在Qt Creator 中创建一个图形用户界面的项目，从而…...

编程日记 2023/8/23 0:23:42

python 打印沁园春雪居中对齐文本对齐

以下是python 中使用 DebugInfo 模块居中对齐打印《沁园春・雪》的效果引入模块 pip install DebugInfopython代码 # -*- coding:UTF-8 -*-# region 引入必要依赖 from DebugInfo.DebugInfo import * # endregion诗文沁园春雪作者: 毛主席北国风光，千里冰封…...

编程日记 2023/8/23 0:22:41

在 IDEA 中使用 Git开发图文教程

在 IDEA 中使用 Git开发图文教程一、连接远程仓库二、IDEA利用Git进行开发操作三、分支操作3.1 新建分支3.2 切换分支3.3 删除分支3.4 比较分支3.5 合并分支四、常用快捷键一、连接远程仓库一、打开IDEA，进入目录：File ->New ->Project from…...

编程日记 2023/8/23 0:21:40

NodeJs导出PDF

（优于别人，并不高贵，真正的高贵应该是优于过去的自己。——海明威） 场景根据订单参数生成账单PDF 结果示例代码 /* eslint-disable no-unused-vars */ /* eslint-disable no-undef */ /* eslint-disable complexity */ const…...

编程日记 2023/8/23 0:20:38

内核编译机制

inux内核的编译主要过程：配置、编译、安装。配置主要由Kconfig提供图形界面完成编译主要基于Kbuild编译系统，执行make完成编译安装主要也是基于Kbuild提供的脚本，然后执行make完成安装 Kconfig Kconfig用于内核的配置，mak…...

编程日记 2023/8/23 0:19:37

机器人TF坐标系变换与一些可视化工具的应用

TF坐标在ROS中是一个非常重要的概念，因为机器人在做日常操作任务的时候，对于其所在位置和朝向是需要时刻知道的，而机器人是由很多节点组成的协同任务，对于每个部件，我们需要知道它的位姿(位置和朝向)，这使得…...

编程日记 2023/8/23 0:18:37

c++ 友元运算符重载详解

友元 c是面向对象的，目的之一：封装封装： 优点之一，就是安全。缺点：在某些特殊的场合，不是很方便。华为与IBM 40亿的咨询故事 IBM需要对华为各级部门做深度咨询分析， 为了提高咨询效率&a…...

编程日记 2023/8/23 0:17:36

DataWhale 机器学习夏令营第三期

DataWhale 机器学习夏令营第二期学习记录一 (2023.08.18)1.赛题理解2.缺失值分析3. 简单特征提取4. 数据可视化离散变量离散变量分布分析 DataWhale 机器学习夏令营第三期 ——用户新增预测挑战赛学习记录一 (2023.08.18) 已跑通baseline，换为lightgbm基线&#…...

编程日记 2023/8/23 0:16:33

回归预测 | MATLAB实现BES-LSSVM秃鹰搜索算法优化最小二乘支持向量机多输入单输出回归预测（多指标，多图）

回归预测 | MATLAB实现BES-LSSVM秃鹰搜索算法优化最小二乘支持向量机多输入单输出回归预测（多指标，多图） 目录回归预测 | MATLAB实现BES-LSSVM秃鹰搜索算法优化最小二乘支持向量机多输入单输出回归预测（多指标，多图&a…...

编程日记 2023/8/23 0:15:32

python分析实战(4)--获取某音热榜

1. 分析需求打开某音热搜，选择需要获取的热榜如图查找包含热搜内容的接口返回如图将url地址保存 2. 开发定义请求头 headers {Cookie: 自己的cookie,Accept: application/json, text/plain, */*,Accept-Encoding: gzip, deflate,Host: www.douyin.com,…...

编程日记 2023/8/23 0:14:31

Java根据List集合中的一个字段对集合进行去重

利用HashSet 创建了一个HashSet用于存储唯一的字段值，并创建了一个新的列表uniqueList用于存储去重后的对象。遍历原始列表时，如果字段值未在HashSet中出现过，则将其添加到HashSet和uniqueList中。 List<Person> originalList new Ar…...

编程日记 2023/8/23 0:13:30

（AtCoder Beginner Contest 315）

A.直接模拟即可 import random import sys import os import math from collections import Counter, defaultdict, deque from functools import lru_cache, reduce from itertools import accumulate, combinations, permutations from heapq import nsmallest, nlargest, h…...

编程日记 2023/8/23 0:12:27

为啥争吵，吵什么？

具体现象是什么

进一步分析看看

是否有办法解决呢

最建议的方式

阿里云svc注解的方式

集群内访问 ExternalTrafficPolicy 策略有影响吗？

Kubernetes 1.24 IPVS的变化

相关文章：