在Kubernetes集群中，Pod間的網(wǎng)絡(luò)通信是實(shí)現(xiàn)微服務(wù)架構(gòu)的基礎(chǔ)。除了常見的CNI插件（如Calico、Flannel等）提供的Overlay或Underlay網(wǎng)絡(luò)模型外，基于路由模式的通信也是一種高效、簡潔的實(shí)現(xiàn)方式。它不依賴于封包/解包，性能損耗低，更貼近傳統(tǒng)網(wǎng)絡(luò)架構(gòu)，尤其適用于對網(wǎng)絡(luò)性能有較高要求或需要與物理網(wǎng)絡(luò)深度集成的場景。

一、 路由模式的核心思想

基于路由模式的Pod通信，其核心思想是：Kubernetes集群的每個(gè)節(jié)點(diǎn)（Node）都充當(dāng)一個(gè)路由器，節(jié)點(diǎn)上的網(wǎng)絡(luò)設(shè)備（通常是Linux內(nèi)核）負(fù)責(zé)維護(hù)到達(dá)集群內(nèi)所有Pod網(wǎng)段的路由規(guī)則。
當(dāng)一個(gè)Pod需要與另一個(gè)節(jié)點(diǎn)上的Pod通信時(shí)，數(shù)據(jù)包會(huì)通過節(jié)點(diǎn)的網(wǎng)絡(luò)棧，根據(jù)路由表被轉(zhuǎn)發(fā)到目標(biāo)Pod所在的節(jié)點(diǎn)，最終由目標(biāo)節(jié)點(diǎn)上的網(wǎng)絡(luò)棧（如網(wǎng)橋、veth pair）送達(dá)目標(biāo)Pod。

整個(gè)過程不涉及隧道封裝（如VXLAN、IPIP），數(shù)據(jù)包以原生IP包的形式在節(jié)點(diǎn)間傳遞。這就要求節(jié)點(diǎn)間的底層網(wǎng)絡(luò)（Underlay Network）必須是三層互通的，即每個(gè)節(jié)點(diǎn)都需要能夠通過IP地址直接相互訪問。

二、 關(guān)鍵組件與實(shí)現(xiàn)原理

1. Pod IP分配與網(wǎng)段規(guī)劃：

• 集群需要為每個(gè)節(jié)點(diǎn)分配一個(gè)或多個(gè)獨(dú)立的Pod IP地址段（CIDR）。例如，Node A使用 10.244.1.0/24，Node B使用 10.244.2.0/24。

• 每個(gè)Pod從容器的網(wǎng)絡(luò)命名空間中獲取一個(gè)屬于本節(jié)點(diǎn)網(wǎng)段的唯一IP地址。

1. 節(jié)點(diǎn)路由表配置：

• 這是路由模式的靈魂。每個(gè)節(jié)點(diǎn)都需要學(xué)習(xí)到集群內(nèi)其他所有節(jié)點(diǎn)的Pod網(wǎng)段路由。

• 以Node A為例，它的路由表中需要添加類似如下規(guī)則：

• 目標(biāo)網(wǎng)絡(luò)：10.244.2.0/24 -> 下一跳：<Node-B的IP地址>

• 目標(biāo)網(wǎng)絡(luò)：10.244.3.0/24 -> 下一跳：<Node-C的IP地址>

• 對于本節(jié)點(diǎn)的Pod網(wǎng)段（10.244.1.0/24），路由指向本地的網(wǎng)橋（如 cni0）。

3. 數(shù)據(jù)包流轉(zhuǎn)示例：
假設(shè)Pod A（IP: 10.244.1.2， 位于Node A）要訪問Pod B（IP: 10.244.2.3， 位于Node B）。

• 步驟1： Pod A發(fā)出的數(shù)據(jù)包，源IP為 10.244.1.2， 目標(biāo)IP為 10.244.2.3。

• 步驟2： 數(shù)據(jù)包通過veth pair離開Pod的網(wǎng)絡(luò)命名空間，進(jìn)入Node A的根命名空間，并到達(dá)網(wǎng)橋 cni0。

• 步驟3： Node A內(nèi)核查詢路由表，發(fā)現(xiàn)目標(biāo) 10.244.2.0/24 的下一跳是Node B的IP（例如 192.168.1.102）。

• 步驟4： 數(shù)據(jù)包被從Node A的物理網(wǎng)卡（如 eth0）發(fā)出，通過底層網(wǎng)絡(luò)直接路由到Node B的物理網(wǎng)卡。

• 步驟5： Node B收到數(shù)據(jù)包后，內(nèi)核查詢自己的路由表，發(fā)現(xiàn)目標(biāo) 10.244.2.3 屬于本機(jī)網(wǎng)段 10.244.2.0/24，下一跳指向本地網(wǎng)橋 cni0。

• 步驟6： 數(shù)據(jù)包通過網(wǎng)橋和veth pair，最終到達(dá)Pod B的容器內(nèi)。

• 回程報(bào)文遵循對稱路徑。

4. 路由信息分發(fā)：
如何讓每個(gè)節(jié)點(diǎn)都自動(dòng)獲知其他節(jié)點(diǎn)的Pod網(wǎng)段路由是關(guān)鍵。通常有以下幾種方式：

• 云提供商集成： 在AWS、GCP等云平臺(tái)上，可以與云網(wǎng)絡(luò)（如VPC路由表）集成，自動(dòng)創(chuàng)建和管理路由條目。

• 使用路由反射器： 部署B(yǎng)GP協(xié)議（如通過Calico的BGP功能或MetalLB），節(jié)點(diǎn)作為BGP Speaker，通過路由反射器交換Pod網(wǎng)段路由信息。

• 靜態(tài)配置： 在小規(guī)模或固定環(huán)境中，可以手動(dòng)配置，但缺乏擴(kuò)展性。

三、 優(yōu)缺點(diǎn)分析

優(yōu)點(diǎn)：
性能優(yōu)異： 無隧道封裝開銷，延遲低，吞吐量高，便于監(jiān)控和故障排查。
簡單透明： 網(wǎng)絡(luò)模型簡單，數(shù)據(jù)包在網(wǎng)絡(luò)設(shè)備上以原生IP可見，易于與現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施集成。
* 資源消耗少： 無需維護(hù)隧道接口和復(fù)雜的封包邏輯。

缺點(diǎn)：
對底層網(wǎng)絡(luò)要求高： 要求節(jié)點(diǎn)間三層IP可達(dá)，且需要能夠配置主機(jī)路由。在某些受限的網(wǎng)絡(luò)環(huán)境中（如某些公有云或托管K8s服務(wù)）可能無法實(shí)現(xiàn)。
Pod IP地址需要全網(wǎng)唯一： Pod的IP地址必須在整個(gè)集群底層網(wǎng)絡(luò)范圍內(nèi)唯一，且不能與外部網(wǎng)絡(luò)沖突。這要求良好的IP地址規(guī)劃。
* 規(guī)模限制： 當(dāng)集群節(jié)點(diǎn)數(shù)量巨大時(shí)，每個(gè)節(jié)點(diǎn)的路由表會(huì)非常龐大（包含所有其他節(jié)點(diǎn)的Pod CIDR），可能遇到路由表?xiàng)l目數(shù)限制，影響轉(zhuǎn)發(fā)性能。

四、 典型實(shí)現(xiàn)方案

• Calico的BGP模式： Calico默認(rèn)使用IPIP隧道，但可以配置為純BGP模式。在此模式下，Calico在每個(gè)節(jié)點(diǎn)上運(yùn)行BGP客戶端（bird），與集群內(nèi)的BGP路由反射器通信，動(dòng)態(tài)交換Pod CIDR路由，從而在節(jié)點(diǎn)上生成精確的宿主路由。
• Kube-router： 一個(gè)專為Kubernetes設(shè)計(jì)的網(wǎng)絡(luò)解決方案，它利用BGP在節(jié)點(diǎn)間分發(fā)路由，并集成了網(wǎng)絡(luò)策略和負(fù)載均衡功能，是路由模式的典型代表。
• 阿里云Terway的VPC路由模式： 在阿里云VPC環(huán)境中，Terway網(wǎng)絡(luò)插件可以利用VPC的路由表功能，將每個(gè)節(jié)點(diǎn)上的Pod子網(wǎng)路由發(fā)布到VPC路由表中，從而實(shí)現(xiàn)跨節(jié)點(diǎn)Pod的互通。

五、

Pod基于路由模式的通信，是一種回歸經(jīng)典網(wǎng)絡(luò)設(shè)計(jì)、追求高性能和可觀測性的Kubernetes網(wǎng)絡(luò)實(shí)現(xiàn)方案。它摒棄了Overlay網(wǎng)絡(luò)的復(fù)雜性，直接利用底層網(wǎng)絡(luò)的IP路由能力。這種模式非常適合部署在可控的私有云、數(shù)據(jù)中心或?qū)W(wǎng)絡(luò)性能有極致要求的場景。它的普適性受限于底層網(wǎng)絡(luò)架構(gòu)，在選擇時(shí)需要仔細(xì)評估現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施是否滿足其前提條件。隨著Kubernetes在混合云和邊緣計(jì)算場景的拓展，結(jié)合智能路由策略（如BGP ECMP），路由模式將繼續(xù)發(fā)揮其獨(dú)特價(jià)值。