网络验证 / 系统验证工程师
深度面试复习与问题集（v2 扩充版）

岗位画像与复习路线

把 JD 翻译成"能力模型"，再决定复习优先级。本岗位本质是 网络深度 × 验证工程 × 动手复现 的复合体。

如何使用本手册

• 第一部分（深度知识点）：每个主题给出"原理 + 关键参数/公式 + 易错点 + 验证视角"。建议配合动手（tcpdump、iperf3、ib_send_lat、容器 testbed）。
• 第二部分（面试题）：<details> 折叠，先自答再展开"参考答案要点"，标注 基础 / 进阶 / 场景 / 深究。
• 实战原则：该岗位偏"动手验证"，几乎必给场景题。把每个知识点都准备成"如何测试 / 如何复现 / 如何定位"的角度。

面试答题框架（先记这个，再填技术）

1. TCP/IP 协议栈（深度）

网络验证的基石。深度决定你能不能定位"为什么慢、为什么丢、为什么乱序、为什么连接建不起来"。

1.1 分层与封装

• OSI 七层 vs TCP/IP 四层：工程上以 TCP/IP 为主；常说"TCP 是传输层、IP 是网络层、Ethernet 是链路层"。
• 封装方向：应用数据 → TCP 段（加端口/序列号）→ IP 包（加源/目的 IP）→ Ethernet 帧（加 MAC/FCS）；每降一层加头，接收端逐层解封装。
• TCP 段头关键字段：源/目的端口(16b)、序列号(32b)、确认号(32b)、标志位(SYN/ACK/FIN/RST/PSH/URG)、窗口(16b，可经窗口缩放扩到 1GB)、紧急指针、选项(20–60B，含 MSS/窗口缩放/SACK/时间戳)。

1.2 连接管理状态机

• 三次握手：CLOSED→SYN_SENT(SYN)→SYN_RCVD(SYN+ACK)→ESTABLISHED(ACK)。建立双向 ISN 与窗口。
• 四次挥手：ESTABLISHED→FIN_WAIT_1(FIN)→FIN_WAIT_2(ACK)→TIME_WAIT(收 FIN 后发 ACK，等 2×MSL)→CLOSED；对端 LAST_ACK→CLOSED。
• 深究 为什么三次不是两次：防止"已失效的连接请求"被服务器接受而浪费资源；同时确认双向收发能力。
• 深究 TIME_WAIT：主动关闭方停留 2×MSL（Linux 默认 MSL=60s，实际 net.ipv4.tcp_fin_timeout 控制 FIN_WAIT 超时）。作用：① 保证最后 ACK 到达（否则对端重发 FIN）；② 让旧报文过期，避免新连接（同四元组）误收。短连接风暴时 TIME_WAIT 占满端口 → 用 tcp_tw_reuse（客户端安全）、连接池/长连接缓解。
• 深究 同时打开/关闭、SYN Flood（半连接队列 tcp_max_syn_backlog 溢出；防御：SYN Cookie）、RST 立即断连（用于端口不可达、半打开连接探测）。

1.3 可靠传输机制

• 序列号 + 累计确认：确认号 = 期望收到的下一个字节序号。
• RTO（重传超时）：基于平滑 RTT（SRTT）与 RTT 方差（RTTVAR）计算，RFC 6298：RTO = SRTT + max(G, 4×RTTVAR)，下限通常 200ms 上限 120s。RTO 过大拖慢恢复，过小导致伪重传。
• 快速重传：收到 3 个重复 ACK（DupACK）→ 立即重传丢失段，不等待 RTO。
• SACK（Selective ACK，RFC 2018）：通过 TCP 选项报告已收到的非连续数据块 [left:right)，发送方只重传真正缺失的段，避免"重传已收到的数据"造成吞吐崩塌。配合 D-SACK 可检测伪重传/重排。
• 重排与伪重传：乱序会触发 DupACK，可能误触发重传；TS 选项可区分重传与重排。

1.4 流量控制 vs 拥塞控制

1.5 TCP 拥塞算法（与第 8 章呼应）

1.6 MTU / MSS / 分片 / PMTUD

• MSS = MTU − 20(IP) − 20(TCP)；握手时通过选项协商。Linux 默认 tcp_base_mss ~512，路径 MSS 探测会下调。
• PMTUD（RFC 1191/8201）：发送 DF=1 的大包，中间若 MTU 不够则回 ICMP "Fragmentation Needed"，源端据此减小（黑洞问题：ICMP 被防火墙挡 → 大包静默丢）。
• PLPMTUD（RFC 4821）：不依赖 ICMP，用探测包逐步试，更安全（NAT/防火墙友好）。
• IPv6 禁止中间分片，强制源端 PMTUD；UDP over IPv6 校验和必须开启。
• MSS Clamping：在 PPPoE/VPN 场景由中间设备改写 TCP MSS 选项，避免 PMTUD 失败导致的大包问题。

1.7 地址、子网与邻居

• CIDR/子网：/24 = 256 地址（可用 254），/26=64(62)；借位计算网络号/广播/可用数。验证常出"给定两个 IP 是否同子网"或"规划 VLAN 网段"。
• ARP（IPv4）：广播请求→单播应答，免费 ARP 用于冲突检测/主备切换刷新；NDP（IPv6）还含邻居不可达检测（NUD）与无状态地址自动配置（SLAAC）。
• ARP 表老化（Linux 默认 ~60–120s）、代理 ARP、ARP 泛洪/欺骗缓解（DAI、静态绑定）。
• QUIC 一提：基于 UDP 的多路复用传输，内置加密与 0-RTT，规避 TCP 队头阻塞——是"UDP 之上重建可靠传输"的代表，理解其动机有助于理解为什么 RoCE 也选 UDP 承载。

2. Ethernet 以太网（深度）

芯片/驱动/线缆层验证绕不开以太网。重点在帧结构、编码、FEC、速率、流控与 offload。

2.1 帧结构与时序

• 前导码(7B, 10101010) + SFD(1B, 10101011) + 目的MAC(6) + 源MAC(6) + 类型/长度(2) + 数据(46–1500) + FCS(4, CRC32)。
• IFG（帧间隙） 12B、前导 8B 计入线路开销；因此"线速"实际效率 = 数据 / (数据+20B 开销+帧间隙)。小包效率低（64B 帧仅 ~64/(64+20)≈76%）。
• 最小帧 64B（含 FCS）保证 CSMA/CD 冲突检测（现代全双工已不需，但最小帧仍保留）；不足则填充。
• 类型字段：0x0800=IPv4，0x0806=ARP，0x86DD=IPv6，0x8100=VLAN，0x8847=MPLS，0x8915=RoCEv1，0x0800+UDP/4791=RoCEv2。

2.2 速率、编码与 FEC

• SerDes 与编码：64b/66b 把 64 位数据块加 2 位同步头；PAM4（4 电平）在 200G+ 用，带宽翻倍但 SNR 要求更高。
• FEC（前向纠错）：光模块/芯片对信号误码做纠正。RS-FEC（Reed-Solomon，如 RS(528,514)、RS(544,514)）比 FC-FEC 纠错更强、延迟略高；对长距/高速链路必需。验证关注：误码率（BER）、FEC 纠正计数（ethtool -S 的 fec_corrected/fec_uncorrectable）。
• 线缆：DAC（直连铜，短距廉价）、AOC（有源光）、光模块（SR 短距多模 / LR 长距单模）；注意兼容性、功率、温区。

2.3 自协商、双工与统计

• 自协商（Clause 28/73）：两端协商速率/双工/流控能力；一端固定一端自适应 → 双工不匹配 → 高吞吐时冲突/late collision/CRC 错误飙升（经典故障）。
• 关键计数：FCS errors（帧校验失败，物理层/双工问题）、align errors、symbol errors、rx_missed/dropped（缓冲/CPU 跟不上）、pause frames tx/rx（流控触发）。
• 1588 PTP：精确时间同步（硬件时间戳），对金融/工业/某些同步场景必需；验证关注时钟精度、sync 报文路径延迟。
• MACsec（802.1AE）：链路层加密，可选考点。

2.4 流控（与无损网络强相关）

• 802.3x 全局 PAUSE：发 PAUSE 帧（含暂停时长，单位 512bit 时间）让对端整端口停发 → 头阻塞，多优先级场景不适用。
• PFC（802.1Qbb）：8 个优先级独立暂停，实现"按优先级无损"——RoCEv2 基石（第 8 章）。
• PAUSE 风暴/死锁风险：多级暂停级联、循环依赖 → 需看门狗与死锁检测。

网卡 Offload（性能验证必会）

• TSO/LSO（发送大段分片卸载）、LRO/GRO（接收合并）、UFO（UDP 分片卸载）。
• Checksum offload、RSS（多队列哈希）、RPS/RFS/XPS（软件队列亲和）。
• 验证坑：抓包看到"巨包"可能是 GRO 合并，不代表真实线上行为；offload 不一致两端会导致性能差。用 ethtool -k 查看/开关。
• 中断聚合（interrupt moderation）：ethtool -C 调 rx-usecs/tx-usecs，平衡延迟与 CPU；RDMA 常用 adaptive moderation。

3. VLAN 与 L2 交换（深度）

二层交换、隔离、防环与聚合是设备验证的高频考点。

• 802.1Q tag：TPID(0x8100) + PRI(3b, CoS 0–7) + CFI(1b) + VID(12b, 0–4095；0/4095 保留、1 默认)。
• 端口类型：Access（单 VLAN，去标签）、Trunk（多 VLAN 带标签，有 Native VLAN）、Hybrid（华为：可逐 VLAN 指定 tagged/untagged）。
• MAC 学习：基于源 MAC + 入端口建表（有老化，默认 300s）；未知单播/广播/组播泛洪；CAM/TCAM 表项容量是规模测试点。

3.1 生成树（防环）

• 选举：Bridge ID（优先级+MAC）最小为 Root；到 Root 开销最小为 Root Port；每段 Designated Port 转发。
• BPDU Guard/Root Guard/Loop Guard：防非法交换机/环路。

3.2 链路聚合 LACP

• 802.3ad LACP：active/passive 模式，LACPDU 协商；聚合口逻辑成一条。
• 哈希选口（src/dst MAC、IP、L4 端口组合）——单流不会超过单链路带宽；验证点：哈希均匀度、故障切换（failover）时间、跨框 MLAG。
• MLAG / MC-LAG / vPC：跨两台交换机做同一聚合，实现双活上行、消除 STP 阻塞，是数据中心接入常用（与 STP 互斥思路）。

3.3 VXLAN 与 EVPN（overlay 大二层）

• VXLAN：MAC-in-UDP（目的端口 4789），24bit VNI（1600 万），外层 IP=VTEP 地址；解决 VLAN 数量限制与跨子网二层延伸。
• VTEP：隧道端点（常在 Leaf 或 DPU/智能网卡）；BUM（广播/未知单播/组播）流量靠头端复制（HER）或 underlay 组播。
• EVPN 控制面（RFC 7432 / 8365）：用 BGP 多协议扩展分发可达性，替代泛洪学习：
  • Type-2（MAC/IP 通告，含 /32 IP 路由）、Type-3（Inclusive Multicast，BUM 复制）、Type-5（IP 前缀，外部/租户路由）、Type-1（EVI/ES 自动发现，用于多归属）。
  • 多归属（Multi-homing）/ ESI：一台 host 双上联两台 Leaf，EVPN 通过 ESI 实现全活与快速收敛（类似 MLAG 的控制面方案）。
• Anycast VTEP / Anycast Gateway：分布式网关，任意 Leaf 都能做默认网关，优化东西向。

4. L3 路由与交换（深度）

4.1 转发决策与表结构

• 最长前缀匹配（LPM）：路由查表选匹配前缀最长者；底层常是 trie/树或 TCAM（交换机硬件）。
• 路由来源优先级（AD）：直连(0) > 静态(1) > eBGP(20) > OSPF(110) > IS-IS(115) > RIP(120) > iBGP(200)。同协议比 metric/cost。
• CEF/FIB：控制面 RIB 算出后下发转发面 FIB，硬件查表线速转发。

4.2 OSPF / IS-IS

• OSPF：链路状态，域内 SPF（Dijkstra）；area 0 为骨干，ABR 汇总；LSA 类型（1 Router、2 Network、3 Summary、4 ASBR、5 External、7 NSSA）；cost = 100Mbps/带宽。
• IS-IS：链路状态，用 CLNS 寻址（不依赖 IP），TLV 扩展性强，运营商/超大规模 DC 常用；Level-1/Level-2 分层。
• 收敛优化：BFD（毫秒级故障检测，见下）、SPF 节流、增量 SPF（iSPF）、部分路由计算（PRC）。

4.3 BGP 深究

• 路径矢量：用 AS_PATH 防环、表达路径；eBGP（跨 AS，TTL=1 默认）、iBGP（同 AS，next-hop 默认不变需 next-hop-self，要求全互联或用 RR/联盟）。
• 选路规则（记忆前几条）：最高 LOCAL_PREF → 最短 AS_PATH → 最低 Origin → 最低 MED → eBGP>iBGP → 最低 IGP metric → 最小 Router-ID。LOCAL_PREF 影响出 AS 方向，MED 影响进邻居 AS。
• Route Reflector：替代全互联，RR 反射路由（含 Cluster-ID 防环）；Add-Path 可发多条等价路径（配合 ECMP）。
• Community：BGP 团体属性做策略标记（如 NO_EXPORT、黑洞）；BGP unnumbered：用 IPv6 link-local 建邻居，简化 IP Fabric 配置。

4.4 ECMP、BFD、VRF、GRE、SR

• ECMP：等代价多路径，哈希选路（L3/L4）；局限：单流不叠加、哈希极化、大象流碰撞；优化：多路径一致性哈希、flowlet switching、自适应路由（NVIDIA 在 IB/RoCE 上支持）。
• BFD：双向转发检测，毫秒级（如 3×100ms=300ms 或更短）发现链路/邻居故障，与 BGP/OSPF 联动快速收敛。
• VRF / VRF-lite：虚拟路由转发实例，实现租户/业务路由隔离（数据中心 L3 VPN 基础）。
• GRE / 隧道：通用封装，常做 overlay 或 IPv6 over IPv4；注意 MTU（再减 24B 头）。
• Segment Routing（SRv6 / SR-MPLS）：源路由，用 segment list 指定路径，简化 TE 与 SFC；数据中心/运营商趋势（加分了解）。
• Graceful Restart / NSR/NSF：控制面重启不丢转发，HA 关键。

5. 数据中心网络架构（深度）

5.1 三层架构 vs Spine-Leaf（CLOS）

• 传统三层：Core—Aggregation(Dist)—Access；oversubscription 高、东西向绕远、扩展差。
• Spine-Leaf（Clos 胖树）：Leaf 接服务器、Spine 全互联；任意两点≤3 跳；任意 Leaf 间带宽一致；无阻塞或可控 oversubscription；天然 ECMP 与水平扩展。
• 带宽数学：若每 Leaf 上联 N 条 × 速率 r，下联服务器总带宽应 ≤ N×r 以保无阻塞；常见 oversubscription 20:1 / 10:1 / 3:1 / 1:1（无阻塞）。
• 角色：ToR（Top-of-Rack） 每机柜一台；Spine 纯转发；EOR（End-of-Row）集中式。现代大集群常 3-stage 或 5-stage（超大规模）。

5.2 IP Fabric + EVPN-VXLAN

• Underlay：三层 IP Fabric，eBGP/OSPF + ECMP（常 BGP unnumbered），提供任意 Leaf 可达。
• Overlay：VXLAN 大二层；EVPN 控制面分发 MAC/IP（Type-2）、BUM（Type-3）、外部路由（Type-5）。
• 分布式 Anycast Gateway：每个 Leaf 配同一任意播 IP 作默认网关，优化东西向、避免集中网关瓶颈。
• 开源/白盒：SONiC（微软开源网络 OS，大量云厂商采用）、Cumulus、Stratum；验证常涉及 SONiC 行为。

5.3 无损数据中心

• AI/存储要"零丢包"，靠 PFC + ECN + ETS + DCQCN（第 8 章）。在 Ethernet 跑 RoCE 需整链路无损。
• 验证重点：PFC 阈值/headroom 设置、ECN 标记点、CNP 回流、PFC 风暴/死锁防护、incast 表现。

6. Linux 网络与系统（深度）

6.1 收发包路径（内核栈）

• 收包：NIC DMA → ring buffer → NAPI（中断+轮询混合，poll 批量收）→ GRO 合并 → IP/TCP 处理 → socket 缓冲 → 应用 recv。
• 发包：应用 send → socket 缓冲 → TCP 分段（TSO）→ 驱动 → NIC DMA → 线路。
• sk_buff（skb）：核心报文结构体；零拷贝（sendfile/MSG_ZEROCOPY）、busy_poll/busy_read 降低延迟（但耗 CPU）。

6.2 多队列与亲和

• RSS：网卡用 Toeplitz 哈希把不同流分到不同收队列（与 CPU 绑定）→ 并行、避免单核瓶颈。
• RPS/RFS/XPS：内核软件实现类似效果；RFS 还做流→应用 CPU 亲和以降低缓存 miss 与延迟；XPS 绑发送队列到 CPU。
• 中断绑核：/proc/irq/<n>/smp_affinity 或 irqbalance；软中断在 /proc/softirqs。单核 softirq 打满是常见 PPS 瓶颈。

6.3 内核参数调优（sysctl，附典型值）

# 套接字缓冲（高 BDP 需调大）
net.core.rmem_max = 16777216        # 16MB 上限
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216   # min default max
net.ipv4.tcp_wmem = 4096 65536 16777216
# 拥塞与重传
net.ipv4.tcp_congestion_control = cubic   # 或 bbr
net.ipv4.tcp_sack = 1
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_retries2 = 8                  # 决定超时（指数退避后）
net.ipv4.tcp_slow_start_after_idle = 0     # 长连接保持 cwnd
# 连接
net.core.somaxconn = 4096
net.ipv4.tcp_tw_reuse = 1                  # 客户端 TIME_WAIT 复用
net.netfilter.nf_conntrack_max = 1000000   # 连接跟踪表
# 队列
net.core.netdev_max_backlog = 10000
net.core.netdev_budget = 600

6.4 工具链（按场景）

6.5 网络命名空间与虚拟设备

• ip netns：隔离网络栈，模拟多主机/多租户；veth pair 跨 ns 桥接；bridge/OVS 做软桥。
• macvlan/ipvlan：一物理网卡虚多 MAC/IP；vlan subinterface（eth0.100）做 802.1Q。
• Linux VRF：ip vrf 实现路由隔离（等同交换机 VRF），测试多租户常用。

6.6 iptables / nftables / conntrack

• 表：filter（INPUT/FORWARD/OUTPUT）、nat（PREROUTING/POSTROUTING）、mangle（改 TOS/标记）。
• conntrack：NAT/状态防火墙核心；表满 → 新连接被丢（nf_conntrack_max / conntrack -S）。
• nftables：新一代统一框架，规则集更高效；K8s kube-proxy 早期 iptables、现多用 IPVS（哈希表，大规模性能好）。

6.7 eBPF / XDP（趋势加分）

• eBPF：内核内可编程，做可观测（bpftrace/bcc）、网络策略（Cilium）、负载均衡，无需改内核。
• XDP：驱动层（NIC 收包最早）运行 eBPF，可做高速丢包/负载均衡/DDOS 防护，接近 DPDK 性能但更灵活。
• DPDK：用户态轮询、绕过内核协议栈，用于高性能软交换/NFV（OVS-DPDK）。

7. RDMA / InfiniBand / RoCE（深度）

本岗位最大差异化考点，也是"stand out"第一项。务必吃透原理、传输类型、无损依赖与调优。

7.1 原理与价值

• RDMA = 远程直接内存访问：NIC 直接读写远端应用内存，绕过内核、绕过 CPU；延迟亚微秒~1µs 级，CPU 占用近零，可跑满 100/200/400G。
• 对比传统 TCP socket：省内核拷贝、上下文切换、协议栈处理 → 低延迟/高吞吐/低 CPU。

7.2 三种 RDMA 传输

7.3 InfiniBand 架构要素

• Subnet Manager (SM)：IB 必备，负责 LID 分配、路由计算（min-hop/UPDN/fat-tree/adaptive）、分区（PKey）、多播；OpenSM 常见。
• LID/GID/SL/VL：LID 本地标识、GID 全局（含 GID Index 区分 RoCE v1/v2/IPv6）、SL 服务等级→VL 虚拟通道（避免头阻塞）。
• Fat-tree / Adaptive Routing：IB 交换机支持基于拥塞的 adaptive routing，缓解 incast 与哈希不均。

7.4 Verbs 核心对象与语义

• WR / SGE / doorbell：Work Request 含 scatter-gather 列表；门铃（doorbell）通知 NIC 取 WR。
• RDMA CM：连接管理（类比 socket connect/accept），协商 GID/QP；也可基于 UDP 自建。
• Atomic：Compare-and-Swap / Fetch-and-Add，分布式同步原语。

7.5 GPUDirect 与上层库

• GPUDirect RDMA (GDR)：GPU 显存经 PCIe P2P 直接给 NIC DMA，绕过 CPU 与系统内存 → GPU 间通信零拷贝。
• GPUDirect Storage：存储直接到 GPU 显存。
• UCX：统一通信框架，自动选最快路径（NVLink/IB/RoCE/shared mem）；MPI（OpenMPI/Intel MPI）与 NCCL 底层常用 verbs/UCX。

7.6 性能基准（命令深）

# 延迟（小消息，µs）
ib_send_lat / ib_write_lat / ib_read_lat -d mlx5_0 -F -s 64
# 带宽（大消息，Gb/s），可多 QP/多端口
ib_write_bw -d mlx5_0 -F --report_gbits -q 8 -p 1,2,3,4
# 双向 / 多流
ib_send_bw -d mlx5_0 -F -b            # bidirectional
# 状态与计数器
ibstat ; ibstatus ; ibv_devinfo -d mlx5_0
perfquery -x                        # 扩展端口计数器（符号错、RNR、丢包）
dmesg | grep mlx                     # 驱动/固件日志

8. 拥塞控制与性能调优（深度）

8.1 TCP 拥塞控制（机制与公式）

• 慢启动：cwnd 从 initcwnd（Linux 默认 10 段）起，每收到 ACK 加 1（实际按 ACK 数），指数增，直到 ssthresh。
• 拥塞避免：每 RTT 加 1 段（线性）。丢包（DupACK）→ ssthresh=cwnd/2，cwnd 重置（Reno）/ 进入快速恢复（CUBIC）。
• CUBIC：cwnd 随距上次最大 cwnd 的时间呈凹函数增长，公平性/高 BDP 好；BBR：测 BtlBw 与 RTprop，按 1×BDP 发送，ProbeBW/ProbeRTT 周期探测，不依赖丢包信号（高损链路更稳，但可能抢占 buffer → 与 CUBIC 混跑需调权重）。
• AQM：RED/WRED/CoDel/FQ_Codel 主动在队列溢出前丢/标记，防 bufferbloat。

8.2 以太网无损三件套（深）

8.3 DCQCN（RoCEv2 端到端拥塞控制，深）

• 闭环：交换机 ECN 标记 → 接收端生成 CNP（Congestion Notification Packet） 回发送端 → 发送端对某 QP 降速。
• 发送端状态机：rate 在 [min, max] 间；收到 CNP → 按 rate = rate × (1 - α/2)（α 为拥塞强度，指数加权移动平均 EWMA）；周期性 rate += β × rt 加法增、超时乘法探测。
• 参数调优：CNP 发送间隔（防 CNP 风暴）、α 增益、DCQCN 目标速率、NP 定时器；厂商文档常给推荐值（如 Mellanox 的 recommended DCQCN profile）。

8.4 其他 RDMA 拥塞算法（加分）

• TIMELY：基于 RTT 变化（RTT 增大=拥塞）降速，不依赖 ECN，对延迟敏感。
• HPCC（High Precision Congestion Control）：利用 INT（In-band Network Telemetry）获取精确链路负载，精准调速，收敛快、公平好。

8.5 典型问题与调优

• 微突发（microburst）：毫秒级尖峰超缓冲 → 即使平均不拥塞也丢包；靠大/智能缓冲、PFC、ECN、突发吸收。
• PFC 死锁/活锁：多优先级循环等待；需死锁检测/定时释放、优先级依赖图设计。
• 参数组合：PFC xoff/xon 阈值、ECN 标记阈值（start/stop）、CNP 频率、DCQCN α、QP 数、中断聚合、buffer 分配。
• 验证思路：用流量发生器制造 incast，对比启用前/后吞吐稳定性与尾延迟；确认 CNP 是否回流、暂停帧是否对称。

9. AI 工作负载网络（深度）

9.1 分布式训练范式

• 数据并行（DP）：每卡完整模型、不同数据分片，梯度 AllReduce 同步——通信量 = 模型大小。
• 模型并行 / 张量并行（TP）：单层切多卡，激活值需通信（forward/backward 内嵌通信）。
• 流水线并行（PP）：模型按层切到不同设备，micro-batch 流水，通信在阶段边界。
• ZeRO（DeepSpeed）：优化器状态/梯度/参数分片，降显存；ZeRO-3 通信量更大。
• MoE（专家混合）：路由专家分布在多卡 → 大量 All-to-All 通信（对网络拓扑极敏感）。

9.2 集合通信算法

• Ring AllReduce：每节点只与两邻居传 2(N-1)/N 数据，带宽最优，延迟随 N 线性增。
• Tree AllReduce：分治聚合，延迟 log 级、对延迟敏感；需多端口/多树。
• NCCL：NVIDIA 集合通信库，自动拓扑检测（NVLink 机内优先、再网络），选 ring/tree/collNet，支持多 channel 并行。

9.3 互联带宽与拓扑

• NVLink / NVSwitch：机内 GPU 高速互联（NVLink 4 ~900GB/s 双向、NVSwitch 全互联）；NCCL 优先走 NVLink。
• InfiniBand：HDR(200G)/NDR(400G)/XDR(800G) 代际；RoCE 基于以太网（需无损）。
• Fat-tree / Rail-optimized：让任意 GPU 对带宽一致，避免 straggler；rail 优化使 all-to-all 留在高性能轨道内。
• 网络即"扩展的 NVLink"：机间带宽/延迟直接决定多机扩展效率。

9.4 流量特征与影响

• 大象流：训练集合通信的大带宽持久流；老鼠流：存储/管控小突发。ECMP 哈希可能撞流 → 需 fat-tree 均衡 / 自适应路由 / 拥塞感知。
• 通信-计算重叠：NCCL 用 CUDA streams 重叠，隐藏通信；网络慢则 bubble 增大。
• 量化影响：集体通信常占训练 10%–40%；网络差 → GPU 空等 → 利用率降。指标：通信时间占比、迭代时间、强/弱扩展线性度。

10. HPC 与基准测试（深度）

• MPI：并行程序标准；OpenMPI/MPICH/Intel MPI；底层常用 IB/RoCE 提供低延迟。集合通信（Barrier/Bcast/Allreduce/Alltoall）与 P2P。
• 基准工具：
  • OSU Micro Benchmarks (OMB)：osu_latency/osu_bibw/osu_allreduce，最常用 micro-bench。
  • perftest（ib_*）：RDMA 专用延迟/带宽。
  • iperf3 / netperf：TCP/UDP 通用。
  • HPL / LINPACK：浮点峰值（配合 MPI，测整体算力）；HPCG 测访存受限性能。
  • NCCL-tests：all_reduce_perf / all_gather_perf 等，针对 GPU 集合通信。
• 扩展性与 roofline：强扩展（问题规模固定、加节点，理想加速比=节点数）、弱扩展（每节点规模固定、加节点，性能应不变）。Roofline 模型（计算强度 vs 算力/带宽上限）定位瓶颈在算力还是带宽。
• IB Fabric 调优：OpenSM 路由算法（min-hop/UPDN/fat-tree/adaptive）、分区 PKey、多播；自适应路由缓解 incast。
• 调度：Slurm/PBS 作业调度，节点亲和、GPU/网络拓扑感知分配（拓扑感知调度减少跨交换机流量）。
• 关键指标：延迟(µs)、带宽(Gb/s)、消息速率(PPS)、集合通信时间、可扩展性、效率(%)。

11. 虚拟化与容器（深度）

11.1 KVM / QEMU / SR-IOV

• KVM：内核模块硬件辅助虚拟化；QEMU 设备模拟；virtio 半虚拟化网卡（split/packed ring）。
• SR-IOV：物理网卡切 PF（管理）+ 多 VF（直接 passthrough 给 VM，经 IOMMU/VT-d）→ 近裸金属性能，是 RDMA/低延迟 VM 关键；需 VF 驱动、信任 VF、速率限制。
• vhost-net / vhost-user：内核/用户态处理 virtio 后端，OVS-DPDK 属 vhost-user，性能高。

11.2 虚拟交换与网络虚拟化

• Linux bridge / OVS：宿主机内 VM 互通、VLAN、隧道；OVS 有 kernel datapath 与 userspace(DPDK) datapath。
• VXLAN / Geneve：overlay 大二层；硬件 offload（如智能网卡将 VXLAN 封装卸载到 NIC）。
• DPDK：用户态轮询网卡、绕过内核，NFV/高性能软交换。

11.3 容器与 Kubernetes 网络（深）

• 容器隔离：Linux namespace（net/pid/mnt 等）+ cgroups；veth pair 连容器与宿主 bridge。
• CNI：容器网络接口，插件负责 Pod IP 与连通（Calico/BGP 或 overlay、Flannel/VXLAN、Cilium/eBPF、Weave）。
• Pod 网络模型：每 Pod 独立 IP、跨节点互通、Service 虚拟 IP、外部可达；kube-proxy 用 iptables 或 IPVS（哈希，大规模优）做 Service DNAT 与负载均衡。
• NetworkPolicy：微隔离（默认全通，需 CNI 支持）。
• Cilium / eBPF：高性能、可观测、L3-L7 策略，趋势。
• RDMA/SR-IOV in K8s：Device Plugin 暴露 VF/GPU；Multus 多网卡（管理网 + RDMA 网）；RDMA 设备插件（如 k8s-rdma-device-plugin）。

12. 测试方法论（深度）

12.1 测试类型全景

• 功能（Functional）：特性按规格；正向/负向/边界/一致性/互操作（多厂商）。覆盖协议一致性（如 RFC 符合度）。
• 回归（Regression）：变更后旧功能不被破坏；需基线 + 自动化 + 门禁；每次 bug 沉淀为回归用例。
• 性能（Performance）：吞吐、延迟、PPS、抖动、CPU；看重分位数 P99/P99.9 与稳定性（无抖动/无退化）。
• 规模化（Scale）：MAC/ARP/路由表项、会话数、VLAN/VNI、节点数、流数上限与拐点（性能衰减曲线）。
• 其他：压力/soak（长时间）、HA/failover（链路/电源/进程 down）、故障注入、一致性（状态机）、互操作。

12.2 标准化测试基准（RFC）

12.3 测试设计工程

• 用例设计技术：等价类划分、边界值分析（如 MTU 边界 1500/1501、表项满/超）、决策表、状态转换（协议状态机）。
• 测试计划模板：目标 / 范围 / 拓扑 / 通过判据 / 环境 / 风险 / 进度。通过判据必须量化（如"100G 线速零丢包、P99<X µs、扩展线性度>90%"）。
• 可追溯性矩阵：需求 ↔ 用例 ↔ 结果，证明覆盖。
• 覆盖率：功能覆盖、代码/路径覆盖（白盒）、协议状态覆盖。

12.4 自动化架构

• 框架：pytest（灵活、Python 主流）、Robot Framework（关键字驱动，网络测试常见）、unittest。
• 设备控制：SSH / Netconf / REST / gNMI(gRPC) / 厂商 SDK/CLI。
• 流量发生器：TRex（stateful/stateless、可重放 pcap）、pktgen（内核高 PPS）、Scapy（任意报文构造）、iperf3。
• CI/CD：把回归套件接入流水线（门禁拦截）；报告（HTML/Allure）；失败自动归档抓包/日志。
• 测试床即代码（testbed-as-code）：Ansible/拓扑描述驱动重建，保证可重现。

13. 故障排查与 RCA（深度）

13.1 结构化方法论

• 分层定位：物理→链路→网络→传输→应用；或二分法（一半链路、一半节点）缩小范围。
• 关键提问：不通还是慢？持续还是间歇？单流还是所有流？单向还是双向？新出现还是一直？
• 假设—验证循环：提假设 → 设计最小复现 → 收集证据（计数器/抓包/日志）→ 证伪/证实。

13.2 工具链（按症状）

13.3 抓包分析流程

• 两端同时抓（tcpdump -i any -w），比对"发出 vs 收到"，定位丢在哪一段。
• 查握手（SYN 是否回）、重传（DupACK/Retransmission）、乱序、窗口零、RST 原因。
• Wireshark：IO Graph 看吞吐、往返时间图、专家信息（Expert Info）汇总异常。

13.4 RCA 框架与事后复盘

• 5 Whys：连续追问逼近根因；鱼骨图：人/机/料/法/环分类假设；故障树（FTA）：自上而下逻辑分解。
• 时延分解：把端到端延迟拆为处理/排队/传输/传播，定位大头。
• 无责复盘（Blameless Postmortem）：记录时间线、影响、根因、行动项（含永久防护：回归用例 + 监控告警）。
• 混沌工程：主动注入故障验证韧性（见第 16 章）。

14. 测试床搭建（深度）

• 拓扑建模：据客户规模选 Spine-Leaf 层数、端口数、oversubscription 比；保留"故障注入点"（断链/拔线/power cycle/进程 kill）。
• 客户环境仿真：命名空间/VM/容器模拟多租户；流量发生器模拟生产混合（大象+老鼠、南北+东西）；按比例缩放（scale-down）保持"相对关系"而非绝对规模。
• 流量建模：用生产 pcap 回放（TRex）或流量画像（流大小分布、协议比）；注意保真度。
• 可重现：Ansible/拓扑即代码统一下发，testbed-as-code；版本化配置与固件。
• 可观测：集中日志、遥测（gNMI Streaming Telemetry）、流量可视化。
• 混合仿真：物理设备 + 仿真器（GNS3/containerlab/网络 OS 容器）扩展规模或加速迭代。

15. 可观测性与遥测（新增）

现代验证与运维离不开数据驱动；这是"分析并优化性能"的落地手段。

• SNMP：传统轮询（MIB），粗粒度、慢，逐渐被替代。
• gNMI / gRPC：现代模型驱动遥测（YANG 模型），支持 Streaming Telemetry（订阅推送，秒/亚秒级），比 SNMP 实时。
• INT（In-band Network Telemetry）：交换机在数据面注入路径/队列/延迟信息，支撑 HPCC 等精确拥塞控制与故障定位。
• Streaming vs polling：流式主动推送减少轮询开销，适合高频率性能监控。
• 关键遥测指标：端口字节/包/丢/错、队列深度、PFC 暂停计数、ECN 标记、缓冲占用、ECMP 分布、流级延迟（eBPF）。
• 可视化/告警：Prometheus + Grafana、Elastic；基线 + 异常检测；把关键指标接告警（P99 超阈、丢包突增、PFC 风暴）。

16. 故障注入与混沌工程（新增）

验证"系统质量"不仅要测 happy path，更要测韧性。

• 故障注入类型：链路 down/up、端口错包注入、延迟/丢包（tc netem）、CPU/内存压测、进程 kill、电源循环、配置错误、时钟偏移（NTP）、固件/软件升级回滚。
• 工具：tc netem（延迟/丢包/抖动/乱序）、iptables 丢包、chaos-mesh（K8s 混沌）、自研故障脚本。
• 韧性指标：故障检测时间、收敛/切换时间（failover）、数据面中断时长、是否零/低丢包、恢复后是否回到基线性状。
• 混沌实验原则：先小范围、有稳态假设（steady state）、自动终止（blast radius 可控）、可回滚。
• 与验证结合：在性能压测中并发注入故障，验证"降级是否平滑、是否雪崩、恢复是否自动"。

网络基础题

RDMA / 无损网络题

Linux / 排错题

数据中心 / 架构题

AI / HPC 场景题

测试 / 自动化题

编程 / 脚本题

行为与综合题

附 · 速查表 & 工具清单

常用命令速查

# 连通性 / 路径
ping -s 1472 -M do <host>          # MTU 探测（1472+28=1500）
mtr -n <host> ; traceroute <host>
# 连接 / 协议栈
ss -tunap ; ss -ti ; netstat -s | grep -i retrans
# 抓包
tcpdump -i eth0 -nn -w cap.pcap 'tcp port 80'
tcpdump -i eth0 'icmp or arp'
# 网卡
ethtool -S eth0 | grep -Ei 'err|drop|pause' ; ethtool -k eth0 ; ethtool -l eth0 ; ethtool -C eth0
# 路由 / 邻居 / 命名空间
ip -s link ; ip route ; ip neigh ; ip netns ; ip vrf
# 性能
iperf3 -c <host> -P 8 -J ; sar -n DEV 1 ; perf top
# RDMA
ibstat ; ibstatus ; ibv_devinfo -d mlx5_0 ; perfquery -x
ib_write_bw -d mlx5_0 -F --report_gbits ; ib_send_lat -d mlx5_0 -F
# 故障注入 / QoS
tc qdisc add dev eth0 root netem delay 50ms loss 1%
tc qdisc add dev eth0 ingress ; tc filter add ... mirred egress redirect

关键默认端口 / 编号

工具分类清单

• 抓包分析：tcpdump、Wireshark/tshark、Scapy
• 带宽/延迟：iperf3、netperf、perftest(ib_*)、OSU Micro Benchmarks、NCCL-tests
• 流量发生：TRex、pktgen、Scapy、iperf3
• 性能剖析：sar、perf、bpftrace/bcc、mpstat、top/htop、flamegraph
• 自动化/配置：pytest、Robot Framework、Ansible、Netconf/gNMI/REST
• 虚拟化：KVM/QEMU、libvirt、Docker、Kubernetes(CNI)、OVS、DPDK
• RDMA 诊断：ibstat、ibstatus、ibv_devinfo、perfquery、dmesg(mlx)、OpenSM
• 遥测/混沌：Prometheus+Grafana、gNMI streaming、chaos-mesh、tc netem