存储网络中拥塞的检测、排查和预防

本书从技术和实践的角度，系统地分析了存储网络中拥塞的成因、表现及其应对策略。书中不仅涵盖了从检测拥塞的工作流程到在复杂环境下排查拥塞的完整思路，还介绍了具体的工具和技术，指导读者应对不同存储设备、协议及架构下的拥塞。

本书是构建高效率的存储网络和快速解决拥塞问题的完整实用指南。本书首先介绍了存储网络拥塞，其次讨论了光纤通道结构中的拥塞及其检测、故障排除和预防，以及如何通过存储I/O性能监控解决拥塞，然后研究了以太网和TCP存储网络中的拥塞管理，最后阐述了思科UCS服务器中的拥塞管理。通过案例研究，本书介绍了作者多年经验的行之有效的故障排除方法，以及用于监控存储结构和获得预测性信息的分析技术，以检测大规模存储网络中的拥塞。

（美）帕雷什·古普塔（Paresh Gupta），在计算机行业有近20年的经验。拥有近20年计算机行业经验，现任思科技术营销工程部高级领导，负责推动SAN分析、Nexus控制面板、UCS、MDS等产品技术及市场发展。他长期研究存储网络拥塞问题，发明多项专利，开发众多功能，培训数千人。他开发的UTM和MTM流量监控应用程序，被全球数百家企业使用。

（美）爱德华·马祖雷克（Edward Mazurek），拥有40余年计算机网络经验。曾在IBM工作18年，后在思科技术支持中心工作22年，负责数据中心网络技术，包括MDS、UCS及Nexus系列产品的SAN、FC和FCoE等。他拥有两项CCIE认证，是CCIE荣誉会员，主导开发了思科MDS 9000和Nexus 9000交换机的拥塞处理机制，开发的应用程序受思科工程师和合作伙伴青睐，还在网络拥塞领域拥有多项专利。

译者序

推荐序

前言

献辞

致谢

关于技术审稿人

第1章存储网络中的拥塞简介1

1.1数据中心的存储类型1

1.1.1基于位置的存储类型1

1.1.2基于访问级别的存储类型2

1.2存储协议、传输和网络4

1.2.1基于帧格式和编码的网络类型4

1.2.2基于流量控制使用情况的网络类型6

1.2.3跨越网络类型的边界8

1.2.4网络层之上9

1.2.5再次跨越网络类型的边界11

1.3存储网络16

1.3.1存储网络架构16

1.3.2术语18

1.3.3光纤通道和FCoE术语18

1.3.4存储的选择19

1.3.5存储网络的选择20

1.3.6存储流量的专用网络与共享网络20

1.3.7存储网络的常见问题21

1.4存储网络中的拥塞概述22

1.4.1拥塞扩散22

1.4.2存储网络中拥塞的原因24

1.4.3存储网络中拥塞的来源29

1.4.4存储网络中拥塞的常见问题30

1.5NVMe-oF32

1.6QoS33

1.6.1网络延迟的来源34

1.6.2存储网络中QoS的常见问题35

1.7本章小结37

1.8参考文献38

第2章理解光纤通道网络中的拥塞40

2.1光纤通道流量控制40

2.1.1B2B信用的初始传递41

2.1.2帧流期间的B2B信用返回42

2.1.3多跳网络中的B2B流量控制46

2.2光纤通道网络中的拥塞扩散49

2.2.1慢速设备导致的拥塞50

2.2.2过度利用导致的拥塞52

2.2.3比较慢排空和过度利用导致的拥塞54

2.2.4单交换机网络中的拥塞56

2.2.5ISL中的拥塞56

2.2.6缓冲和吸收拥塞的能力61

2.3光纤通道交换机内的帧流62

2.3.1思科MDS交换机内的帧交换63

2.3.2光纤通道交换机的帧交换架构64

2.4比特差错对拥塞的影响67

2.4.1光纤通道帧格式68

2.4.2光纤通道分层69

2.4.3光纤通道上的数据传输69

2.4.4光纤通道端口上的计数器75

2.4.5案例研究：一家在线零售商78

2.4.6比特差错对拥塞的影响总结81

2.5B2B信用的丢失与恢复81

2.5.1比特差错导致的发送B2B信用丢失81

2.5.2零remaining-Tx-B2B-credits持续较长时间83

2.5.3通过B2B状态变更机制实现信用丢失恢复84

2.5.4通过链路重置协议实现信用丢失恢复88

2.5.5B2B状态变更机制与链路重置协议的比较89

2.6光纤通道计数器总结89

2.7本章小结91

2.8参考文献92

第3章检测光纤通道网络中的拥塞93

3.1拥塞检测工作流程93

3.1.1拥塞的影响（拥塞严重程度）93

3.1.2拥塞的原因94

3.1.3拥塞的源头（肇事者）94

3.1.4拥塞的扩散（受害者）95

3.1.5拥塞事件的时间95

3.1.6如何检测拥塞95

3.1.7何处检测拥塞96

3.1.8拥塞方向：入口或出口96

3.2拥塞检测指标97

3.3思科MDS交换机的拥塞检测指标98

3.3.1发送信用不可用时间（μs）：TxWait99

3.3.2接收信用不可用时间（μs）：RxWait103

3.3.3发送信用不可用持续时间（ms）：Slowport-monitor104

3.3.4发送信用不可用持续时间（100ms）：Tx-credit-not-available107

3.3.5TxWait、Slowport-monitor和Tx-credit-not-available之间的差异109

3.3.6何时启用Slowport-monitor112

3.3.7接收信用不可用持续时间（100ms）：Rx-credit-not-available113

3.3.8超时丢弃114

3.3.9发送信用丢失恢复116

3.3.10链路故障：链路重置失败，接收队列非空（LRRcvdB2B）117

3.3.11信用和剩余信用119

3.3.12信用降至零120

3.3.13链路利用率121

3.3.14比特差错124

3.4自动警报124

3.5使用远程监控平台检测拥塞130

3.5.1NDFC拥塞和慢排空分析130

3.5.2MDS流量监控应用程序132

3.5.3指标导出机制136

3.5.4监控网络流量的陷阱139

3.6检测慢排空和过度利用导致的拥塞142

3.7同时出现慢排空和过度利用143

3.8检测长距链路上的拥塞144

3.9本章小结144

3.10参考文献145

第4章排查光纤通道网络中的拥塞146

4.1排查方法与工作流程146

4.1.1拥塞的严重程度和级别146

4.1.2排查的目标148

4.1.3方法149

4.2排查拥塞的提示与技巧156

4.2.1首先排查较高级别的拥塞156

4.2.2使用showtech-supportslowdrain命令158

4.2.3时钟同步和时序考量159

4.2.4超时丢弃异常159

4.2.5启用和使用自动警报功能160

4.2.6使用远程监控平台（NDFC或DCNM）160

4.3排查拥塞的思科MDSNX-OS命令160

4.3.1showinterface命令161

4.3.2showinterfacecounters[detailed]命令162

4.3.3showinterfacetxwait-history|rxwait-history命令165

4.3.4OBFL命令：showloggingonboard166

4.3.5常用排查命令172

4.3.6系统消息：showlogginglog178

4.4案例研究1：在单交换机网络中寻找拥塞的肇事者和受害者179

4.4.1网络A分析180

4.4.2网络B分析187

4.4.3肇事者分析188

4.4.4受害者分析189

4.4.5案例研究1总结202

4.5案例研究2：信用丢失恢复导致帧丢弃202

4.5.1初步调查203

4.5.2网络A分析204

4.5.3网络B分析209

4.5.4肇事者分析218

4.5.5受害者分析220

4.5.6案例研究2总结223

4.6案例研究3：单一设备的过度利用导致严重拥塞225

4.6.13级225

4.6.22级225

4.6.3肇事者分析242

4.6.4受害者分析242

4.6.5案例研究3总结245

4.7案例研究4：长距ISL导致拥塞246

4.7.13级247

4.7.22级247

4.7.31.5级247

4.7.4肇事者分析255

4.7.5受害者分析255

4.7.6案例研究4总结256

4.8本章小结257

4.9参考文献258

第5章通过存储I/O性能监控解决拥塞259

5.1为什么要监控存储I/O性能259

5.2如何以及在何处监控存储I/O性能260

5.2.1主机中的存储I/O性能监控260

5.2.2存储阵列中的存储I/O性能监控260

5.2.3网络中的存储I/O性能监控261

5.3思科SAN分析架构262

5.3.1流量检查262

5.3.2指标计算263

5.3.3指标导出263

5.4理解存储网络中的I/O流263

5.4.1光纤通道网络中的I/O流263

5.4.2I/O流与I/O操作266

5.5I/O流指标267

5.5.1延迟指标267

5.5.2性能指标270

5.6I/O操作和网络流量模式272

5.6.1光纤通道网络中的读I/O操作272

5.6.2光纤通道网络中的写I/O操作273

5.6.3网络流量方向274

5.6.4网络流量吞吐量276

5.6.5I/O操作、流量模式和网络拥塞的相关性276

5.6.6案例研究1：一家贸易公司通过SAN分析预测了拥塞问题277

5.6.7案例研究2：一所大学通过纠正多路径配置错误避免了拥塞问题280

5.6.8案例研究3：一家能源公司成功解决了拥塞问题282

5.6.9案例研究4：一家银行通过基础设施优化解决了拥塞问题285

5.7本章小结287

5.8参考文献288

第6章预防光纤通道网络中的拥塞289

6.1消除或减少拥塞概述290

6.1.1定义方法的结果291

6.1.2手动与自动方法的对比291

6.2链路容量292

6.3通过断开肇事设备实现拥塞恢复292

6.3.1断开肇事设备的考虑因素293

6.3.2如何断开连接293

6.4通过丢弃帧实现拥塞恢复294

6.4.1根据在交换机中的存留时间丢弃帧294

6.4.2根据边缘端口的慢排空丢弃帧295

6.5流量隔离300

6.5.1分类流量以实现隔离302

6.5.2将流量隔离至专用ISL302

6.5.3案例研究：一家银行通过流量隔离避免了拥塞307

6.5.4使用虚拟链路进行流量隔离310

6.5.5流量隔离的考虑因素325

6.6在存储阵列上使用限速器预防拥塞326

6.7在交换机上使用动态入口速率限制预防拥塞328

6.7.1DIRL如何预防拥塞328

6.7.2DIRL的优势330

6.7.3启用和使用思科MDS交换机上的DIRL331

6.7.4DIRL的效果332

6.7.5DIRL与其他方法的比较343

6.8通过向终端设备发送通知预防拥塞345

6.8.1光纤通道网络中通知和信号的准备情况346

6.8.2光纤通道网络中的通知和信号346

6.8.3RDF、EDC、FPIN和拥塞信号的示例349

6.8.4对比拥塞预防方法：使用DIRL与通知终端设备353

6.9网络设计的考虑因素354

6.9.1降低存储端口的链路速率354

6.9.2边缘-核心-边缘、边缘-核心或折叠核心设计355

6.9.3在单个交换机上增加流量本地化357

6.9.4将大型网络分成较小的孤岛网络357

6.10本章小结358

6.11参考文献359

第7章以太网存储网络中的拥塞管理360

7.1以太网流量控制360

7.1.1以太网流量控制原理360

7.1.2以太网暂停帧与光纤通道B2B信用的比较371

7.1.3优先级流量控制372

7.1.4融合以太网377

7.1.5配置无损以太网377

7.1.6专用和融合以太网378

7.2理解无损以太网中的拥塞379

7.2.1无损以太网中的慢排空379

7.2.2无损以太网中的链路过度利用379

7.2.3比特差错379

7.2.4单交换机无损以太网中的拥塞扩散379

7.2.5边缘-核心无损以太网中的拥塞扩散380

7.2.6无损脊叶网络中的拥塞扩散381

7.3检测无损以太网中的拥塞383

7.3.1拥塞方向：入口或出口383

7.3.2拥塞检测指标383

7.3.3存储I/O性能监控394

7.3.4在远程监控平台上检测拥塞397

7.4排查无损以太网中的拥塞400

7.4.1目标400

7.4.2拥塞的严重程度和级别400

7.4.3方法401

7.4.4排查脊叶拓扑中的拥塞401

7.4.5实际效果验证402

7.4.6使用远程监控平台排查拥塞402

7.4.7同一网络中的FC和FCoE404

7.4.8同一链路上的多个无损类别406

7.4.9无损流量和有损流量之间的带宽分配407

7.5预防无损以太网中的拥塞409

7.5.1消除或减少拥塞概述410

7.5.2通过丢弃帧进行拥塞恢复411

7.5.3路由无损以太网中的拥塞通知415

7.6使用VXLAN的无损流量423

7.6.1VXLAN概述423

7.6.2VXLAN传输423

7.6.3物理拓扑423

7.6.4MAC地址学习424

7.6.5通过VXLAN实现无损流量传输424

7.6.6VXLAN封装424

7.6.7VXLAN解封装425

7.6.8通过VXLAN进行拥塞通知425

7.6.9VXLAN的流量控制和拥塞通知425

7.6.10VXLAN中的拥塞管理426

7.7本章小结426

7.8参考文献427

第8章TCP存储网络中的拥塞管理429

8.1理解TCP存储网络中的拥塞429

8.1.1与无损网络的比较429

8.1.2iSCSI和NVMe/TCP如何交换数据430

8.1.3TCP存储网络中的拥塞437

8.2存储I/O性能监控438

8.2.1TCP流监控与I/O流监控439

8.2.2iSCSI的I/O操作440

8.2.3NVMe/TCP的I/O操作441

8.2.4I/O操作、流量模式和网络拥塞的相关性443

8.2.5与无损网络的比较443

8.2.6从TCP流性能估算I/O流性能444

8.2.7IPMTU和TCPMSS的考虑因素444

8.3预防TCP存储网络中的拥塞445

8.3.1消除或减少拥塞概述446

8.3.2TCP存储网络中的拥塞通知447

8.3.3交换机缓冲区的管理450

8.3.4与无损以太网的比较454

8.3.5与光纤通道网络的比较454

8.3.6主动队列管理455

8.4检测TCP存储网络中的拥塞458

8.4.1终端设备内的拥塞源头459

8.4.2网络中的拥塞源头460

8.4.3使用远程监控平台检测拥塞465

8.4.4使用思科NexusDashboardInsights检测拥塞465

8.4.5指标导出机制465

8.5排查TCP存储网络中的拥塞466

8.5.1目标467

8.5.2拥塞的严重程度和级别467

8.5.3方法467

8.5.4TCP存储网络中的负载均衡468

8.5.5专用和共享存储网络的QoS考虑因素468

8.5.6同一网络中的FCoE、RoCE、iSCSI和NVMe/TCP469

8.6无损网络中的iSCSI和NVMe/TCP470

8.7使用VXLAN的iSCSI和NVMe/TCP470

8.8基于TCP/IP的光纤通道471

8.8.1思科FCIP交换机上存储流量的TCP优化471

8.8.2检测FCIP链路上的拥塞472

8.9改进的TCP实现476

8.10本章小结477

8.11参考文献477

第9章思科UCS服务器中的拥塞管理479

9.1思科UCS架构479

9.1.1UCS域480

9.1.2UCS域中的流量480

9.1.3UCS域中的流量控制481

9.2理解UCS域中的拥塞481

9.3检测UCS域中的拥塞482

9.3.1入口拥塞482

9.3.2出口拥塞482

9.3.3FI服务器端口与IOM/FEX交换矩阵端口之间的拥塞482

9.3.4UCS拥塞检测的注意事项483

9.4UTM应用程序484

9.4.1UTM的发展历程484

9.4.2UTM入门485

9.4.3UTM架构486

9.4.4使用UTM的概述486

9.4.5使用UTM排查拥塞486

9.4.6UTM的拥塞排查工作流程487

9.4.7案例研究1：查找UCS域的拥塞原因及源头491

9.4.8案例研究2：背板端口慢排空导致的拥塞495

9.4.9案例研究3：FI上行端口的非均匀利用497

9.4.10案例研究4：多路径I/O不均衡导致的拥塞499

9.5本章小结500

9.6参考文献500