MTR探测主机间丢包

## 概述
当客户端访问目标服务器出现ping丢包或ping不通时，可以通过tracert或mtr等工具进行链路测试来判断问题根源。本文主要介绍如何通过工具进行链路测试和分析。

使用ping命令丢包或者网络不通时，可参见以下操作步骤进行链路测试并进行处理

### 链路测试步骤
通常情况下，链路测试步骤如下：

![](/media/202208/2022-08-05_114115_3580630.8154268140310186.png)

#### 步骤一：获取本地公网IP
在客户端本地网络内访问淘宝IP地址库，获取本地网络对应的公网IP地址。

#### 步骤二：正向链路测试
从客户端向目标服务器做以下测试：

从客户端向目标服务器域名或IP做持续的ping测试，建议至少ping 100个数据包，记录测试结果。
根据客户端操作系统的不同，使用WinMTR或mtr，设置测试目的地址为目标服务器域名或IP，然后进行链路测试，记录测试结果。

#### 步骤三：反向链路测试
进入目标服务器系统内部做以下测试：

从目标服务器向步骤一获取的客户端IP做持续的ping测试，建议至少ping 100个数据包，记录测试结果。
根据目标服务器操作系统的不同，使用WinMTR或mtr，设置测试目的地址为客户端的IP地址，然后进行链路测试，记录测试结果。

#### 步骤四：测试结果分析
参见测试结果的简要分析，对测试结果进行分析。确认异常节点后，访问淘宝IP地址库或其他可以查询IP归属地的网站，获取该异常节点的归属运营商信息。如果是客户端本地网络相关节点出现异常，则需要对本地网络进行相应排查分析。如果是运营商相关节点出现异常，则需要向运营商反馈问题。查询结果类似如下。

![](/media/202208/2022-08-05_114202_3066410.7402248600728827.png)

### 测试结果简要分析
由于mtr（WinMTR）有更高的准确性，本文以其测试结果为例，参见以下要点进行分析。此处分析时以如下示例图为基础。

![](/media/202208/2022-08-05_114226_5511390.7503866998314723.png)

#### 要点1:网络区域
正常情况下，从客户端到目标服务器的整个链路中会包含以下网络区域：

>说明：您可以通过IP地址库确认IP地址所属网络情况。

**客户端本地网络**：即本地局域网和本地网络提供商网络。如上图中的区域A。如果该区域出现异常，并且是客户端本地网络中的节点出现异常，则需要对本地网络进行相应的排查分析。如果是本地网络提供商网络出现异常，则需要向当地运营商反馈问题。

**运营商网络**：如上图中的区域B。如果该区域出现异常，可以根据异常节点的IP查询其所属的运营商，直接向对应运营商进行反馈。

**目标服务器本地网络**：即目标服务器所属提供商的网络。如上图中的区域C。如果该区域出现异常，需要向目标服务器所属的网络运营商反馈问题。

#### 要点2:链路负载均衡
如上图中的区域D。如果中间链路某些部分启用了链路负载均衡，则mtr只会对首尾节点进行编号和探测统计。中间节点只会显示相应的IP或域名信息。

### 要点3:综合判断
需要结合（Avg）平均值和（StDev）标准偏差综合判断

由于链路抖动或其它因素的影响，节点的Best和Worst值可能相差很大。Avg统计了自链路测试以来所有探测的平均值，所以能更好的反应出相应节点的网络质量。而StDev越高，则说明数据包在相应节点的延时值越不相同，即越离散。所以标准偏差值可用于协助判断Avg是否真实反应了相应节点的网络质量。
>例如，如果标准偏差很大，说明数据包的延迟是不确定的。可能某些数据包延迟很小，例如25ms，而另一些延迟却很大，例如350ms，但最终得到的平均延迟反而可能是正常的。所以，此时Avg并不能很好的反应出实际的网络质量情况。

综上所属，建议的分析标准如下：

-如果StDev很高，则同步观察相应节点的Best和Worst，来判断相应节点是否存在异常。
-如果StDev不高，则通过Avg来判断相应节点是否存在异常。
>注意：上述StDev高或者不高，并没有具体的时间范围标准。而需要根据同一节点其它列的延迟值大小来进行相对评估。比如，如果Avg为30ms，那么，当StDev为25ms，则认为是很高的偏差。而如果Avg为325ms，StDev为25ms，反而认为是不高的偏差。

#### 要点4:丢包率判断
任一节点的Loss%（丢包率）如果不为零，则说明这一跳网络可能存在问题。导致相应节点丢包的原因通常有以下两种：

- 运营商基于安全或性能需求，限制了节点的ICMP发送速率，导致丢包。
- 节点确实存在异常，导致丢包。

结合异常节点及其后续节点的丢包情况，并参见以下内容，判定丢包原因。

1. 如果随后节点均没有丢包，则通常表示异常节点丢包是由于运营商策略限制所致。可以忽略相关丢包。如上图中的第2跳所示。
2. 如果随后节点也出现丢包，则通常说明异常节点确实存在网络异常，导致丢包。如上图中的第5跳所示。

另外，上述两种情况可能同时发生，即相应节点既存在策略限速，又存在网络异常。对于这种情况，如果异常节点及其后续节点连续出现丢包，而且各节点的丢包率不同，则通常以最后几跳的丢包率为准。如上图所示，在第 5、6、7跳均出现了丢包。所以，最终丢包情况，以第7跳的40%作为参考。

#### 要点5:关于延迟
关于延迟，有以下两种场景：

**场景一：延迟跳变**
如果在某一跳之后延迟明显陡增，则通常判断该节点存在网络异常。如上图所示，从第5跳之后的后续节点延迟明显陡增，则推断是第5跳节点出现了网络异常。不过，高延迟并不一定完全意味着相应节点存在异常。如上图所示，第5跳之后，虽然后续节点延迟明显陡增，但测试数据最终仍然正常到达了目的主机。所以，延迟大也有可能是在数据回包链路中引发的。所以，需要结合反向链路测试一并分析。

**场景二：ICMP限速导致延迟增加**
ICMP策略限速也可能会导致相应节点的延迟陡增，但后续节点通常会恢复正常。如上图所示，第3跳有100%的丢包率，同时延迟也明显陡增。但随后节点的延迟马上恢复了正常。所以判断该节点的延迟陡增及丢包是由于策略限速所致。

### 常见链路异常场景
常见的链路异常场景及测试报告如下：

#### 场景1:目标主机配置不当
示例数据如下。
```bash
[root@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute  [v0.75]
mycentos6.6 (0.0.0.0)                         Wed Jun 15 19:06:29 2016
Keys:  Help   Display mode                    Packets               Ping*r>Host                                        Loss%   Snt   Last   Avg  Best  Wrst StDev 
1. ???
2. ???
3. 1XX.X.X.X                              0.0%     10  521.3  90.1   2.7 521.3 211.3
4. 11X.X.X.X                              0.0%     10    2.9   4.7   1.6  10.6   3.9
5. 2X.X.X.X                               80.0%    10    3.0   3.0   3.0   3.0   0.0
6. 2X.XX.XX.XX                            0.0%     10    1.7   7.2   1.6  34.9  13.6
7. 1XX.1XX.XX.X                             0.0%     10    5.2   5.2   5.1   5.2   0.0
8. 2XX.XX.XX.XX                             0.0%     10    5.3   5.2   5.1   5.3   0.1
9. 173.194.200.105                          100.0%   10    0.0   0.0   0.0   0.0   0.0
```
在该示例中，数据包在目标地址出现了100%的丢包。从数据上看是数据包没有到达，其实很有可能是目标服务器相关安全策略（比如防火墙、iptables 等）禁用了ICMP所致，导致目的主机无法发送任何应答。所以，该场景需要排查目标服务器的安全策略配置。

#### 场景2:ICMP限速
示例数据如下:
```bash
[root@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute  [v0.75]
mycentos6.6 (0.0.0.0)                         Wed Jun 15 19:06:29 2016
Keys:  Help   Display mode                    Packets               Ping*r>Host                                        Loss%   Snt   Last   Avg  Best  Wrst StDev 
1. 63.247.X.X               			 0.0%    10    0.3   0.6   0.3   1.2   0.3
2. 63.247.X.XX                 		 0.0%    10    0.4   1.0   0.4   6.1   1.8
3. 209.51.130.213              		 0.0%    10    0.8   2.7   0.8  19.0   5.7
4. aix.pr1.atl.google.com        	        0.0%    10    6.7   6.8   6.7   6.9   0.1
5. 72.14.233.56                 		 60.0%    10   27.2  25.3  23.1  26.4   2.9
6. 209.85.254.247                		 0.0%    10   39.1  39.4  39.1  39.7   0.2
7. 64.233.174.46                 		 0.0%    10   39.6  40.4  39.4  46.9   2.3
8. gw-in-f147.1e100.net          		 0.0%    10   39.6  40.5  39.5  46.7   2.2
```

在该示例中，在第5跳出现了明显的丢包，但后续节点均未见异常。所以推断是该节点ICMP限速所致。该场景对最终客户端到目标服务器的数据传输不会有影响，所以，分析的时候可以忽略。

#### 场景3:环路
示例数据如下：
```bash
[root@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute  [v0.75]
mycentos6.6 (0.0.0.0)                         Wed Jun 15 19:06:29 2016
Keys:  Help   Display mode                    Packets               Ping*r>Host                                        Loss%   Snt   Last   Avg  Best  Wrst StDev 
1. 63.247.7X.X                  		 0.0%    10    0.3   0.6   0.3   1.2   0.3
2. 63.247.6X.X                 		 0.0%    10    0.4   1.0   0.4   6.1   1.8
3. 209.51.130.213                		 0.0%    10    0.8   2.7   0.8  19.0   5.7
4. aix.pr1.atl.google.com        		 0.0%    10    6.7   6.8   6.7   6.9   0.1
5. 72.14.233.56                  		 0.0%    10    0.0   0.0   0.0   0.0   0.0
6. 72.14.233.57                  		 0.0%    10    0.0   0.0   0.0   0.0   0.0
7. 72.14.233.56                  		 0.0%    10    0.0   0.0   0.0   0.0   0.0
8. 72.14.233.57                  		 0.0%    10    0.0   0.0   0.0   0.0   0.0
9 ???                            		 0.0%    10    0.0   0.0   0.0   0.0   0.0
```
在该示例中，数据包在第5跳之后出现了循环跳转，导致最终无法到达目标服务器。这通常是由于运营商相关节点路由配置异常所致。所以，该场景需要联系相应节点归属运营商处理。

#### 场景4:链路中断
示例数据如下:
```bash
[root@mycentos6 ~]# mtr --no-dns www.google.com
My traceroute  [v0.75]
mycentos6.6 (0.0.0.0)                         Wed Jun 15 19:06:29 2016
Keys:  Help   Display mode                    Packets               Ping*r>Host                                        Loss%   Snt   Last   Avg  Best  Wrst StDev 
1. 63.247.7X.X                  		 0.0%    10    0.3   0.6   0.3   1.2   0.3
2. 63.247.6X.X                 		 0.0%    10    0.4   1.0   0.4   6.1   1.8
3. 209.51.130.213                		 0.0%    10    0.8   2.7   0.8  19.0   5.7
4. aix.pr1.atl.google.com        		 0.0%    10    6.7   6.8   6.7   6.9   0.1
5. ???                           		 0.0%    10    0.0   0.0   0.0   0.0   0.0
6. ???                           		 0.0%    10    0.0   0.0   0.0   0.0   0.0
7. ???                           		 0.0%    10    0.0   0.0   0.0   0.0   0.0
8. ???                           		 0.0%    10    0.0   0.0   0.0   0.0   0.0
9 ???                            		 0.0%    10    0.0   0.0   0.0   0.0   0.0
```
在该示例中，数据包在第4跳之后就无法收到任何反馈。这通常是由于相应节点中断所致。建议结合反向链路测试做进一步确认。该场景需要联系相应节点归属运营商处理。

## 系统工具
操作系统类型不同，链路测试所使用的工具也有所不同，简要介绍如下：

### Linux系统
此处简单介绍两个链路测试工具：

#### 工具1:mtr命令
mtr（My traceroute）几乎是所有Linux发行版本预装的网络测试工具。其将ping和traceroute的功能合并，所以功能更强大。mtr默认发送ICMP数据包进行链路探测。您也可以通过-u参数来指定使用UDP数据包进行探测。相对于traceroute只会做一次链路跟踪测试，mtr会对链路上的相关节点做持续探测并给出相应的统计信息。所以，mtr能避免节点波动对测试结果的影响，所以其测试结果更正确，建议优先使用。

**用法说明**
```bash
mtr [-BfhvrwctglxspQomniuT46] [--help] [--version] [--report]
                [--report-wide] [--report-cycles=COUNT] [--curses] [--gtk]
                [--csv|-C] [--raw] [--xml] [--split] [--mpls] [--no-dns] [--show-ip*r>                [--address interface] [--filename=FILE|-F]
                [--ipinfo=item_no|-y item_no]
                [--aslookup|-z]
                [--psize=bytes/-*ytes] [--order field*r>                [--report-wide|-w] [--inet] [--inet6] [--max-ttl=NUM] [--first-ttl=NUM]
                [--bitpattern=NUM] [--tos=NUM] [--udp] [--tcp] [--port=PORT] [--timeout=SECONDS]
                [--interval=SECONDS] HOSTNAME
```
常见可选参数说明
```
--report：以报告模式显示输出。
--split：将每次追踪的结果分别列出来，而非统计整个结果。
--psize：指定ping数据包的大小。
--no-dns：不对IP地址做域名反解析。
--address：主机有多个IP地址时，设置发送数据包的IP地址。
-4：只使用IPv4协议。
-6：只使用IPv6协议。
```
另外，也可以在mtr运行过程中，输入类似如下的字母用于快速切换模式。
```
？或h：显示帮助菜单。
d：切换显示模式。
n：启用或禁用DNS域名解析。
u：切换使用ICMP或UDP数据包进行探测。
```
**命令输出示例**

![](/media/202208/2022-08-05_115100_8802540.2468751278603366.png)

**返回结果说明**
默认配置下，返回结果中各数据列的说明如下：

第一列（Host）：节点IP地址和域名。按n键可切换显示。
第二列（Loss%）：节点丢包率。
第三列（Snt）：每秒发送数据包数。默认值是10，可以通过-c参数指定。
第四列（Last）：最近一次的探测延迟。
AGVDbNVutgwiep6615bjTJnQkScwWuUEMuU95NredRG5
第八列（StDev）：标准偏差，越大说明相应节点越不稳定。