在数据中心运行过程中,不可避免会出现各种各样的问题。若网络发生信息不通、网页不能浏览等连通性故障时,这类故障现象的故障点很容易检查和定位, 解决起来并不困难。但是网络如果是通的,而网速变慢。遇到这种“软”故障,就比较令人头痛,有的人往往就会束手无策。一旦遇到这类问题时,需要有一个定位问题的基本思路,这样就能帮助我们在日常维护中有条不紊地找到问题的真实原因。 第一:检查设备CPU占用率。数据中心里的设备少则数百,多则上万,不可能都去依依检查CPU。需要先明确哪个 业务慢,了解这个业务在数据中心里需要经过哪些设备,然后检查这些设备的CPU占用率。当然如果有网管软件,通过设定CPU阈值,可以监控所有设备的 CPU占用率,则可以很快发现CPU异常的设备。一般如果设备CPU占用率在40%以下,则可以跳过这项,直接检查第二步,如果在60%以上的话,建议您最好看一下。一般是设备受到了网络攻击。有的时候网络攻击不仅影响网速慢,甚至会中断业务。网管可以监控可疑的端口,网络流量异常的这一段时间,通过网络流量变化会看到突起突落,明显的人为痕迹。根据对以上可疑现象的分析,初步定位网络业务中断事故是人为攻击造成,采集了网络流量急剧上升时的异常流量,证明的确是有网络攻击。针对网络攻击也有进一步的排查方法,在此不一一详述。 第二:日志信息和其它异常信息。现在的电子设备可维护性都比较好,运行出现异常时都会有一些信息打印,以便提示用户设备出了问题,便于用户采取解决问题的措施。设备日志、异常记录等对于诊断问题愿意非常有用,一些比如端口DOWN、配置错误、硬件问题等简单故障,通过打印出来的信息就可以明确。对于广播流量较多的数据中心,要注意设备的端口流量是否有异常,是否可能出现了网络环路,网络环路是在数据中心经常发生的 网络故障。主要是由于设备故障、STP/RRPP等二层环路协议失效、人为错误配置所致。这类问题通过观察端口的流量很好排除。因此,要检查这些设备的日 志和异常信息记录。 第三:利用PING来检验业务是否正常。PING是用来诊断网络故障最简单明了的手段,现在网络上流行的Xping、Multiping、网管软件等都是基本PING功能实现的,通过PING业务沿路的各个设备就可以迅速判定故障设备。一般PING的结果基本会显示出哪个设备可能存在网络问题。 第四:检查端口双工的状态。服务器的网卡、网络设备端口、防火墙端口等设备的工作方式可以为全双工或半双工。当服务器、交换机的工作状态不匹配,如服务器、工作站网卡被设置为全双状态,而交换机等都工作在半双工时,就会产生大量碰撞帧和一些FCS校验错误帧,访问速度将变得非常慢。从服务器上拷贝一个100Mb的文件可能需要30分钟,所以网速变慢也要检查下设备端口双工是否存在不一致的问题。 第五:检查网线、光纤、光模块这些互连器件的问题。网线的制作方式对网络传输速度的影响是非常大的,如果不按照正规的标准制作网线,那么来自网线自身的背景噪音以及内部串扰就会降低网络传输速度。还有光纤和光模块如果质量不佳,容易产品大量的错包,影响网速。还要的光模块收发功率不稳定,导致传输的数据出现问题,这些故障都是容易影响网速慢的最常见的原因。在数据中心里,几乎天天都会有更换网线、光纤或光模块的工 作。这些都是易消耗的器件。 第六:端口UP/DOWN问题。如果出现了端口的UP/DOWN,自然会引起业务时断时续,网速就慢。造成端口出现UP/DOWN的原因也可能是多方面的。比如:光纤架、跳线架有问题,链路质量不好;网线,光纤出了问题;设备两端配置速率双工不一致等等都会造成端口的UP/DOWN,一般的设备端口出现了UP/DOWN都会有记录,或者在网管上有记录,这样用户就可以通过检查记录,迅速排除掉故障。 第七:对比测试。通过业务测试。比如玩传奇游戏卡,玩其它游戏没有问题,那一般是传奇服务器的问题。另外为何明确故障问题,还可以在上游设备上的一个业务端口下FTP本地网络的一个大文件,在本地设备上的一个业务口下同时FTP同一网站的同一电影文件,比较下载速度,立刻可以知道本地设备有没有问题。 第八:检查是否应用服务器是否有病毒。蠕虫、红色代码、蓝色代码、尼姆达等病毒,可使计算机运行变慢,造成网络堵塞。如蠕虫病毒对网络速度的影响严重,危害性极大。这种病毒导致被感染的用户只要一上网就不停地往外发邮件,成百上千的这种垃圾邮件有的排着队往外发送,有的又成批成批地被退回来堆在服务器上,造成服务器繁忙或者数据中心网路拥塞,网速变慢。所以需要在数据中心内部署防火墙设备,在服务器上安装杀毒软 件,并保持实时更新。周期性地检查服务器是否有中病毒的情况。 网速慢是一个比较复杂问题,随着网络规模的不断扩大和应用的复杂,网络安全问题越来越多,这类问题也越来越不好分析。对于出现网速变慢的故障时,可以采用以上的八个步骤去逐一排查,在绝大多数情况下,都可以解决问题。如果通过这些步骤仍找不出异常的地方,那就需要专业的技术人员深入分析了,可能需要资深的网络专家或者设备厂家的工程师进一步深入排查。总之,只要是问题总会露出一些蛛丝马迹,我们这些数据中心的工程师不是在时刻准备着解决问题,就是在解决问题的路上。 |