排查光纤交换机的故障方法_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
排查光纤交换机的故障方法
&&光纤交换机故障排查
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩1页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢新手园地& & & 硬件问题Linux系统管理Linux网络问题Linux环境编程Linux桌面系统国产LinuxBSD& & & BSD文档中心AIX& & & 新手入门& & & AIX文档中心& & & 资源下载& & & Power高级应用& & & IBM存储AS400Solaris& & & Solaris文档中心HP-UX& & & HP文档中心SCO UNIX& & & SCO文档中心互操作专区IRIXTru64 UNIXMac OS X门户网站运维集群和高可用服务器应用监控和防护虚拟化技术架构设计行业应用和管理服务器及硬件技术& & & 服务器资源下载云计算& & & 云计算文档中心& & & 云计算业界& & & 云计算资源下载存储备份& & & 存储文档中心& & & 存储业界& & & 存储资源下载& & & Symantec技术交流区安全技术网络技术& & & 网络技术文档中心C/C++& & & GUI编程& & & Functional编程内核源码& & & 内核问题移动开发& & & 移动开发技术资料ShellPerlJava& & & Java文档中心PHP& & & php文档中心Python& & & Python文档中心RubyCPU与编译器嵌入式开发驱动开发Web开发VoIP开发技术MySQL& & & MySQL文档中心SybaseOraclePostgreSQLDB2Informix数据仓库与数据挖掘NoSQL技术IT业界新闻与评论IT职业生涯& & & 猎头招聘IT图书与评论& & & CU技术图书大系& & & Linux书友会二手交易下载共享Linux文档专区IT培训与认证& & & 培训交流& & & 认证培训清茶斋投资理财运动地带快乐数码摄影& & & 摄影器材& & & 摄影比赛专区IT爱车族旅游天下站务交流版主会议室博客SNS站务交流区CU活动专区& & & Power活动专区& & & 拍卖交流区频道交流区
白手起家, 积分 27, 距离下一级还需 173 积分
论坛徽章:0
整体环境为全HP产品
存储为3par
SAN switch为博客系列
小型机为 rx8640
下面反应业务有中断现象，出现频率较小，大部分时间是可以正常业务的。
分别对操作系统、SAN交换、存储进行分析
1、在存储中发现异常如下：
Message& & & && && && && && && && && && && && && && && && && && && && && && && && && && && && &Repeat Count& & & & First Time
Port 0:1:1 Degraded (Intermittent CRC Errors Detected)& & & && && && &1173& & & && && && && && &&&Dec 07&&:09 CST
Host Port 0:1:1 experienced over 50 CRC errors (53) in 24 hours& & & & 1171& & & && && && && && &&&Dec 07&&:09 CST
2、查看了SAN switch日志，在连接小型机（两台）的端口上发现以下情况：
porterrshow:
& && && && &frames& && &enc& & crc& & crc& &&&too& & too& & bad& & enc& &&&disc& &link& &loss& & loss& &frjt& &fbsy& &c3timeout
& && && && & tx& &&&rx& && &in& & err& & g_eof&&shrt& &long& &eof& &&&out& &&&c3& &&&fail& & sync& &sig& && && && && && &&&tx& & rx
&&1:& & 1.5g& &4.1g& &56& && &14& && &1& && &&&0& && &0& &&&13& & 398.4k& &1& && & 0& &&&14& &&&16& && &0& && &0& && &0& && &0& &
&&6:& & 3.7g& &3.4g& &22& && &11& && &6& && &&&0& && &0& && &5& && &1.0m& & 4& && & 0& && &7& && &10& && &0& && &0& && &0& && &0
（如果看起来较乱请见谅）&&
端口情况：
Index Port Address Media Speed State& && &&&Proto
==============================================
& &1& &&&1& &&&010100& &id& && &N4& &&&Online& && &FC&&F-Port&&50:01:43:80:11:00:02:da
& &6& &&&6& &&&010600& &id& && &N4& &&&Online& && &FC&&F-Port&&50:01:43:80:16:e7:ec:1c
其他端口有N4，N8不通速率混用，我查看的机房管理员所说的存储与SAN switch链接线路状态为No_Light状态，速率为N8，不知道速率是否有影响。
3、主机上MP查看硬件没发现故障，其他不知道如何排查（正在协调收集系统日志分析）
疑问是不确定这是什么问题造成的？该问题是否会导致业务异常？尝试换过光纤线，问题依旧存在，另外机房EMC设备中也出现类似问题，还请大神指教下一步该如何做，有什么需要的信息我会搜集并贴上
&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp&&nbsp|&&nbsp
白手起家, 积分 27, 距离下一级还需 173 积分
论坛徽章:0
自己的顶一下
论坛徽章:43
1. EMC的存储也有类似问题？那么这个EMC的存储是否连接到同一个交换机上？
2. 之前尝试更换过交换机端的SFP么？没的话可以用命令portstatsclear先清掉历史的统计数值，过段时间再看结果（可以等到再出现问题后）。如果端口的enc_out和crc_err都有增加的话就更换SFP。
小富即安, 积分 4552, 距离下一级还需 448 积分
论坛徽章:2
如果EMC的设备也连接的此光交，那重启一下光交试试呢
白手起家, 积分 27, 距离下一级还需 173 积分
论坛徽章:0
& & EMC使用单独的光交，同是博科系列的5300B。
HP这一套光交主机链接端口除了RX power，TX power值在130+-，感觉稍微偏小，同时存在crc_err,enc_out外，其他没看出什么问题来
白手起家, 积分 27, 距离下一级还需 173 积分
论坛徽章:0
光交轻易不可重启。
另外主机上HPUX dmesg信查看，还发现存在lun offline现象，不知道这是不是个问题，信息显示lun容量连续减小，但是甲方称HP原厂发现过此问题，并表示没什么影响
附上原始信息：
class : disk, instance 320
LUN (dev=0xd000020) capacity has shrunk from
to 4194303.
class : disk, instance 310
LUN (dev=0xd00001f) capacity has shrunk from
class : lunpath, instance 95
lun path (class = lunpath, instance = 95) belonging to LUN (default minor = 0x1f) has gone offline.&&The lunpath hwpath is 0/0/12/0/0/0/0.0x5c745a.0x0000
class : lunpath, instance 89
lun path (class = lunpath, instance = 89) belonging to LUN (default minor = 0x1e) has gone offline.&&The lunpath hwpath is 1/0/12/0/0/0/0.0x5c745d.0x0000
class : lunpath, instance 84
lun path (class = lunpath, instance = 84) belonging to LUN (default minor = 0x1d) has gone offline.&&The lunpath hwpath is 1/0/12/0/0/0/0.0x5c0
白手起家, 积分 27, 距离下一级还需 173 积分
论坛徽章:0
查看到的主机连接端口sfp为：
swd77:admin& sfpshow 1
Identifier:&&3& & SFP
Connector:& &7& & LC
Transceiver: 540c 2,4,8_Gbps M5,M6 sw Short_dist
Encoding:& & 1& & 8B10B
Baud Rate:& &85& &(units 100 megabaud)
Length 9u:& &0& & (units km)
Length 9u:& &0& & (units 100 meters)
Length 50u:&&5& & (units 10 meters)
Length 62.5u:2& & (units 10 meters)
Length Cu:& &0& & (units 1 meter)
Vendor Name: HP-F& &&&BROCADE
Vendor OUI:&&00:05:1e
Vendor PN:& &AJ716B& && && &
Vendor Rev:&&A& &
Wavelength:&&850&&(units nm)
Options:& &&&003a Loss_of_Sig,Tx_Fault,Tx_Disable
BR Max:& && &0& &
BR Min:& && &0& &
Serial No:& &UAF
Date Code:& &120312&&
DD Type:& &&&0x68
Enh Options: 0xfa
Status/Ctrl: 0xa0
Alarm flags[0,1] = 0x5, 0x0
Warn Flags[0,1] = 0x5, 0x0
& && && && && && && && && && && && && && & Alarm& && && && && && &Warn
& && && && && && && && && && && && &low& && &&&high& && & low& && && &high
Temperature: 41& && &Centigrade& & -10& && && &90& && && &-5& && && & 85
Current:& &&&8.352& &mAmps& && && & 1.000& && &17.000& &&&2.000& && & 14.000
Voltage:& &&&3291.4&&mVolts& && && &2900.0& && &3700.0& & 3000.0& && & 3600.0
RX Power:& & -8.9& & dBm (128.0uW) 10.0& &uW 1258.9 uW& &15.8& &uW&&1000.0 uW
TX Power:& & -3.3& & dBm (465.0 uW)125.9&&uW& &631.0&&uW&&158.5&&uW& &562.3&&uW
State transitions: 2
家境小康, 积分 1824, 距离下一级还需 176 积分
论坛徽章:0
光纤供应商配置准则
在 HP 3PAR StoreServ Storage 连接的光纤上配置端口之前，请使用以下光纤供应商准则。
• 应将连接到主机服务器 HBA 端口或 HP 3PAR StoreServ Storage 端口的 Brocade 交换机端
口设置为其默认模式。在运行 Brocade 固件 3.0.2 版或更高版本的 Brocade 3xxx 交换机
上，使用 Brocade Telnet 接口和 portcfgshow 命令验证每个交换机端口是否处于正确模
式，如下所示：
brocade2_1:admin& portcfgshow
Ports 0 1 2 3 4 5 6 7
-----------------+--+--+--+--+----+--+--+--
Speed AN AN AN AN AN AN AN AN
Trunk Port ON ON ON ON ON ON ON ON
Locked L_Port .. .. .. .. .. .. .. ..
Locked G_Port .. .. .. .. .. .. .. ..
Disabled E_Port .. .. .. .. .. .. .. ..
where AN:AutoNegotiate, ..:OFF, ??:INVALID.
在运行 FOS 固件 6.3.1a 及更高版本的 Brocade 8 Gb/s 交换机上支持以下 fill-word 模式：
admin&portcfgfillword
Usage: portCfgFillWord PortNumber Mode [Passive]
Mode: 0/-idle-idle - IDLE in Link Init, IDLE as fill word (default)
1/-arbff-arbff - ARBFF in Link Init, ARBFF as fill word
2/-idle-arbff - IDLE in Link Init, ARBFF as fill word (SW)
3/-aa-then-ia - If ARBFF/ARBFF failed, then do IDLE/ARBFF
HP 建议使用 portcfgfillword 命令将 fill word 设置为模式 3 (aa-then-ia)，其为首选
模式。如果 fill word 设置不正确，er_bad_os 计数器（无效命令集）将在您连接至 8 Gb
HBA 端口且使用 portstatsshow 命令时增加计数，因为它们需要 ARBFF-ARBFF fill word。
模式 3 也将适用于速度较低的 HBA，例如 4 Gb/2 Gb HBA。有关详细信息，请参阅 Brocade
《Fabric OS 命令参考手册》，该手册可从以下网站获取：
此外，某些 HP 交换机（例如 HP SN8000B 8 槽 SAN 主干控制器交换机、HP SN8000B 4
槽 SAN 控制器交换机、HP SN6000B 16 Gb FC 交换机或 HP SN3000B 16 Gb FC 交换
机）可自动选择适当的 fill-word 模式 3 作为默认设置。
• McDATA 交换机或控制器端口应设为其默认模式 G 或 GX-port（取决于交换机型号），并且
它们的速度设置要支持它们自动协商。
• 应将连接到 HP 3PAR StoreServ Storage 端口或主机 HBA 端口的 Cisco 交换机端口设置为
AdminMode = FX 和 AdminSpeed = auto port，并将速度设置为 auto negotiate。
可用积分 +5
谢谢积极回复！
家境小康, 积分 1824, 距离下一级还需 176 积分
论坛徽章:0
Target Port Limits and Specifications
To avoid overwhelming a target port and ensure continuous I/O operations, observe the following
limitations on a target port:
• Maximum of 64 host server ports per HP 3PAR StoreServ Storage port, with a maximum total
of 1,024 host server ports per HP 3PAR StoreServ Storage.
• I/O queue depth on each HP 3PAR StoreServ Storage HBA model, as follows:
◦ QLogic 2G: 497
◦ LSI 2G: 510
◦ Emulex 4G: 959
◦ HP 3PAR HBA 4G: 1638
◦ HP 3PAR HBA 8G: 3276 (HP 3PAR StoreServ 10000 and HP 3PAR StoreServ 7000
systems only)
• The I/O queues are shared among the connected host server HBA ports on a first-come,
first-served basis.
• When all queues are in use and a host HBA port tries to initiate I/O, it receives a target queue
full response from the HP 3PAR StoreServ Storage port. This condition can result in erratic I/O
performance on each host server. If this condition occurs, each host server should be throttled
so that it cannot overrun the HP 3PAR StoreServ Storage port's queues when all host servers
are delivering their maximum number of I/O requests.
NOTE: When host server ports can access multiple targets on fabric zones, the assigned
target number assigned by the host driver for each discovered target can change when the
host server is booted and some targets are not present in the zone. This situation may change
the device node access point for devices during a host server reboot. This issue can occur
with any fabric-connected storage, and is not specific to the HP 3PAR StoreServ Storage.
家境小康, 积分 1824, 距离下一级还需 176 积分
论坛徽章:0
1.建议检查一下交换机的设置是否满足3PAR的要求；
2.有可能的话先更换SFP观察；
3.有备用光钎线的话可以更换备用光钎线观察；
4.主机侧的光钎卡驱动版本注意更新
可用积分 +5
谢谢积极回复！博科交换机Lose of link 丢失链路故障排除_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
博科交换机Lose of link 丢失链路故障排除
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
你可能喜欢Brocade链路故障排错指南系列Marginal&links
Marginal links排错方法主要有两种：
交换机自身硬件问题排查
portloopbacktest检测交换机自身数据转发功能是否正常。（注意：要求交换机是Disabled状态）
porterrshow诊断链路质量。
portloopbacktest
portloopbacktest可以用来诊断交换机自身硬件是否正常。不需要连接sfp和 光纤线，使用的是交换机内部的loopback
path（类似于以太网卡的127.0.0.1地址）。测试的结果要么是Passed，要么是Failed。如果是Failed就需要更换交换机板卡或者
整个交换机。使用帮助如下。
portloopbacktest [--slot slot]
[-nframes count] [-lb_mode mode][-spd_mode mode] [-ports
&slot 需要测试的板卡
&nframes 测试的帧数量
&lb_mode 测试模式
&spd_mode 指定测试时端口工作速率
&ports 指定需要测试的端口
DS_5100B:root& portloopbacktest
Running portloopbacktest
..............
测试时候switchshow结果如下：
DS_5100B:root& switchshow
switchName: DS_5100B
switchType: 66.1
switchState: Offline
switchMode: Native
switchRole: Disabled
switchDomain: 1 (unconfirmed)
switchId: fffc01
switchWwn: 10:00:00:05:1e:57:10:84
zoning: ON (abc)
switchBeacon: OFF
FC Router: OFF
FC Router BB Fabric ID: 128
Address Mode: 0
Index Port Address Media Speed State
==============================================
0 0 010000 id 8G Online FC Testing
Loopback-&Port 0
1 1 010100 id 8G Online FC Testing
Loopback-&Port 1
2 2 010200 id 8G Online FC Testing
Loopback-&Port 2
3 3 010300 id 8G Online FC Testing
Loopback-&Port 3
4 4 010400 id 8G Online FC Testing
Loopback-&Port 4
5 5 010500 id 8G Online FC Testing
Loopback-&Port 5
5 6 010500 id 8G Online FC Testing
Loopback-&Port 6
7 7 010700 id 8G Online FC Testing
Loopback-&Port 7
8 8 010800 id 8G Online FC Testing
Loopback-&Port 8
porterrshow
porterrshow可以显示所有交换机端口error
counters，步骤如下：
1. 交换机输入命令porterrshow
(请先使用statsclear/portstatsclear清理历史记录）
switch:admin& porterrshow
frames enc crc crc too too bad enc
disc link loss loss frjt fbsy
tx rx in err g_eof shrt long eof out
c3 fail sync sig
============================================================================
0: 665k 7.0k 0 0 0 0 0 0 6 0 0 1 2 0
1: 0 0 0 0 0 0 0 0 0 0 0 0 2 0 0
2: 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0
检查输出结果是否有较高的error计数器（比如CRC错误或者ENC_OUT错误），只有在不停稳步增长的错误才能确认marginal
link。一般可以5分钟看一次。
& Tx和Rx分别代表发送和接受的帧数量
Crc_err代表CRC校验错误的帧数量。如果这个错误数量一直在上升，那么这个链路应该有物理故障。需要检查光纤线，SFP，HBA卡等。
8GB平台请先检查portcfgshow里面fill
word是否是3。
& Enc_out错误与帧本身没有关系，通常代表代表一个primitive
signal或者sequence有错误。通常确认是否光纤线有问题的方法是5-10分钟抓取一次porterrshow结果，如果看到crc_err计
数器一直上升，那么光纤线或者HBA卡有硬件问题。
& Disc_c3代表class
3类型FC帧有丢包现象，一般是由于帧在交换机buffer里面超时导致。当ISL链路过载或者不稳定时候会有这个问题。
一般结合两个或者两个以上错误指标来诊断问题，必要时候需要参考portstatsshow结果。
3. 两种常见排查方法
& SFP替换法
& 光纤线替换法
对于marginal
links，上面两种方法可以排除大部分的硬件问题。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。