某单位X系统报表打开故障分析报告.docx
某单位X系统报表打开故障分析报告目录1故障现象2业务访问逻辑及分析部署2.1 业务访问路径2.2 分析设备部署3分析过程3.1 省局访问情况分析3.1.1 数据库上联采集点分析情况3.1.2 核心交换机采集点分析情况3.2 徐州访问情况分析3.2.1 表格正常打开情况分析3.2.2 表格打开未成功情况分析4分析结果及建议4.1 分析小结4.2 分析建议1故障现象国税X系统基于B/S架构设计，通过网页上“生成报表”功能读取用户希望打开的报表。目前的故障现象归纳为以下几点：1) X系统的特定报表打开速度非常缓慢，有些长达半天时间；2)省局和A局点打开表格速度虽然缓慢,但最终能够打开表格；3)B局点经常出现打开表格过程中断的情况。2业务访问逻辑及分析部署2.1 业务访问路径(1)省局客户端f省局内网防火墙TIDC机房防火墙IDC核心交换机T数据库防火墙T数据库上联交换机T数据库服务器(2) B局点客户端fB局点防火墙T省局内网防火墙-1DC机房防火墙IDC核心交换机数据库防火墙数据库上联交换机T数据库服务器2.2 分析设备部署采用多点7*24小时实时抓包分析，通过对比多个采集点的流量,找出引起故障的根本原因，定位具体的故障点。科来网络回溯分析系统的部署拓扑如下图所示。针对X业务访问故障情况，分别设置了如下监控点，对业务拓扑进行了全面覆盖式监控：I省局内网HDC机房核心交换机I数据库上联交换机IB局点内网3分析过程省局客户端IP为776.28.228,B局点IP为77.48.17.111。省局及B局点访问数据库均存在数据库响应非常缓慢的情况，数据库对每个数据库查询请求响应时间达到几分钟至几十分钟，而一次表格查询需要发出多个数据库查询请求，导致每次表格打开需要等待较长时间。3.1 省局访问情况分析3.1.1 数据库上联采集点分析情况77.16.28.228访问77.88.16.33一共产生了3.31MB的数据,但去口花费了1小时47分钟。如下图所示。通过回溯分析系统的TCP流重组技术，具体察看本次TCP会话的统计信息。1）三次握手时间约为5毫秒，客户端与服务器之间的网络传输质量良好；2）客户端传输数据时间约为5秒；3）服务器传输数据时间约为2秒；4）服务器响应时间约为1小时47分，大大超出正常响应范围。通过数据包的筛选，发现多个耗时几百秒甚至是上千秒响应的通讯。响应时间616秒响应时间474秒响应时间478秒响应时间352秒响应时间1820秒响应时间1694秒响应时间447秒响应时间306秒具体造成延迟的查询语句如下表所示3.1.2 核心交换机采集点分析情况77.16.28.228访问77.88.16.33一共产生了3.29MB的数据，但却花费了1小时47分钟。如下图所示。通过回溯分析系统的TCP流重组技术，具体察看本次TCP会话的统计信息。经过分析，与服务器上联采集点观察到的情况一模一样。同样,通过数据包筛选也存在耗时几百秒甚至是上千秒服务器才作出响应的情况，这里就不再截图了。32B局点访问情况分析对B局点多次打开表格的流量监控情况来看，完整的表格打开过程中，数据库响应时间均在2000秒以内的表格虽然打开非常缓慢，但最终能够打开；表格打开过程中出现数据库响应超过2000秒的表格无法正常打开。3.2.1 表格正常打开情况分析B局点IP：77.48.17.111在6月16号下午16：46分打开了一个表格，在18：47分成功打开表格，中间出现多次数据库响应时间达到500秒以上的情况，但响应时间均未超过2000秒。6月16号下午16：46分打开表格，发出数据库查询请求:16：51分数据库响应出现824秒的延时：17：05分数据库响应出现669秒的延时经过多次延时表格最终在18：47分成功打开。3.2.2 表格打开未成功情况分析3.2.2.1 B局点内网监控情况77.48.17.111在6月17号上午8：17分发起打开表格的请求，最终表格打开异常中断。B局点内网监控情况截图如下：6月17号上午8：17分发起打开表格的请求：9：29分发出一个数据库查询请求，收到数据库的确认包后没有再收到数据库的响应数据，数据库回复的ACK序列号为“1897986096”。B局点反应该表格未成功打开。3.2.2.2数据库上联交换机监控情况在数据库上联交换机监控链路找到77.48.17.111在6月17号上午8：17分发起的会话，并找到B局点内网监控点最后收到服务器的ACK序列号“1897986096”，发现数据库在经过2453秒后给77.48.17.111回复了查询数据,响应时间为2453秒。数据库响应数据在经过多次重传后，再无后续报文:对比B局点内网监控点在序列号为“1897986096”的ACK后未收到任何数据库响应的数据，确认B局点至数据库中间链路问题导致徐州未收到数据库回复的数据。我们分析了IDC机房交换机、数据库上联交换机监控点的情况，均能看到数据库在序列号为“1897986096”的ACK后回复的数据，确认问题出现在徐州防火墙。询问B局点防火墙长连接设置的超时时间为30分钟，也就是1800秒，而数据库最后一次响应时间为2453秒，超过了B局点国税防火墙设置的1800秒，导致防火墙等待1800秒后还未收到会话的任何数据，主动断开连接，导致数据库后续数据未能成功发送。反观省局的防火墙长连接时间为不限时，导致省局能够打开表格,而B局点经常无法打开表格的情况。4分析结果及建议4.1 分析小结通过数据包级的深入分析，可以确定表格打开缓慢原因是数据库对查询语句的响应时间非常长。省局能够打开表格，B局点国税经常无法打开表格的原因是B局点防火墙长连接设置时间为1800秒，数据库对查询语句的响应时间经常超过1800秒，导致B局点经常无法打开表格的现象。4.2 分析建议1.该问题根本原因在于数据库查询缓慢，建议数据库管理员优化数据库查询效率，尤其需要关注如下语句：1) SUBSTR(HY_DM,13).SUM(BQYXSSSR)2) SUBSTR(HY_DM,1,3)SUM(QM1DSE_GDZC)3) ZSPiV1DM.SM(BQYXSSSR)ORA-01403:nodatafound4) SUBSTR(HY-DM,1,2).SM(BQYXSSSR)5) HY_DM.SM(BQYXSSSR)6) HY_DMSUM(QM1DSE_GDZC)2.更改B防火墙长连接配置，设置成更长时间或永久（已通知B局点国税更改配置）。
