查看原文
其他

【彭建明专栏】IT运维系列谈(4):2017年最复杂的一次性能调优

彭建明 HIT专家网news 2022-07-03

导读

在我记忆里,还没有一次系统性能优化花了这么长时间,且没有结果。


新疆维吾尔自治区人民医院信息中心副主任  彭建明

新疆自治区人民医院是新疆最大的三级甲等综合医院之一,年门诊诊疗人数220万余人次,出院病人15万余人次,手术8万余例。医院经过二十几年信息化建设,已经实施了包括HIS、LIS、PACS、住院电子病历、门诊电子病历、护理移动查房,集成平台、数据中心等近50个信息系统,客户端电脑有3000多台,医院的主要业务都已实现了信息化,2016年在国内率先通过了国家卫计委的六级电子病历评测。

医院现在的HIS是2004年上的,数据库数据容量有1.3TB,是两台IBM小型机搭建的ORACLE 11G RAC;电子病历是2005年上的,三层架构,一台IBM小型机ORACLE 11G 数据库、两台Windows 2008 Server应用服务器,现在数据库容量有1.5TB。这些系统都是我亲手搭建的,又有20年的工作经验,所以我对维护这些系统很有信心,系统时不时出些问题,我也能手到病除。

系统变慢

2017年很忙碌、也很顺利,转眼到了年末。冯小刚的《芳华》上映了,反响很不错,我陪爱人也趁着周末,慕名去看了这部贺岁电影。

电影演到了一大半,周边很多人都进入了角色,有很多抽泣声。我的电话却不合时宜地响了,而且是一个接着一个,有科室值班人员、有门诊医生、有总值班,大家都在反应一个问题:医院系统慢,尤其是医嘱处理,HIS和EMR界面切换,尤其慢。

旁边一个妹子实在受不了,带着哭腔对我说:“大哥,你电话这么多,能不能出去接电话?”

我很不好意思,赶紧回家,打开电脑和信息中心值班人员配合远程诊断系统。很快一份性能报告出来了,报告中最慢的TOP5语句,三条都是关于医嘱的。我分析了一下,修改了两个表的索引,增加了一个表索引,效果很明显,三条语句COST都从1000多降到20多。值班人员反馈,系统好像快了很多。我也很有信心,应该和以前一样,问题解决了。

三天找不到原因

周一是我们医院最繁忙的一个工作日,系统没有如我所愿的快了,我和信息中心同事都经历了巨大压力。电话从还没上班一直到下班,不停地在响,系统慢!

我一直在分析原因,找了几处问题,我和公司的工程师相应地对问题进行了处理,但几乎没有什么效果。中午我很晚才去食堂吃饭,碰到一个熟悉的主任,他半开玩笑地对我说:“我半天的门诊,被你们电脑搞成一天了。”

终于熬到了下班,电话一下少了很多。我又加了三小时班,对一天的工作进行了总结梳理。根据我的经验,系统慢最有可能还是出在软件层面,医院现在系统从软件层面分析,HIS、EMR、集成平台、医保智能控费,这四个系统最紧密相关,任何一个环节出问题都会导致系统慢。网络也有可能导致系统慢,但概率很小。我工作近二十年碰到网络导致系统慢,不超过三次。

系统慢最好是串行方式处理,一个一个系统去分析、处理、排除。并行方式处理问题很容易把问题越搞越糟,就算是把问题处理好了,也不清楚是怎么搞好的。

周二我带着厂家的软件工程师一个系统一个系统去分析、优化处理。我们对HIS、EMR、集成平台的数据库进行了语句级别的优化,对HIS、EMR扩大了内存参数。让医保工程师对医保控费数据库进行了临时数据的清理和索引重建。我们忙碌了一天,电脑系统还是像得了间歇性神经病,一会快一会慢。

转眼到了周三,系统依旧慢。在我记忆里,还没有一次系统性能优化花了这么长时间,且没有结果。科室一个同事开玩笑说:“不行,我们去拜拜关二爷吧!”他说出了我的心声,我真想拜菩萨。

原因找到了!

网络优化是最后一个环节,我没有抱太大的希望。我和网络科长、几个网络工程师、系统管理员开了一个问题讨论会。系统管理员突然说:“我们这几天有两台域控制服务器和一台文件服务器,网络时断时续,360防护软件报有ARP攻击(Address Resolution Protocol,地址解析协议),我感觉和系统慢没有关系,就没有汇报。”

我们顿时眼前一亮,网络科长连忙登录核心交换机,发现有大量的ARP攻击服务器网关信息。原因找到了!应该就是ARP攻击服务器网关,造成了所有系统慢。

可新问题又来了,客户端3000多台电脑,服务器一百多台。怎样找出这匹害群之马呢?问题是这几天出现的,应该是新增加电脑造成的,就从新增加的电脑入手。我们运气不错,当我们把第二台新增加的服务器网线拔掉时,世界一下清净了,系统恢复了正常。随后杀毒软件也从这台服务器网卡驱动程序中杀出了病毒。

事后分析,工程师装服务器时,网卡一直驱动不上,上网下了一个网卡驱动,网卡才被装好。正是这个驱动,差点把我们害死。我们开了问题总结会议,大家都很兴奋,所有辛苦和压力一下都烟消云散了。

下班回到家,媳妇没等到我开口就说:“你们医院问题解决了吧,我从你脸上看出来了。”搞技术的人都很单纯,喜形于色。

工作不仅有辛苦,还有快乐!再见2017,希望2018年能顺利。



【作者简介】:

彭建明:新疆维吾尔自治区人民医院信息中心副主任,18年专注于医院信息化管理建设,一直致力于大型医院核心信息系统安全性、可靠性的研究,拥有丰富的医院信息化建设管理实操经验。曾帮助新疆多家大型三甲医院、多家县级医院和新疆大型企业、政府部门安装Unix或Linux环境下的集群系统和容灾系统,帮助解决系统故障和性能问题。以扎实的技术和认真的工作作风得到了广大同行的认可。通过学习与实践相结合,先后取得了ORACLE 8I OCP 、ORACLE 10G OCP 、IBM AIX小型机管理员证书、CISCO CCNA 网络管理员证书。




HIT专家网最新鲜的医疗信息化资讯,不一样的专家视角

微信:HIT180com

投稿: public@hit180.com

商务合作:(010)82373062


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存