京东自建数据中心核心技术解密——运营管理篇

　　随着电子商务、云计算、大数据、人工智能、互联网金融等应用的快速发展，数据中心单体规模越来越大、系统越来越复杂，应对的挑战也越来越多。

　　一个好的数据中心需要通过科学的运维管理，充分利用技术和设备资源，将运行成本降到最低，同时能源利用率最大化。

　　京东在宿迁的自建数据中心，按照世界一流数据中心的理念设计和建设，也按照国际先进的运营管理模式投入运行。

　　作为数据中心生命周期中最重要的一环，如何针对基础设施，各种IT设备，信息与数据，应用软件等各方面展开数据中心的运维管理，为基础设施和信息系统提供稳定可靠的运行环境，确保他们安全，稳定，可靠，持续并高效的运行。

　　京东IDC建设的技术专家们，设计并落地了一套先进的、可靠的智能化基础设施运维管理体系，进行系统性的支撑。

　　接下来的内容，我们将通过京东自建数据中心在运营维护中的人，制度，流程规范，监控管理等各个方面，一窥这里是如何高效满足京东不断增长的业务需求。

　　人

　　京东IDC建设部技术专家刘铭谈到：人是数据中心IT设施运维管理的基础，也是管理的核心，正所谓是三分靠技术，七分靠管理。京东在宿迁的自建数据中心，设施运维管理核心团队组建于数据中心建设初期，主要的专业技术管理人员都深度参与了整个数据中心园区的工程建设以及测试验证等重要环节。

　　在数据中心交付之前，他们就已经充分的了解这个数据中心基础设施系统的构成，掌握了数据中心设计、施工、变更、整改的技术文档和测试数据，哪些是今后运维工作的特别关注点，都熟记于心。

　　京东自建数据中心的实施运维团队主要有两大工作职能。第一个是实行7*24小时轮岗工作制的运维巡检团队，他们对基础设备设施进行巡检，第一时间发现故障或问题。

　　第二个是对数据中心基础设施提供运维技术支持，解决技术问题的技术管理团队，他们承担数据中心场地基础设施的优化改造工程和项目管理工作，也是运维管理的核心团队。

　　制度

　　设备台账制度

　　给每个独立的数据中心模块建立完整并实时更新的设备台账。台账包括所有关键基础设施设备的清单，并完整记录这些设备设施的运行情况、事件情况、变更情况、维护保养频次等信息。

　　对影响安全运行的关键设备，比如UPS、冷水机组、精密空调等的设定参数以及关键点的报警阀值制定了统一管理制度，结合数据中心实际运行情况与技术，讨论后按统一参数值设定，运维巡检人员不可以随意修改。

　　预防性维护计划

　　为了延长设备的使用寿命，减少设备故障的概率，必须对所有设备设施进行有计划的维护。提前制定月度、季度、年度的预防性维护计划。

　　运维人员会按照设备和系统的特性、维护流程及规范，及时、完整的落实维护工作，并形成客观实际的记录和报告存档。

　　此外，运维团队还定期对设备运行状态的数据进行统计和趋势量化分析，对于异常的趋势，及时作出报警和相关预案。

　　通过定期检查和保养，使得设备设施的某些缺陷或隐患在变得更严重之前被发现。

　　维修工单制度

　　运维人员在接到工单时，能明确获悉工作任务与注意事项，提前熟悉操作流程，做到心中有数。在维修操作过程中，工单也可以起到指导操作的作用;在维修工作结束交单、备案归档。如果在维修过程中遇到困难，也便于及时通过上溯的渠道，快速解决问题。

　　监控

　　京东在宿迁的自建数据中心园区中，包含有4个数据中心模块，每个模块都配置有一个独立的监控中心，整个园区中心位置设置了综合监控中心ECC.

　　ECC的综合智能监控管理平台，可以实现对数据中心各设备和系统的统一监控与管理，提高整个系统的运行可靠性、稳定性和扩展性，实现机房的科学管理。

　　作为园区级的监控平台，ECC很好的实现了：

　　1、可视化展示各设备设施实时状态，实时掌握可用性状况;

　　2、业务流程规范化管理，变更风险管控，降低变更带给业务的影响;

　　3、复杂事件分析处理，准确定位故障;大数据分析，智能预警;

　　4、设备部署合理化，平衡各维度容量综合利用率，避免单项容量短板;

　　5、可视化容量管理，直观展示容量使用情况及趋势分析，扩容决策及时准确;

　　6、提供多维度运行分析报告，为运营决策提供数据支持;

　　7、重大故障可实时准确提供数据中心应急预案;

　　模块级的监控系统对基础设施的监控包括电气，动力，环境三部分，实时进行监测和展示被监控的设备。

　　系统的架构包含现场设备的数据采集层、现场设备监控层和集中监控层。

　　现场设备数据采集层：由各种I/O采集模块组成，连接所有传感器和被监控设备，实现监控平台与被监控对象的数据通讯。所有硬件采用模块化架构，I/O模块采集传感器数据后，通过系统配置实现对所有传感器的数据匹配对应，直接接入现场监控层。

　　现场设备监控层：由多台嵌入式服务器或独立网络控制器组成，负责收集与处理由现场设备采集层发送过来的数据。

　　模块集中监控层：采集现场设备监控层上传的数据，对模块内的现场监控服务器进行集中管理，实时监测组内基础设施的参数、状态，并提供远程浏览。在这个模块中的监控数据，可以直接上传至园区综合监控中心ECC的综合监控层。

　　集中管理平台配置了“双服务器+双数据库”，实现容错配置。也开发了移动终端操控平台，可以对数据中心的基础业务进行实时操控。

　　京东IT资源服务部负责人吕科说：“京东自建数据中心的设施运维管理有一个非常重要的目标，那就是要”建立一套持续改进的机制“，这一点往往容易被行业从业人员所忽略。数据中心设施运维管理与数据中心设施系统建设阶段的项目管理有很大的不同，项目管理是一次性的，必须保障”当前最佳“。而数据中心运维管理则是一个不断迭代的过程，”一套持续改进的机制“可以保障数据中心运行效率不断提高、运行成本不断降低。数据中心的设施运维工作就是这样一个不断优化的过程，这也是我们的目标：没有最好，只有更好。”