云计算虚拟化让实时海量数据处理无忧

2015-02-02 09:59:52   点击:
  国统局数据显示全国70个大中城市房价上涨势头明显遏制、国统局调查显示中国群众最关注医疗问题、国统局称3月份CPI同比涨幅创31个月以来

  “国统局数据显示全国70个大中城市房价上涨势头明显遏制”、“国统局调查显示中国群众最关注医疗问题”、“国统局称3月份CPI同比涨幅创31个月以来新高”……


  类似以上的这些消息我们经常可以看到,国家统计局源源不断地向社会公布涉及国家经济发展、民生等各个层面的数据。而这些庞大的数据处理背后是怎样的一个IT系统在支撑?涉及到省市级各个层面的数据是如何汇总到国家统计局的呢?庞大的数据处理对于IT系统会有哪些挑战?对于种种疑问,国家统计局数据管理中心主任许剑毅向记者介绍了目前国家统计局整个IT系统的建设思路,同时国家统计局数据管理中心王洪琛处长详细介绍了虚拟化和云计算技术在整个系统中的作用。


  运用云计算虚拟化直面挑战


  去年,记者在采访许剑毅时,他就给记者描述了一副“统计云”的画面:国家统计局正在建整个统计数据系统的私有云,今后国统局统计数据的采集、加工、处理,都以北京为中枢数据中心,再分四个阶层,逐层伸向全国。


  再次见到许剑毅,是在国统局核心业务系统项目在进行二期之时,对于“统计云”的建设,许剑毅又有了更多的感受和想法。


  经过多年的发展,国统局信息化建设已经取得了很大的成绩,然而更多的数据处理,尤其在时效性、准确性方面要求更多,给国统局的信息化建设带来挑战。“国统局的应用系统非常庞大,其海量数据处理量、高并发量等对于IT系统都会是挑战。”许剑毅指出,要改变这些情况,硬件设备能力、性价比都是所要考虑的。


  “我们的思路是用小机器代替大机器的作用,把小的机器通过集群的方式,集群到核心业务系统来满足业务需求。”许剑毅指出这是国统局的一个思路,与此同时,建立一个全国各级统一的系统也是国统局需要解决的,“统计云”就是按照这样的需求提出来的。


  许剑毅向记者详细介绍了目前国统局IT系统的组成情况。“国统局利用现在最先进的虚拟化、云计算、资源池这些先进的IT技术,以国统局为中心建立国家统一的核心业务系统,包括统一的数据中心。”许剑毅特别提出了,其系统架构里用到的10台IBM最新的小型机(包括6台IBMPowre595服务器和4台IBMPower780服务器)构成的集群,“整个架构里利用了IBM等多家公司的最新的产品和技术,使得整个系统里没有单一故障点,从而解决安全问题。”


  与此同时,国统局的核心业务系统还需很好解决高并发的问题。许剑毅指出,系统整个设计之初是按照百万级高并发量设计的,“利用虚拟化、云计算这些技术百万级不会是问题,甚至可以达到千万级。”许剑毅认为,该套系统也较好的发挥了IBM小型机练级处理高并发的能力,去年的人口普查就很好的检验了这套系统,“整个系统的协调、运算能力非常强。”许剑毅还给了我们一个数据,之前13亿多人的表格单机处于需要一天甚至更多的时间,而基于新的系统,两分钟可以搞定。


  大统一的思想贯彻国统局整个信息化建设的过程中,云的思想也跃然其中。许剑毅说目前国统局正在开发全国统一的数据处理应用平台,而下一步也希望以此为中心统一业务应用。


  “全国统一的业务将会集中到一套核心业务系统上来处理,为整个统计工作提供一个云服务。”许剑毅描绘到,国统局的信息化建设正在一步步迈向大统一的“统计云”。