新闻稿

红旗软件推出OpenPOWER 平台Hadoop技术服务

到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。然而这并非数据存储的末日。在正在形成数据时代，企业与政府用户的的业务方向都将依赖大数据的积累与分析，如何保存、阐释、检索与分析海量数据，就成为用户们最关心的热点。近日，红旗软件推出了Hadoop大数据处理服务，为各行各业的数据中心和数据管理等难题提供了新的解决方案。


据了解，RedFlag在基于OpenPOWER平台上的Hadoop大数据处理服务中，构建了完整的hadoop ecosystem——包括的hadoop、hbase、greenplum、R、PHP、Haproxy LVs Perl ruby python go nginx Redis mysql postgresql等hadoop生态系统的相关软件。这些软件能在基于OpenPOWER的硬件、RedFlag OS的平台上有效提升了数据处理效率，快速扩展、监控和告警等功能则让集群管理更加便捷，从而实现轻松快速并经济地处理大量数据的需求。

 

Hadoop：最有价值的大数据处理平台

 

Hadoop于2006年1月28日诞生，至今已有10年，它改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，形成了自己的极其火爆的技术生态圈，并受到非常广泛的应用。目前已经被包括Google、Facebook、Twitter、百度等全球互联网巨头在内的商业企业所使用。据统计，全世界一半以上的数据涉及Hadoop，让其成为最有价值的大数据处理平台之一。不过，Hadoop同时也面临一些挑战，譬如本身的复杂性，以及企业如何将开源平台与自身架构整合等。

 

hadoop 主要用于大数据的并行计算，其中包括数据密集型并行计算、计算密集型并行计算、数据密集与计算密集混合型的并行计算。当下Hadoop的主要应用场景在归档、搜索引擎及数据仓库上面，各个机构使用Hadoop不同的组件来实现自己的用例。而在这3个场景之外还有一个比较冷门的场景——流处理，这块源于Hadoop 2.0可结合其他框架的特性，而在将来，Hadoop肯定会发展到联机数据处理。

 

Hadoop平台不仅能够推动企业内部的数据开放，还能够让每个人参与到报表、数据的研发过程。同时还能够实现企业的数据共享，特别是Hadoop队列，资源池，队列，任务调度器的机制，能让整个机型切换成多个资源，而不是以前的数据库，一层层的隔离去使用。


 

RedFlag: 全球首家提供OpenPOWER平台的Hadoop技术服务

 

从2015年初至今，红旗软件作为整个OpenPOWER产业链的核心成员，组建了专业化的“OpenPOWER能力中心”，与IBM的LTC team、奥斯汀的核心研发团队保持密切的深入内核层面技术交流。此次，红旗软件在OpenPOWER平台上构建了完整的hadoop ecosystem——包括的hadoop、hbase、greenplum、R、PHP、Haproxy LVs Perl ruby python go nginx Redis mysql postgresql等hadoop生态系统的相关软件。


 红旗软件在本次Hadoop的移植构建过程中，克服了greenplum没有spec文件等诸多技术难点，以手动创建spec文件等方式完成“从无到有”，以至“从有到优”，最终成功地将所有组件全部以rpm的形式迁移至OpenPOWER平台，方便用户安装。目前，所有软件源码已全部移植成功， 并且在实际的生产场景中，不但保证了各软件所有功能正常，且运行性能高于x86平台。

 

红旗软件OpenPOWER能力中心完成此项工作，是希望能从软件层面、开发工具、数据库、大数据包括云平台、高可用等各个方面，能够把一些开源软件放到OpenPOWER上，充分利用OpenPOWER的加速技术、CAPI技术，为软件加速，提高用户应用环境中软件运行效率。