新闻稿
红旗软件推出OpenPOWER 平台Hadoop技术服务
到2020年,电子数据存储量将在2009年的基础上增加44倍,达到35万亿GB。然而这并非数据存储的末日。在正在形成数据时代,企业与政府用户的的业务方向都将依赖大数据的积累与分析,如何保存、阐释、检索与分析海量数据,就成为用户们最关心的热点。近日,红旗软件推出了Hadoop大数据处理服务,为各行各业的数据中心和数据管理等难题提供了新的解决方案。
据了解,RedFlag在基于OpenPOWER平台上的Hadoop大数据处理服务中,构建了完整的hadoop ecosystem——包括的hadoop、hbase、greenplum、R、PHP、Haproxy LVs Perl ruby python go nginx Redis mysql postgresql等hadoop生态系统的相关软件。这些软件能在基于OpenPOWER的硬件、RedFlag OS的平台上有效提升了数据处理效率,快速扩展、监控和告警等功能则让集群管理更加便捷,从而实现轻松快速并经济地处理大量数据的需求。
Hadoop:最有价值的大数据处理平台
Hadoop于2006年1月28日诞生,至今已有10年,它改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,形成了自己的极其火爆的技术生态圈,并受到非常广泛的应用。目前已经被包括Google、Facebook、Twitter、百度等全球互联网巨头在内的商业企业所使用。据统计,全世界一半以上的数据涉及Hadoop,让其成为最有价值的大数据处理平台之一。不过,Hadoop同时也面临一些挑战,譬如本身的复杂性,以及企业如何将开源平台与自身架构整合等。
hadoop 主要用于大数据的并行计算,其中包括数据密集型并行计算、计算密集型并行计算、数据密集与计算密集混合型的并行计算。当下Hadoop的主要应用场景在归档、搜索引擎及数据仓库上面,各个机构使用Hadoop不同的组件来实现自己的用例。而在这3个场景之外还有一个比较冷门的场景——流处理,这块源于Hadoop 2.0可结合其他框架的特性,而在将来,Hadoop肯定会发展到联机数据处理。
Hadoop平台不仅能够推动企业内部的数据开放,还能够让每个人参与到报表、数据的研发过程。同时还能够实现企业的数据共享,特别是Hadoop队列,资源池,队列,任务调度器的机制,能让整个机型切换成多个资源,而不是以前的数据库,一层层的隔离去使用。
RedFlag: 全球首家提供OpenPOWER平台的Hadoop技术服务
从2015年初至今,红旗软件作为整个OpenPOWER产业链的核心成员,组建了专业化的“OpenPOWER能力中心”,与IBM的LTC team、奥斯汀的核心研发团队保持密切的深入内核层面技术交流。此次,红旗软件在OpenPOWER平台上构建了完整的hadoop ecosystem——包括的hadoop、hbase、greenplum、R、PHP、Haproxy LVs Perl ruby python go nginx Redis mysql postgresql等hadoop生态系统的相关软件。
红旗软件在本次Hadoop的移植构建过程中,克服了greenplum没有spec文件等诸多技术难点,以手动创建spec文件等方式完成“从无到有”,以至“从有到优”,最终成功地将所有组件全部以rpm的形式迁移至OpenPOWER平台,方便用户安装。目前,所有软件源码已全部移植成功, 并且在实际的生产场景中,不但保证了各软件所有功能正常,且运行性能高于x86平台。
红旗软件OpenPOWER能力中心完成此项工作,是希望能从软件层面、开发工具、数据库、大数据包括云平台、高可用等各个方面,能够把一些开源软件放到OpenPOWER上,充分利用OpenPOWER的加速技术、CAPI技术,为软件加速,提高用户应用环境中软件运行效率。