请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

揭秘阿里云EB级大数据计算引擎

ceoceo 2018-12-5 15:04:40 显示全部楼层 阅读模式
160000gl6vblvbofbcj9fk.jpg


内容来源:本文内容由阿里大数据计算服务(MaxCompute)团队投稿提供。IT 大咖说经受权发布,转载请标明出处。
阅读字数:2124 | 6分钟阅读
摘要

全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》,这是Forrester初次发布关于云数仓处理方案的测评。
日前,全球权威咨询与服务机构Forrester发布了《The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告。这是Forrester Wave初次发布关于云数仓处理方案(Cloud Data Warehouse,简称CDW)的测评。报告对云数仓的当前产品功能、产品路线和发展策略、市场表现等几个方面进行全面的评估,在产品能力排行榜中,阿里云力压微软排行第7。
160000mnr84nnz40i7zl0n.jpg


Forrester测评报告对CDW核心功能的评估主要从处理方案的多样性、数据集成、性能和弹性扩展、安全性等方面进行,Forrester给出的评价是:阿里云(MaxCompute+DataWorks+ADB)在广泛的基础设备之上提供了一个可靠的数据分析平台,能够满足客户实时和EB规模的数据处理需求。此前媒体已经报道了DataWorks的相关细节,今天我们就来聊聊MaxCompute。
EB级数据处理能力

首先来看一组数据。
2018年双11,MaxCompute单日数据处理超过600PB,平稳支撑电商混布单元在线流量洪峰12万笔/s交易,稳固承载45%导购流量,为双11交易峰值提供了有力保障和平滑支撑。
根据官方详情,MaxCompute是一种快速、完全托管的数据仓库处理方案,浅显地理解就是大型分布式数据计算,所以大规模计算是最基础的能力。MaxCompute已经是阿里巴巴的主力计算平台,支持了整个阿里巴巴集团内部99%的大数据存储和95%的计算,数据规模已达到EB级,上文提到的双11场景就很好地表现了规模这能力。
160001zmzp77o5idvwovlr.jpg


当然,它和传统 Hadoop 相比还有其它的优势。MaxCompute 向客户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的处理客户海量数据计算问题,有效降低企业成本,并保障数据安全。
整体来说有如下特点:

  • MaxCompute在计算引擎、分布式存储上做了优化,在Sort Benchmark中MaxCompute消耗的时间和成本都是最低,保证了最优性价比。
  • 服务器资源、集群规模都是动态的弹性拓展,无需客户关心。
  • 支持SQL、MR、迭代计算、内存计算、图计算等计算模型。
160001po2dyod1oa3syxo1.jpg


经历了大规模应用实践

据理解,目前MaxCompute正在为全球企业提供大数据计算能力。阿里巴巴通用计算平台负责人关涛曾表示,“在公共云上,MaxCompute每年以250%的客户量和计算量在增长,并在全球十几个国家和地区部署服务,为当地企业提供计算力。”
例如,城市大脑的底层就在使用MaxCompute做存储和大数据计算,支持了杭州、澳门、吉隆坡等城市进行智能化更新。这其中,由MaxCompute、PAI、流计算服务组成的计算平台发挥了巨大的价值。
160001ane0aytqybyn7sjl.jpg


不仅如此,MaxCompute在各大行业已经有广泛应用:
天气预测有着广泛的需求群体,每天几亿次的天气查询需求和近几十亿次的广告请求, MaxCompute则很好地应对了这一挑战。MaxCompute帮助墨迹天气实现了对每天上亿客户的天气查询需求的快速响应和几十亿次广告请求的精准投放。 互联网保险行业,MaxCompute帮助众安实现精准的客户画像分析,助力企业为数亿客户提供数十亿的保单服务,提升企业效率的同时,为亿万客户送去健康与安全。
总而言之,只需有海量数据处理需求的场景,MaxCompute都能通过阿里云为客户提供快速、稳固的计算能力。
总结

从Forrester的本次研究报告可以看出,大数据技术已经进入CDW阶段,在广泛的基础设备之上提供一个可靠的数据分析平台,满足客户实时和大规模数据计算成为核心需求。
MaxCompute作为大数据计算平台,不只是单一引擎,更是面向企业的完整服务。在过去10年中,MaxCompute稳固支撑阿里集团所有数据业务的同时,早已将强大的数据能力普惠给广泛的云上企业。基于MaxCompute构建稳固、安全、可扩展及与应用系统高效交互的数据中台,已成为众多行业下客户数字转型的首选方案。
编者:IT大咖说,转载请标明版权和出处
回复

使用道具 举报

大神点评1

yxj507 2018-12-5 16:00:02 显示全部楼层
但是心灵美裂
回复

使用道具 举报

*滑动验证:
您需要登录后才可以回帖 登录 | 立即注册