请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?

链接在这里 : Sort Benchmark Home Page
回复

使用道具 举报

大神点评14

查看资料 2019-8-23 14:40:33 显示全部楼层
利益相关:阿里巴巴Hadoop/Spark工程师

对比一下去年的FuxiSort(http://sortbenchmark.org/FuxiSort2015.pdf)和今年的Tencent Sort(http://sortbenchmark.org/TencentSort2016.pdf),某位匿名用户已经将配置做了简单的对比,我更加有空一点,把具体的硬件参数算一下(如下图)。
如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?-1.jpg

下面的是具体的计算过程,请指正:

1. CPU
FuxiSort:2 Xeon E5-2630(6核) 3,134台,2 Xeon E5-2650v2(8核心) 243台,都是支持超线程。线程数 = 24 x 3134 + 32 x 243
Tecent Sort:2 OpenPOWER 10-core POWER8。线程数 = 160 x 512

单看CPU线程数差别不大,不过Fuxi使用的E5-2630是2012 Q1上市,2015年Q2停产,是一款比较老的CPU,而POWER8主要是被用在IBM的P系列小型机(IBM Power System),是当前量产的最高级IBM POWER系列CPU。两种CPU的性能不太好比,不过在腾讯的报告里提到CPU平均利用率是10%(峰值70%),所以CPU应该不是这次benchmark的性能瓶颈。

相关链接:
Intel® Xeon® Processor E5-2630 (15M Cache, 2.30 GHz, 7.20 GT/s Intel® QPI) 规格
Intel® Xeon® Processor E5-2650 v2 (20M Cache, 2.60 GHz) 规格
POWER8 - Wikipedia

2. 内存
FuxiSort:96 GB 3,134台,128G 243台。总内存 = 96 x 3134 + 128 x 243
Tecent Sort:512 x 512

两个系统内存都超过了250TB,足够放下所有的待排序数据,所以排序中间数据都可以放在内存中(可以参考今年cloudsort获胜所用的集群[http://sortbenchmark.org/NADSort2016.pdf],同样100TB sort使用的磁盘总容量在210TB左右,内存只有3TB),在腾讯的报告中提到所有中间数据都放在ramdisk。所以,虽然Fuxi集群有更多的内存,但在实际排序中应该不会占更多优势,内存资源也不是性能瓶颈

3. 磁盘
FuxiSort:(假设SATA磁盘读取速度是60MB/s),60 x 12 x 3377 (MB/s)
Tecent Sort:(在报告中提到单机10GB/s,每块NVMe达到2.5GB/s,没见过这种大杀器。。。),10 x 1024 x 512 (MB/s)

SSD特别是NVMe的性能优势展现出来了,实际上除了throughput,一般IOPS也在sort benchmark中也同样重要。因为shuffle阶段会出现非常多小文件(512M一个partition的话,20w x 20w,出现400亿的文件或小块读,最小文件才2.5KB),需要对文件做合并才能跟上磁盘的IOPS。所以近三年graysort和cloudsort的6个冠军(2014年graysort并列冠军,2014年UCSD同时斩获graysort和cloudsort,但使用了两套不同配置的集群)中有5个使用了SSD,只有FuxiSort使用了SATA,特别是对成本非常敏感的cloudsort参赛方也都使用了SSD。不过当内存足够时,shuffle阶段产生的临时文件都可以写到ramdisk,这样对IOPS的要求也没这么高。

4. 网络
FuxiSort:(单机上联10Gbps,但是有1:3的收敛比,也就是当机器同时达到网络峰值时,每台机器最多使用3.33Gbps网络),10 / 3 x 3377 / 8
Tecent Sort:(单机上联100Gbps,同时看网络架构图leaf switch上下联都是16根 100Gbps,应该没有收敛比),100 x 512 / 8

网络吞吐量应该是Tecent Sort优势最大的一个,总量是fuxi sort的4.5倍

软件方面:

Fuxi是阿里内部的大数据平台正在使用的调度和计算框架( 阿里云ODPS的愿景、技术实现与难点  ),所以fuxi sort的成果能直接反映到内部系统的改进中。

Tecent Sort的涉及到系统软件方面的内容不多,只提到了OpenMR这个高性能计算框架,和当前主流的大数据技术有较远的距离(也可能是我才疏学浅的缘故)。年初和腾讯数据平台做Spark技术的朋友沟通,得知他们在搞graysort,还以为他们会采用当前主流的开源大数据技术参赛(spark、flink等),结果还是稍微令人失望。

总结:

分析了CPU、内存、磁盘和网络等硬件基础设施,CPU和内存两套系统差别不大,同时也不是性能瓶颈。磁盘和网络方面Tecent Sort优势明显,分别有2倍和4.5倍的差距,从最终成绩看Tecent Sort用了FuxiSort 1/3左右的时间,基本上反映了硬件的差距。另外,FuxiSort采用的硬件是当前Hadoop等大数据平台的主流配置,参加比赛的机器和网络设备应该和线上规格差别不大,大批量采购的成本较低。Tecent Sort使用了大量新硬件和未来可能的基础架构,采购价格应该不会低(当然也不排除厂商为了推广新技术免费提供硬件和技术支持)。最后,如果我的计算没错的话,以Tecent Sort磁盘最低5TB/s的吞吐量,如果sort过程全部流水线化,100TB理论最优成绩是20秒,但是今年实际最低是98秒,优化的空间还是非常巨大的,估计腾讯的同学还留了一手,明年的竞争应该会更加激烈。
回复

使用道具 举报

wuyanyang 2019-8-23 14:41:28 显示全部楼层
看到的,贴过来。侵删。



今天被本来该说双十一,却被那个排序大赛撞了一下腰,先是腾讯云说自己摘取了四项桂冠,接着阿里云又说拿了两项冠军。


排序大赛(Sort Benchmark)到底是个啥?吃瓜群众表示不明白,去官网恶补了一下,苦于功力实在有限,只能胡乱解读了。


如何通俗理解排序大赛?


说白了,就是给数字排序,数字很多很大。
数之多,一顿吃不完,数之大,一锅炖不下。
比赛官方有专门的数据生成软件,叫做“gensort Data Generator ”,用来生成待排序的记录,每条记录有100字节,总数据量可多达几百T。

具体比赛,分几种玩法>>
Gray排序比赛:根据这个玩法的发明者Jim Gray来命名。Gray排序的规则是,甭管用什么样的架构和硬件,至少完成100TB的数据排序,谁用的时间少,谁就牛逼。

Cloud排序比赛:这个有意思,租用公有云来完成排序,完成100TB的数据排序,谁花钱少谁就算赢。这是考量性价比的比赛。

Minute排序比赛:顾名思义,在不计成本的前提下,谁在1分钟内完成的排序数据多,谁就获胜。
……
详情可以看这里:Sort Benchmark Home Page


如何看待腾讯与阿里的成绩?

腾讯的获得了Gray排序和Minute排序的冠军,每项排序由分为通用场景和专用场景,所以总共是四项冠军,看了规则我们就会明白,Gray排序的冠军一般都会是Minute的冠军。

看看他们的系统硬件配置吧:
512个节点,每个节点配置两颗OpenPOWER处理器,512GB内存,4块华为 NVMe SSD盘,100Gb Mellanox网卡。真是亮瞎眼,不的不说十八摸、大菊花、卖螺丝,三家硬件供应商都牛B闪闪,给足了料。



企鹅100TB的排序速度是98.8秒,对比下阿里去年的夺冠数据是329秒,确实快了不少。
但是不要忘记一点,Gray排序是不计硬件成本的,理论上讲,单个机器的配置越高,集群调度的能力越强,排序成绩就会越好,因为排序算法本身没什么奥妙,大学课程<计算方法>我们就学过了。


这个恰似当下超算圈的比拼,或者是造原子弹,属于单目标系统,只要向着KPI目标努力,以国内BAT的能力,我相信都能做到,属于实力的象征。
但绝非独领风骚。就像原子弹,我放了一炮,证明有这个能力了,但只能用于核威慑,对吃瓜群众来讲,意义不大,没有推广意义。

额外八卦一下阿里去年的夺冠配置:3134个节点,每节点两颗至强E5-2630,96G内存,12块SATA硬盘,10G网卡。这些机器的配置比起来,可就土鳖之极了。



看看排序规则,所有的数据必须要“落盘”,不得使用缓存来预读,特别考验磁盘IO能力,所以我们看到腾讯选了顶级的NVMe SSD来应对,但阿里这个配置竟然是SATA盘。

这种排序,算法都很简单,核心考验的是集群调度能力。所以,调度一大堆“烂机器”来排序,一定比调度较少的“牛机器”来排序,更具备技术含量。(只是我的臆测,也许不对

百度是上上届Gray排序冠军、阿里是上届冠军,他们有没有能力拿更高配置的硬件来获得更好的成绩呢?我想都是有的。

阿里上届夺冠以后,就被网友喷得很厉害,说他们花钱放卫星,不计成本,只为了跑个好数字。所以,这届比赛,阿里学乖了,不造“原子弹”,改造“AK47”了。

什么是AK47,就是这个Cloud Sort,基于公有云平台,租用资源完成排序,最后按照花钱的多少来评判优劣,就像超算比拼,现在人们更看性能功耗比一样,排序能力,更有价值的应该是每TB排序成本,性价比为王。


阿里巴巴CloudSort排序配置和成绩

CloudSort就像AK47,经济实惠,吃瓜群众也有机会Biu~Biu~Biu~,所以,这次Cloud排序的夺冠主体是南京大学(还有阿里和DataBricks配合),租用了阿里云的资源。
这把AK47的成本做到了每100T数据排序,只需要144美金,而云是按需付费的,未来,吃瓜群众拿着这把AK47,想Biu多少,就Biu多少,具备实际应用价值。但Gray排序是原子弹,就只能给大公司当“核威慑”用。

所以,这次比赛,我也必须学习网友,喷一喷腾讯:明年别放原子弹了,也造一把AK47吧。

去年,阿里Gray排序拿冠军的时候,阿里云的PR稿件铺天盖地;而上届的Cloud排序冠军,恰恰是公有云的老大AWS。
今年,腾讯Gray排序拿了冠军,腾讯云的PR稿开始普天盖地,而阿里云则拿了Cloud排序冠军,改写了AWS的记录。
AWS,似乎早已不再Care什么排序,因为那个记录,是它在2014年创造的。


我想,这也许,就是阿里云和AWS的差距,也是腾讯云和阿里云的差距。



排序大赛(Sort Benchmark)里的原子弹和AK47
回复

使用道具 举报

khsy2002 2019-8-23 14:41:33 显示全部楼层
阿里去年的冠军和腾讯今年的冠军哪个更牛逼?

阿里去年用贫铀矿造了原子弹,腾讯今年用富铀矿造了一个爆炸当量更大的原子弹,我只能说用贫铀矿造的工艺更复杂一些,至于他们谁技术更牛逼,没法比较,除非两家都用相同的原材料造出来比。


阿里和腾讯造这种原子弹到底有没有意义?

当然有,核威慑的价值大家都懂,这也许是两个公司技术实力的一种证明,他们造原子弹的技术都是脱胎于各自的业务场景的,比如阿里的电商、腾讯的IM,其实裸拼爆炸当量的大小,并不能证明两者能力的高低。他们需要用这种造原子弹的能力,让自己的业务跑得更好,让全人类都能享受到“核辐射”的光环,比如让支付宝在双十一高峰期不会挂掉几分钟,让微信公众号在企鹅18岁生日那天能把二维码刷出来。
除此之外,都是浮云。


阿里云今年造的AK47比AWS在两年前的AK47如何?

从指标上,是阿里云是胜了一筹,但是别忘了两年过去了,公有云资源的价格也降低不少。还有更重要的,阿里云造这把AK47,需要用户在阿里军火专家的指导下才能开火使用,才能打出好成绩。而两年前AWS的AK47,是吃瓜群众自己开枪打的,如果是AWS的军火专家亲自开火,那胜负的结果就很难说了。
但是AWS的军火专家根本不屑管这个。
回复

使用道具 举报

emhudjqhln 2019-8-23 14:42:10 显示全部楼层
腾讯真的非常非常土豪,用不打算商业化的 openpower,100GB的网络,加nvme 来放了个大炮仗。这样做除了拿奖外还有多少现实意义呢。
回复

使用道具 举报

ASUKI 2019-8-23 14:42:27 显示全部楼层
对于这个结果,第一个感觉是中国云计算的发展速度确实很快。

   Sort Benchmark作为云计算领域的奥运会,Sort Benchmark的结果对于云计算厂商的实力来说,还是有指导意义的。

阿里云和腾讯参加的是sort benchmark下的不同比赛,阿里云参加的cloud sort比的是性价比。 腾讯参加的是gray sort和minute sort。

但是个人认为,阿里云的这个第一,比腾讯云的第一,对于国内云计算领域和相关生态行业来说,更有意义。

不说话,先上图。

如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?-1.jpg
腾讯云

如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?-2.jpg

阿里云

第一点,从报告里可以看出,腾讯云是用的物理机,并且是基于POWER的,而据笔者所知,腾讯现在自己并没有POWER的商用产品,而本次测试的机器更是配置逆天。(小型机的CPU,NVMe的闪存,内存,以及现在非常非常贵的100Gb网卡。)

这样的硬件配置在现实环境下你懂的.....(你在腾讯云也买不到这个配置)

而阿里云是用的商用的ECS,基于x86架构,是目前最主流的技术。基本上就是可以在阿云网站上买的售卖产品。

这个世界上,永远是主流的技术跟着第一梯队,希望超车的技术紧跟第二梯队。第二梯队超车的前提是,要有无数小白鼠前仆后继。

这两者的差距,就像是用概念车比赛和用量产车比赛的差距,之所以说是概念车,因为这个架构也没有用于腾讯内部的任何业务。

不管是对于用户来说,还是行业来说,他们更在乎的是技术能力转化成可以普惠他们的技术红利,这一点上,腾讯云还有一段路要走。

从Sortbenchmark网站上看,近五年来获胜的团队没有通过硬件堆砌来赢得比赛的(这是POWER产品近五年来第一次出现在Sortbenchmark上),反而都是通过自己的商用产品,通过优化证明实力…其中不乏亚马逊,微软,谷歌…

第二点,阿里云获得的是Cloudsort的奖项,Cloudsort是业务在云平台的性价比,阿里云CloudSort记录将世界计算成本降低到1/3,计算成本下降了,性价比更好了,毕竟很多中小企业还是很在乎这个的。

第三点,在架构选型上,刚刚上面也说了,x86更流行,Power太小众,虽然最近IBM,在力推OpenPower,但是在目前的生态环境下,还很难大规模部署,腾讯用的是IBM的power8系列CPU,是应用在小型机上的,所以腾讯会不会有这个产品推出,还很难说。

对了,还忘了说一点了,去年GraySort的冠军是阿里云。

今年阿里云获得Cloudsort的冠军,说明阿里云已经从聚焦技术领先转向如何把领先的技术转化为技术红利,获得商业竞争的优势了,这也是阿里云现在体系迈向成熟的体现,毕竟咱们需要的还是一个稳定,合算的云计算厂商。

总之,从供应链,操作系统,虚拟化,网络,存储到计算能力,中国的云计算应该是处于世界前列了。

这个比赛的赢家,过去一直是属于AWS和谷歌的,这也说明了阿里云和AWS在IAAS能力上已经不分伯仲了。

Cloudsort去年纪录没有人打破,阿云打破的是AWS之前创造的纪录。

接下来要拼的,应该是谁来释放技术红利,推动真正的技术变革和cloud native了。

当然,还有谁能聚合生态圈的小伙伴,一起来玩,一起推动这个行业发展。

最后,总结两句:

腾讯很努力很拼,造了一辆“比赛车”,长此以往,拼硬件,可能明年就变成全球超级计算机大赛了。Sort Benchmark更崇尚计算、优化的精神,而不是希望通过硬件堆砌来获胜。
阿里云则在云计算性价比这块,又赢了...
回复

使用道具 举报

kyokyo 2019-8-23 14:43:14 显示全部楼层
在这次竞赛中,腾讯云数智分布式计算平台,夺得Sort Benchmark大赛GraySort和MinuteSort的冠军,总共创造四项世界纪录,将去年阿里云的纪录整体提高2倍到5倍。腾讯名列全球大数据第一梯队领军企业,这也是全球大数据性能进化史的重要里程碑。

业内人士评价,今年评测的结果显示,腾讯在大数据的技术积累超出了业界想象,未来腾讯持续向中国企业输出大数据和云计算能力,将会让中国更大范围的参与全球的商业竞争,提升中国经济在全球经济的市场占有率。
全球计算奥运冠军花落腾讯,腾讯云数智打破4项世界纪录

现在看到业内人士就想笑,刚吹过的牛逼就被打脸了。

我就贴图,不说话。

如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?-1.jpg
如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?-2.jpg
如何看待腾讯云在Sort Benchmark 2016年排序竞赛上打破记录和其意义?-3.jpg
回复

使用道具 举报

月光情人 2019-8-23 14:43:24 显示全部楼层
不谈任何公司结果,就谈规则。Grey Sort有它的问题,但Cloud Sort也是。

1. 公有云竞价实例普及多年,aws上竞价实例价格和普通实例价格差一个数量级,这决定了Cloud Sort只要不是竞价实例做的就根本没有意义谈费效比。而Cloud Sort比赛是不允许用这类实例的,这等于是把$/TBytes低好几倍的选项排除了,然后反过来再谈费效比。这个美元计价的成绩也很喜感,央行汇率左右最后成绩:过去6个月,咱啥也不干就能有5%“性能”提升。

2. Grey Sort如果说堆硬件,那不支持竞价实例的公有云也堆硬件放卫星,整个公有云环境闲置机时数据一定很壮观,这和公司无关。而即使有了竞价实例,比如aws和google,闲置蛋痛依旧:继续以aws为例,它长期超低的竞价实例价格本身就恰恰说明大量计算资源是闲置的。在被彻底浪费和被廉价通过spot instance方式甩卖之间,商人正确选择了推广aws的spot instance。堆硬件是浪费,云环境的闲置机时也是浪费,方式途径稍稍不同而已。
回复

使用道具 举报

dengjing 2019-8-23 14:43:45 显示全部楼层
排序性能的问题,和CPU计算能力以及内存有很大的关系,这么说,如果有一台CPU计算能力巨大且内存也巨大的单机,足以把100TB的数据全部加载到内存里,那么100TB的数据排序也就是秒级。但理想很丰满,现实很骨感,现在真没有这样一台单机,就只能用多节点分布式计算的方式来进行排序,分布式排序会导致计算节点间的数据交互,那么影响排序性能的除了计算能力和内存容量,还涉及到计算节点间的网络吞吐量和磁盘io性能以及集群调度算法等影响因素。

不多说了,言归正传,先看16年腾讯和15年阿里参赛所用的硬件配置:
腾讯:512个双路Open Power CPU   256TB内存   NVME SSD 100G网络
阿里:3000多个双路志强CPU,约300TB内存  SATA  10G网络

计算能力比较上,由于我不了解腾讯使用的是Open Power到底哪个型号,很难对比,不过1路open power VS 6路 Xeon 2630(6 core)很难说计算能力强多少.
内存上腾讯劣势,
网络腾讯占优
磁盘io能力腾讯占优,不过排序算法的特点决定了是顺序IO,并不涉及到随机IO,而磁盘的顺序IO能力其实已经很强了,那么这点上腾讯的优势有限
当然有TX说阿里3000多节点,更考验集群的调度和协作能力,不过我个人觉得3000多节点和512节点比,很难说集群调度能力上能有多大的挑战。
做完硬件配置的比较,可以看出来腾讯并非占据了多么巨大的优势,那么取得这样一个成绩为什么被那么多人鄙视?毕竟人家腾讯也是满足了Sort benchmark的主办方规则。

我们再来看下 14年参赛的另外两家的情况:
加州大学的Tritonsort:186个AWS EC2 I2.8xlarge 32vcpu 244G内存 8X800GB SSD 1378秒
Databricks的 Spark: 207个AWS EC2 I2.8xlarge 32vcpu 244G内存 8X800GB SSD 1472秒
15年阿里的成绩是他们的3倍多,但考虑到这哥俩一个是大学,一个是Startup,没能力学土豪堆积硬件,只能租用Amazon在售的虚拟机,且无论是计算能力还是内存都远远不如土豪们时,还能跑出这样的成绩,个人感觉阿里和腾讯夺冠,多少都有些黯然失色,不服的可以比较下这哥俩和腾讯阿里分别都为比赛花了多少成本,不是谈性价比么?哈哈......

最后也谈谈阿里今年拿的cloud sort的冠军,这个比赛就不看配置了,总之今年阿里的性价比是14年加州大学Tritonsort的3倍, 不过14年是加州大学独立参赛,并没有联合AWS,而且是用的AWS的在售虚机,属于大学为了探索低成本研究的项目。而阿里云这次参赛,是联合了南京大学,Databricks一起参赛。这里有个问题,底层计算集群和排序调度算法是Databricks的呢还是阿里的?如果是Databricks和南京大学的,那就是纯粹比各厂商VM的性价比,不妨在AWS,Azure,腾讯云,Ucloud,百度云啥的都跑一下,再出个报告,反正跟集群算法无关,多简单明了?如果是阿里的,那么阿里请Databricks和南京大学这两哥们干嘛?另外全是阿里的专有技术别人也不会用,性价比再低有多大意义?作为云厂商,你实实在在的把阿里云的性能和稳定性做好,价格比别家优惠,比啥都重要,这种比赛和测试,交给第3方用户去玩就好了,说白了,客户说好才是真的好,自己说好没用!

本人才疏学浅,文章错谬一定非常多,也就是吐个槽而已,各位知友不用放在心上,因为考虑到吐槽的对象,是天朝最有权势且如日中天的两家互联网公司,为了避免不必要的麻烦,就可耻的匿了.......
回复

使用道具 举报

静静的读你 2019-8-23 14:44:12 显示全部楼层
这些机器就值几十亿,真土豪
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册