如何扛住流量“洪峰”，是每年“双十一”的技艺大考。随着流量的飙升，这一大考没有疑变得越来越难。

“双十一”刚过，各大电子商纷纷推出当日战绩。从日前推出的数据不难瞧出，本年“双十一”的定单组建量峰值创下新高，单日数据料理量记录也再一次被刷新。

“双十一”的数据量不但大，还会实时浮动。可行说，每个购物数据皆是个性化的、动态的，达成料理他们的事业，须要有强盛的计算能力作为支撑。

“本年的数据料理事业，除了批料理（对数据发展批量料理）外，另有流料理，便是实时料理数据。巨大的买卖数据每分钟、每秒钟全在变，他们其实不是从数据库内部统算出去的，却是体系自动一层层把他们汇集上来的。”阿里巴巴团体首席技艺官张建锋显示。他口中的“流料理”便是流计算，即实时计算。关于扛住“双十一”流量“洪峰”，它功不可没。

那末，甚么是流计算？它是如何抗住“双十一”流量“洪峰”的？对此，科技日报记者采访了业内行家。

以内存取代硬盘实现迅速料理

北京理工大学计算机学院副院长、教授刘驰在接纳科技日报记者采访时解释道，流计算指当一条数据被料理完后，立刻被序列化到内存中，接下来经过网站传输到下一种节点，由下一种节点接着料理。“这类流式料理技艺，所以内存取代硬盘的形式来实现数据迅速料理，这是流计算之是以能够高效料理数据的基本原因。”他显示。

据刘驰推荐，流计算具备高功能、海量式、实时性、分布式、易用性、可靠性等多项优势，最重要的的利用方向有，对金融与科学计算中的数据发展迅速运算和剖析；对存留于社交网络、电子邮件、视频、手机纪录、电子感应器中的数字格式消息流发展迅速料理并反馈等。

“流式料理可被用于两种不同的计算情景：事故流和持续计算。”刘驰推荐道，在事故流情景，体系会持续发生大批的数据，这种数据最早显露在银行和股票买卖范畴，也会在互联网监控、没有线通信等范畴显露。这点范畴的相干营业，须要流计算技艺以近乎实时的形式对数据流发展繁杂剖析。

“而在持续计算情景，例如大型网络，流计算技艺可行动态实时地刷新使用者访问数据，展现网络实时流量的浮动概况，剖析每天各小时的流量和使用者分布概况。少许须要实时料理数据的情景也能利用到流计算技艺，例如对依据使用者举止发生的日志文献发展实时剖析，对使用者发展商品的实时介绍等。”刘驰推荐道。

实时采集、实时计算、实时查询

刘驰向记者推荐道，流计算的料理过程通常包涵三个阶段：数据实时采集、数据实时计算和实时查询效劳。

起首，后台事业人士会用实时数据集成用具，将数据实时传输到流式数据存储体系。详细进程是，体系将长时间累积的大批数据，平摊到每个计算时间节点，数据会被不断地发展小批量实时传输。此时，数据将来会被源源不停地写入流数据存储体系，不要预先加载的进程。同一时间，在此进程中，数据是持续流动的，在计算达成后就会被立刻丢弃。

接下来，不同于批量计算等候数据集成悉数达成后才发动计算作业，流式计算作业是一个常驻计算效劳，一朝发动将一直处于等候事故触发的状况，即一有小批量数据映入流式数据存储体系，流计算体系就会立刻计算并得出结果。“同一时间，部分电子商平台的流计算团队，还运用了增加数量计算模子，将大量量数据分批发展增加数量计算，进一步降低单次运算范围并有用下降全体运算时延。”刘驰说。

最终，采纳数据批料理形式，平常须要等候数据计算结果得出后，才能批量将数据传输到在线体系。而流式料理形式可在每一次小批量数据计算事业达成后，就立刻将计算结果写入在线体系。“这样没有需等候悉数数据计算事业达成，咱们就可在流计算数据查询体系中，查询到在线体系的数据料理结果。技艺人士也可将实时结果发送给可见化体系，以实现计算结果的实时化展现。”刘驰说。

技艺虽强盛但仍存留短板

只是，刘驰显示，流计算尽管强盛，也存留技艺短板。

“假如在体系内存不足的概况下，还要满足若干使用者的数据要求，那末每个使用者实质被分到的内存就会很少。此时，利用流式料理技艺后，源于内存要求量增添，体系会把本来分给若干使用者的内存资源，悉数分给一种使用者。其它须要内存的使用者，则会由于无内存可用，被强迫映入等候状况，直到那个所占内存资源使用者退出后，其它使用者才能运用内存。”刘驰说，同一时间，实时的计算环境会源于各式各类的原因，例如网站延时等，导致程序到达计算节点的顺序显露浮动。

“另外，流计算技艺面临的是源源不停涌入的数据，而假如还像批料理那样来计算数据的话，就可能会导致计算基本没有办法完毕，或随着时间的推移须要保留的数据越来越多，给内存形成庞大负担。”刘驰补充道，“数据不停发生，就须要计算持续发展。但计算时间一长，出难题的几率就会大大增添。一朝显露难题，少许在计算进程中缓存下去的数据该被怎样长久保留、怎样规复就会成为相比大的难题。”

来自：科技日报

作者：崔 爽

编辑：陈晨