实时计算如何实现秒级响应?易观CTO郭炜揭开谜底!

2017-02-06 来源:易观

本次着重从整体上对易观实时计算进行介绍,后面会深入到实时计算的内部,分享易观在实时计算和实时分析技术上曾经遇到的那些“坑”,敬请期待!

大数据在近几年成为一个火爆的名词,而企业针对数据的分析从未停止过。从过去的决策支持,到现在普及的精准推荐乃至未来基于实时分析的AI交互,大数据以及相关技术一直是这些业务发展的基石。

易观的实时计算框架是“秒算”,它支持易观百亿级别数据的获取、存储和计算。实时计算核心包括数据的实时获取和数据的实时计算两部分,对于高性能并发的要求是秒级响应。易观的“秒算”是结合开源计算平台、自主研发SDK和接收系统研制的实时计算框架,目前支持AndroidIOSWebH5和微信小程序的实时计算,支持每日百亿级别数据并发。

实时计算框架首先需要解决数据的实时接收的问题,在网络带宽、接收性能、安全防控等情况下,如何实现海量并发数据平稳接收具有较大挑战。易观采用混合云架构实现百亿级超长数据包的接收,接收端使用公有云弹性扩展,在公有云的基础上利用Edge-computing技术实现云+端的混合计算和策略控制。

云端的主要策略有时间间隔、失败、清洗、分流等策略,对应的设备端也有预先计算、失败、更新、保活等策略配合,处理端则利用私有云平台独占性能、技术迭代迅速、投入TCO可控等优势,这样的混合云架构抗住了每日150亿条 2GB接收数据带宽的生产环境检验。

数据接收端与后台实时计算相结合,实现了百亿级别的数据采集和计算。易观的实时计算整体架构如下:

实时计算架构图

第一部分是数据源层,接入该部分从前端业务系统获取数据;

第二部分是公有云的数据接收层,这部分主要是接收调度策略和分布式接收服务;

第三部分是数据层,这部分是整个过程的核心,最重要的是实时处理部分,数据从接入层接入,经过实时处理后落入HBase集群,其中由基础支撑平台对整个处理部分提供支撑;

第四部分是服务层,这部分由各种面向场景的引擎组成;

第五部分是应用层,目前支持的产品是易观方舟。

易观在实时计算方面有不少应用场景,主要应用场景有:

1. 易观H5实时计算

易观H5实时计算

H5实时计算主要是实时展示数据的采集和清洗次数,当日新增用户、活跃用户、用户打开次数、实时用户行为等信息。

2.易观方舟——实时计算流量数据

易观方舟——实时计算流量

易观方舟产品实时计算部分主要是实时展示当前浏览用户数、访客数、新增访客数、独立IP数及访客行为信息,可以显示某个顾客的实时来访记录,同时跟踪显示访客当前正在访问的页面等信息。

3. 易观方舟——事件漏斗分析

易观方舟——事件漏斗分析

事件漏斗转化能支持多种维度下总体和细分事件的实时分析。

4.易观微信小程序实时数据展示

易观微信小程序实时数据展示

易观自主研发的小程序SDK,集用户运营分析、转化分析、用户画像、应用评价等数据分析功能于一身,通过实时分析技术将企业小程序的数据实时采集到云端,经过大数据加工计算实时展现小程序相关数据。

本次着重从整体上对易观实时计算进行介绍,后面会深入到实时计算的内部,分享易观在实时计算和实时分析技术上曾经遇到的那些“坑”,敬请期待!

易观社群

相关文章