师夷长技以全球 易观A10峰会聚焦大数据技术

易观 2016-10-30 18:08:12   27

大数据技术风起云涌,各类大数据平台层出不穷。1028日上午,易观A10大数据应用峰会主论坛《大数据基础框架设计-实时分析技术平台洞察与实践》9点正式开始。峰会由清华海峡研究院大数据中心主任王熙担当主持!易观邀请到国际主流的大数据开源项目负责人一起讨论在新形势下大数据平台的技术新动向。同时结合具体的实际案例,帮助企业了解不同分析场景下适合的大数据技术,从而提高企业由数据到信息的转化效率,将数据转化为价值,为企业发展提速。

首先出场的是易观郭炜,他在洞察信息时代的海量(Volume)、快速(Velocity-太快、多样化(Variety)的“3V”属性的基础上,分析《企业大数据的实时分析之路》。鉴于数据永远是“临时的”,分析永远是“有时效性的”,AI将是企业的最终目标,实时数据分析是AI的基础,演变会有一个过程。主要分为企业内部数据BIDashboardOLAPReport…)、企业大数据分析(日志分析、用户画像、推荐引擎…)、企业实时大数据分析(实时渠道分析、实时场景推荐、实时风险评估…)、企业AI应用(智能机械、智能交互、智能策略)等。企业要做AI进行有效的实时分析,要注意四个要点:1.选择适合的业务:产品出口、评估企业ROI2.实时数据源生态:夯实基础、困难的实时数据来源;3.适合的实时架构与算法:打造能力、实时分析实时计算;4.产品出口:实现突破、对内分析vs对外服务。

Cloudera中国区副总裁、大中华区总经理刘隶放带来《跨公有云的混合大数据架构》。他认为只有数据处理才能带来利润,基于现在的数据架构要求行业做到:1.开源且开放。有生态支持,开发上下游的产品;2.统一的架构。用以规划企业未来发展,避免数据孤岛;3.企业级支持,如服务支持、培训、认证等;4.云就绪。Apache Hadoop日益成熟,Cloudera企业版安全、开放、稳定可以降低运营成本,产生新洞察、新营收,保证数据安全。

Alluxio创始人兼CEO李浩源分享《构建高速大数据融合存储平台》。不同的数据中心拥有内存一样的访问速度,不同数据系统中的数据做了虚拟化、Scale-out架构、文件系统API。数据开源的Alluxio能快速实现新数据源的融合,使上层框架可以专注高效的创新,使下层框架可以专注更高效的存储。内存为核心的架构性能更强大、计算和存储的可伸缩更方便,我们有更多选择Alluxio的理由。

Kyligence联合创始人兼CEO韩卿演讲《基于Apache Kylin的实时OLAP实现》。作为中国唯一的Apache顶级开源项目,Kylin在万亿数据规模下,实现秒级/毫秒级 的实时计算,下一目标是Real Real-Time。同时,韩卿提出实时OLAP的实现有四大挑战:1.从数据查询低延迟,到数据可达低延迟;2.现有Cube 构建基于批处理;3.T1模式可以满足绝大部分需求,但越来越多的业务希望做到实时或者近实时;4.流数据源越来越多,给我们以更多思考。

Pivotal Greenplum中国研发总经理姚延栋以《Greenplum 5.0 Roadmap为例,详细介绍Pivotal Greenplum主要研发优先级、如何从一款成熟的企业级商业软件到开源,并利用Greenplum提供的解决方案取得性能提升和安全保障。目前,开源后的Greemplum正在和postgresql最新版本进行合并,将于明年推出的5.0版本新增json支持,xml增强,全文索引等postgresql新功能,让与会者充满期待。

论坛最后,清华海峡研究院大数据中心主任王熙主持圆桌对话《大数据实时计算应用与分析》。与会嘉宾就大数据实时分析与计算如何创造价值发表讲话,畅叙业界公司如何应用大数据和开源软件,如何跨越过去、承前启后、创造价值,并对行业未来发展趋势做了大胆预测。

Anchora董事长兼CEO鲁为民以Anchora为例分享国内市场的应用。Anchora基于开源和开放的相关性、云计算系统的复杂性、开源带来的生态,以开源软件向企业提供云平台解决方案。未来,谁拥有整合PaaS平台下众多基础软件的核心能力,谁就能更好的应用大数据平台软件,并形成竞争壁垒。

Admaster技术副总裁卢亿雷让我们看到大数据系统与用户需求的融合。100%用大数据系统和软件的Admaster,会依据不同阶段、业务场景来选择;从第一阶段的实时插入、查询等简单方案,到高阶段时的分阶段渐入和分场景使用,能快速与用户沟通。

云杉网络联合创始人兼COO来源,以云杉为例点评SaaSPaaS在应用层和开源软件的应用关系。作为中国国内做SDN整个产品以及服务的提供商,云杉给行业提供基础网络服务,保证IaaS稳定运行,并和大数据运维发生关系。随规模变化的IaaS是数据产生的金矿,SDN的控制数据分离、集中控制网络、有可编程的控制器等特点,将给企业带来两个好处:一是,更细度的网络调度和控制。二是,网络上的智能。

以跨界合关键词和千亿级IOT收集数据为关键词,与会嘉宾对未来三至五年发展进行预测。易观郭炜认为:未来产业发展三大趋势,一是在大数据从广告推介转到场景引擎、AI人工智能时,明确定义自身目标。二是选择合适的方案。包括业务来源问题和计算平台问题;三是明确解决场景。或解决决策更优化,或解决产品质量,或解决在投广告,都要选择合适的触达点,都将沿着实时化、智能化、解决实际问题三个方向发展;韩卿认为各产业的自动化将在数据领域催生更多智能的工具;来源认为网络会朝着更细粒度调度和更智能的方向发展;鲁为民认为市场和用户需求的变化将让提高产品设计的框架高度,用户需求的多元化、个性化将催生众多综合性平台;卢亿雷分享数据发展的两方面,一方面是AI,数字营销从自动化数字营销转向数字化的智能营销,二是,区块链技术前景很好,发展更快一些。

这是一场干货十足的技术分享,也是一场实时大数据创造价值的论坛;嘉宾们从技术角度详细分析大数据基础框架设计,深入浅出通俗易懂,让我们对大数据技术有了更深层次的理解。未来,实时分析技术将在大数据的产业服务中,发挥越来越大的价值。