回到顶部

2018实时大数据Meetup——Spark、Flink、CarbonData的技术与实践

2018年9月8日 9:00 ~ 2018年9月8日 12:30

收起

活动票种
    付费活动,请选择票种
    展开活动详情

    活动内容收起

    本次Meetup将解密大数据实时流计算两大引擎Apache Spark(Structured Streaming) 、Apache Flink和社区新贵Apache CarbonData,融合实时数据存储方案。

    当前无论是传统企业还是互联网公司对大数据实时分析和处理要求越来越高,数据越实时价值越大,面向毫秒~秒级的实时大数据计算场景,Spark和Flink各有所长。CarbonData是一种高性能大数据存储方案,已在20+企业生产环境上部署应用,其中最大的单一集群数据规模达到几万亿。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持快速过滤查找和各种大数据离线分析和实时分析。

    本次Meetup活动集合了来自Databricks、华为及美团的大咖级嘉宾,这些嘉宾长期活跃在Apache开源社区,并担任PMC和Committer关键技术角色,试图以更开放的技术视角为大家解密Spark、Flink、CarbonData的技术和实践。



    idea.png活动日程idea.png

    屏幕快照 2018-08-27 10.47.13.png

    idea.png活动嘉宾idea.png

    讲师名称副本1.jpg

    主题摘要:Structured Streaming, a new stream processing engine built on Spark SQL, which revolutionized how developers could write stream processing application. Structured Streaming enables users to express their computations the same way they would express a batch query on static data. Developers can express queries using powerful high-level APIs including DataFrames, Dataset and SQL. Then, the Spark SQL engine is capable of converting these batch-like transformations into an incremental execution plan that can process streaming data, while automatically handling late, out-of-order data and ensuring end-to-end exactly-once fault-tolerance guarantees. 
    In this session, Tathagata Das will walk through the basic concepts of Structured Streaming and walk-through a concrete example where – in less than 10 lines – you read Kafka, parse JSON payload data into separate columns, transform it, enrich it by joining with static data and write it out as a table ready for batch and ad-hoc queries on up-to-the-last-minute data. We will also take a quick look at event-time aggregations, sessionization operations, and other advanced operations. 

    讲师名称副本23.jpg

    主题摘要:

    1. CarbonData使用及原理介绍

    2. What's New in CarbonData?

    讲师名称副本2.jpg

    主题摘要:随着美团点评业务的快速发展,如何满足日益膨胀的数据时效性、计算场景多样性的需求,成为数据平台新的挑战。在此背景下,我们将为大家介绍Flink作为新一代流处理引擎在美团点评公司的实践与应用。

    讲师名称副本3.jpg

    ​主题摘要:今年流计算持续升温,在车联网/物联网/交通/ETL/电商/打车/外卖等行业广泛应用,产生巨大价值。开源的流计算框架很多,当前以Flink和Spark为主。华为云实时流计算团队,5年来专注流计算技术,从自研StreamSmart到当前的CloudStream智能流计算,趟坑无数。这次活动会跟大家分享如下内容:

    1. Flink/Spark流框架对比
    2. 华为流计算技术演进
    3. CloudStream服务能力及应用



    举报活动

    活动标签

    最近参与

    • aria
      收藏

      (6年前)

    • 青年牧者
      收藏

      (6年前)

    • Jonny
      报名

      (6年前)

    • bluewhale
      收藏

      (6年前)

    • 王海
      报名

      (6年前)

    • 天涯思君
      报名

      (6年前)

    您还可能感兴趣

    您有任何问题,在这里提问!

    为营造良好网络环境,评价信息将在审核通过后显示,请规范用语。

    全部讨论

    • Lucas Lee 6年前 0

      怎么还没审核通过呢

    微信扫一扫

    分享此活动到朋友圈

    活动日历   03月
    26 27 28 29 1 2 3
    4 5 6 7 8 9 10
    11 12 13 14 15 16 17
    18 19 20 21 22 23 24
    25 26 27 28 29 30 31

    免费发布