专题演讲嘉宾 :刘建辉

滴滴出行高级软件开发工程师

刘建辉,滴滴出行高级软件开发工程师,现参与滴滴实时平台的建设和推广。2012 年加入华为南京研究所,先后参与即时消息系统、华为公私有云项目的开发。

2015 年加入滴滴出行,负责滴滴日志的实时 etl,在 spark streaming 等实时计算领域有着深入的理解和丰富的实战经验。

演讲:滴滴实时平台架构实践

时间:04月16日 11:30
地点:308
所属专题:大数据实时计算与流处理

滴滴出行近年来飞速发展,系统日均消息量超过万亿规模,消息日均存储处理量达到 pb 级别。由于交通数据的特殊性,滴滴内部需要实时计算的场景日益丰富,面临着低延迟、高吞吐、高稳定性等一系列的挑战。本文将从数据实时采集、实时传输、实时计算、实时消费等整个流程来介绍实时平台在滴滴的实践情况,同时针对日志检索、监控、etl、olap 等具体场景展开介绍。

主要内容

  1. 实时平台架构的整体介绍;
  2. spark streaming 实践;
  3. 海量日志的实时检索实践;
  4. 实时聚合及监控实践。

本专题下其他演讲

关注主办方(InfoQ)

InfoQ Qcon

交通指南

© 2019 Baidu - GS(2018)5572号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方