刘建辉,滴滴出行高级软件开发工程师,现参与滴滴实时平台的建设和推广。2012 年加入华为南京研究所,先后参与即时消息系统、华为公私有云项目的开发。
2015 年加入滴滴出行,负责滴滴日志的实时 etl,在 spark streaming 等实时计算领域有着深入的理解和丰富的实战经验。
滴滴出行近年来飞速发展,系统日均消息量超过万亿规模,消息日均存储处理量达到 pb 级别。由于交通数据的特殊性,滴滴内部需要实时计算的场景日益丰富,面临着低延迟、高吞吐、高稳定性等一系列的挑战。本文将从数据实时采集、实时传输、实时计算、实时消费等整个流程来介绍实时平台在滴滴的实践情况,同时针对日志检索、监控、etl、olap 等具体场景展开介绍。