马国维,现就职于阿里巴巴,任阿里巴巴高级技术专家,负责实时计算引擎。2007 年毕业于东北大学,2007 年 ~ 2010 就职于百度网页搜索部,2010 年加入阿里巴巴,加入阿里巴巴之后主要专注于实时流计算引擎技术,曾负责阿里巴巴第一代自研流计算引擎——iStream 的开发,目前负责下一代实时计算引擎 Blink 的研发。
随着近些年大数据技术的不断发展和成熟,无论是传统企业还是互联网公司都已经不再仅仅满足于批量处理数据,大家对数据时效性的需求也越来越强烈。这在电商领域更加明显,通常人们在不同时刻会有着不同的消费需求和潜在目标,尤其在双十一大促这样的场景中,用户会由于丰富的促销活动和环境而临时产生更多的购物需求,这些不断变化的海量商品和用户行为数据就对我们在大数据实时计算领域产生了全新的挑战。
在开源大数据技术业界,第一代实时计算引擎是 Storm,随后出现了 Samza,近几年持续火爆的 Spark 也推出了 Spark Streaming,但我们更看好 Flink 这个新一代的纯流式计算引擎。阿里巴巴搜索技术团队从去年开始改进 Flink,并创建了阿里的 Flink 分支,线上服务了阿里集团内部搜索、推荐、广告和蚂蚁等核心实时业务,我们称之为 Blink 计算引擎。目前我们也已经在和 Flink 母公司 DataArtiscans 一起合作,将 Blink 的改进全部贡献回 Flink 社区,共同推进 Flink 社区的发展,本次分享将全面介绍阿里新一代实时计算引擎 Blink 对 Flink 的各项改进,并向大家分享 Blink 计算引擎在阿里内部的典型应用场景。