时间:2017年4月16日~18日
地点: 北京·国家会议中心
购票电话:010-64738142

专题: 大数据实时计算与流处理

Day of week:

随着互联网应用的普及、智能硬件的发展,数据产生的速度呈现了持续爆炸式的增长,数据产生的价值也已不仅取决于空间维度,同时开始在时间维度进行延展,因此提高计算的时效性,更快的从数据中挖掘出信息和知识就意味着能够获取更大的价值。这在阿里双十一大促这样的场景中表现的尤为明显,用户行为和商品变化信息带来的价值都是短暂有效的,因此大数据后台系统需要在线收集用户行为和商品变化等信息,实时调整搜索和推荐策略,为用户和商家提供更精准的服务。

在实时计算领域,Apache Storm、Samza、Spark Streaming、Kafka Stream、Flink 等开源流式计算引擎层出不穷,呈现百家争鸣之势,Google 也顺势推出了开源的 Beam 计算框架标准,本专题将邀请多位国内外一线大数据技术专家分享这些流处理技术的最新发展和趋势,并通过实际案例分享其在实时计算场景的生产应用。

专题出品人:
王峰(莫问)
阿里搜索事业部资深技术专家,数据基础设施团队负责人

王峰,淘宝花名“莫问”,2006 年毕业后即加入阿里巴巴集团,长期从事搜索和大数据基础技术研发工作,目前在阿里搜索事业部担任资深技术专家,负责数据基础设施团队。

在阿里的前几年一直从事搜索引擎研发工作,自 2010 年开始转向大数据计算和存储技术领域,最近一年带领团队对 Flink 进行了大量架构改进、功能完善和性能提升,打造出了阿里新一代实时计算引擎,我们称之为 Blink。目前千台规模的 Blink 集群已经开始在线支持搜索、推荐、广告和蚂蚁等核心实时业务场景。


by Amit Sela
PayPal 架构师,Apache Beam 贡献者,PPMC 成员

Apache Beam 是一款新的 Apache 项目,由 Google 捐献给开源社区,凝聚着 Google 研发大数据基础设施的多年经验。

Beam 来源于 Batch(批处理)和 strEAM (流处理)这两个词,意在提供一个统一的编程模型,同时支持批处理和流处理。本次演讲中,Amit 将介绍 Beam 处理大规模乱序流数据的基础,以及 Beam 提供的强大工具。


by 王峰(莫问)
阿里搜索事业部资深技术专家,数据基础设施团队负责人

随着近些年大数据技术的不断发展和成熟,无论是传统企业还是互联网公司都已经不再仅仅满足于批量处理数据,大家对数据时效性的需求也越来越强烈。这在电商领域更加明显,通常人们在不同时刻会有着不同的消费需求和潜在目标,尤其在双十一大促这样的场景中,用户会由于丰富的促销活动和环境而临时产生更多的购物需求,这些不断变化的海量商品和用户行为数据就对我们在大数据实时计算领域产生了全新的挑战。

在开源大数据技术业界,第一代实时计算引擎是 Storm,随后出现了 Samza,近几年持续火爆的 Spark 也推出了 Spark Streaming,但我们更看好 Flink 这个新一代的纯流式计算引擎。阿里巴巴搜索技术团队从去年开始改进 Flink,并创建了阿里的 Flink 分支,线上服务了阿里集团内部搜索、推荐、广告和蚂蚁等核心实时业务,我们称之为 Blink 计算引擎。目前我们也已经在和 Flink 母公司 DataArtiscans 一起合作,将 Blink 的改进全部贡献回 Flink 社区,共同推进 Flink 社区的发展,本次分享将全面介绍阿里新一代实时计算引擎 Blink...

演讲专题

Covering innovative topics

  • 前端工程实践

    在前端技术飞速发展的现在,我们手上有大把技术方案,但同时业务复杂度和团队规模越来越大,工程难度不断增高。应该如何利用现有技术和平台,系统性地构建和维护前端工程?

  • 大规模网关系统

    API 网关系统,是直面海量访问的卫士,还是中心化思想的最后一块阵地?要以性能为主,还是运营效率优先?我们的业务需要 API 网关吗?典型的网关应用都有哪些功能?带着这些问题,我们一起来看看业内一些典型的网关实践。

  • 支撑海量业务的互联网架构

    面对业务部门的新需求不停、用户量不断增长,如何设计我们的软件架构以适应海量业务的需求是一个极大的挑战。本专题精选行业内最优秀的实践案例来分享支撑海量业务的架构设计和最佳实践方案。

  • 移动专项最佳实践

    移动专项的测评与优化,在当下各个不同的热点领域,包括直播、AR、AI 中都会有延伸。也因此,我们会以专项领域中最佳测评方案与技术实践为切入点,带给大家更多的思路方向和视野。

  • 大数据实时计算与流处理

    随着大数据的持续发展,数据产生的价值已经不仅仅被数据规模决定,时效性价值也正在被行业更多的关注,本专题将邀请多位一线专家分享大数据实时计算与流式处理相关的最新技术。

  • 工程效率提升

    本专题主要分享国内外知名及崛起型公司在其业务、团队快速发展的过程中,如何通过技术体系、工程方式的变更来应对挑战。

  • 移动开发实践

    移动应用以及占据互联网业务的半壁江山,关注移动领域的最佳开发实践。

  • 产品设计
  • 微服务实践

    微服务已经从一个火爆的概念慢慢沉淀成一系列原则、模式、实践和工具。我们将提炼一线微服务架构的经验,从中提炼宝贵的知识分享给大家。

  • 智能化运维

    挖掘低调、实干型的一线国内外优秀运维人才,将成熟的落地方案、技巧、困难、思考呈现给大家。在应对大数据时代、云计算时代、容器时代的自动化运维同时,思考智能化运维的时代,是否已经到来?

  • 快速进化的容器生态

    容器生态在过去几年间持续进化,容器编排、集群管理、调度、隔离性、运维监控等方面也逐步成为关注点,我们将一起看看这方面的最新进展,以及容器生态在各大公司的应用实践。

  • 精益产品探索

    在创业大潮中,产品经理不应被浮躁的概念挟持,因为产品方向探索有着科学的方法和思路。本专题主要包括产品方向探索、各种假设验证、用户人群细分、使用场景细分、大型组织中投资组合管理、迭代式发布产品并收集反馈等。

  • 网络信息安全建设最佳实践

    漏洞挖掘、攻防对抗这些安全领域的专业知识有时候和甲方安全建设工作还有些距离,我们将邀请拥一些既拥有乙方背景,又有甲方工作经验的安全专家给大家分享他们在网络信息安全建设中的经验和故事。

  • 工程团队建设

    人是互联网公司的关键因素,一起关注工程团队的建设与成长。

  • 编程语言

    新兴编程语言选型与应用。

  • 硅谷技术专题
  • 业务架构那些事

    大众创业,虽然方向各有不同,但是底层业务系统与技术架构一定有相通的地方和相似的痛点,本专题将从不同创业项目入手, 分析如何针对不同业务场景设计合理的前后端架构,以及在创业过程中业务系统架构演进背后的故事。

  • 互联网广告系统实践

    在线广告是众多互联网公司的盈利模式和引流渠道。互联网广告系统涉及到高并发架构、数据挖掘、用户画像、反作弊、个性化推荐、数据建模与算法优化等众多技术领域,非常考验架构设计和工程实践能力。

  • 工程师的“软”技能

    对于工程师而言,除了必不可缺的纯技术即“硬”技能外,还需有很多常被忽视却对职业发展来说至关重要的“软”技能。本专题将全面探讨“软”技能,帮您快速成长为一名炙手可热的优秀工程师。

  • 金融科技转型与未来

    本专题希望可以针对金融科技的未来,从传统金融机构与互联网两个纬度,来分享各自的最新进展,大数据,区块链,AI 投顾,以及其他金融创新方向,通过技术的分析与碰撞,试图去洞见金融科技的未来。

  • 人工智能与深度学习

    《星球大战》中的机器人、《第五元素》中自动驾驶的飞车已经离我们越来越近。非常荣幸在这个最有激情的时代,为大家献上一场人工智能的盛宴。本专题致力于把基础设施、行业应用、前沿研究呈现给站在时代最前沿的技术人员。

  • 企业软件互联网应用实践

    本专题将着重分享企事业单位采用的信息化软件系统,在互联网时代的发展演进过程,和具体业务应用实践。希望对广大企业在互联网时代的软件开发和信息化建设有所启示。

  • 大规模分布式系统架构与实践

    本专题通过分享实际的大规模分布式系统案例,探讨系统架构、数据一致性解决、系统高可用、自动化运维等问题的思考与解决之道。

  • 前端组织与架构