Storage Infrastructure behind LinkedIn's recommendation

The data-derived recommendations that power LinkedIn's site consists of a continuous chain of three phases: data collection, processing and serving. Due to the dynamic nature of the professional graph both, data collection and processing, methods have evolved to be able to quickly incorporate new signals into the derived features. This evolution, in the data collection and processing methods, has created a need for specialized storage infrastructure that can support this dynamic cycle.

This presentation will uncover the technology behind systems that specialize in serving recommendation dataset at LinkedIn and it's evolution from the early days of serving batch only derived data (Project Voldemort) to it's current novel way of serving derived data computed from any source, batch or nearline (Project Venice). The presentation will discuss architectural choices and tradeoffs in building these systems and share some thoughts on the future direction of this space.

Airbnb 的核心日志系统

大数据的价值已经得到广泛的关注和重视，在 Airbnb 平台上，用户的行为和行为相关的日志数据是产品决策和优化用户体验的重要基础。随着业务的快速增长，传统的基于批处理模式和无格式的日志处理已经逐渐不能满足应用需求。因此，Airbnb 数据基础构架组开发了新一代的日志数据存储和查询平台，着重于保证日志数据的质量，解决数据的实时性，提高查询的灵活性，方便多维度统计分析，和提供异常检测。演讲主要分享 Airbnb 核心日志平台的系统构架，以及主要系统模块的设计和实现。

Apache Kafka：大数据的实时处理时代

在过去几年，对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统：我们可以将每一次用户点击，每一个数据库更改，每一条日志的生成，都转化成实时的结构化数据流，更早的存储和分析它们，并从中获得价值。同时，越来越多的企业应用也开始从批处理数据平台向实时的流数据数据平台转移。本演讲将介绍最近 Apache Kafka 添加的一些系统架构，包括 Kafka Connect 和 Kafka Streams，并且描述一些如何使用它们的实际应用体验。

听众受益

大家将了解到 Apache Kafka 作为一个实时流处理的中央平台所提供的最新性能，从普通消息队列到关键业务数据冗余备份，再到流数据的实时处理分析。

AirTrain：Airbnb 的通用数据产品平台

随着业务的快速增长，Airbnb 正经历着一场对数据使用模式的根本性转变。早期 Airbnb 对数据的使用主要集中在离线数据分析和使用上。 近几年来，越来越多的具有强烈数据依赖特征的在线应用开始逐步上线。这些应用所依赖的数据也逐步从离线批处理向实时的流数据转移。在这样的大背景下，Airbnb 数据基础架构（Data Infrastructure）团队自主开发了基于 Kafka，Spark 和 HBase 的通用数据提取（derivation），聚集（aggregation）和存储（storage）平台——AirTrain。本演讲将从机器学习应用和非机器学习应用两个不同的角度对 Airtrain 的架构进行系统介绍，并且着重讨论一些在开发过程中的需求和设计思路。

深度学习在电子商务中的应用

近几年来，深度学习在图像识别和语音识别等方面有了非常显著的成绩，其在自然语言处理方面的应用才刚刚开始。本讲座聚焦于在电子商务领域，探索深度学习在自然语义处理和精准理解用户意图方面的应用。

主要内容

1. 如何利用深度学习技术提升产品搜索的相关度，让搜索更加智能，实现搜索从文本匹配到用户意图匹配的跨越；
2. 如何利用深度学习深入理解用户的会话内容和意图，让基于会话／聊天的交互式系统成为新一代电子商务的入口。  

分布式海量二进制文件存储系统

随着互联网爆炸式增长，如何高效可靠地存储海量图片、视频、备份等数据成为决定系统综合性能的关键因素。本次分享，夏鸣博士将为大家介绍 Ambry，一个由领英开发的分布式二进制文件存储系统。Ambry 是 Apache 许可的 开源软件，已在领英生产环境中稳定运行两年。本次分享将包括 Ambry 的设计原理与架构，以及针对大文件流（streaming）的处理与优化。