专题演讲嘉宾 :颜世光

百度搜索架构师

2011 年加入百度,早期从事 Spider 系统架构相关研发,期间主持了百度第三代 Spider 系统的设计与实现。 当前主要研究方向为大规模分布式系统,是百度海量数据库 Tera、百度文件系统 BFS 和集群操作系统 Galaxy 的主要作者。 热衷开源,先后推动了百度多个重量级系统对外开源。

演讲:从百度文件系统看大型分布式系统设计中的定式与创新

时间:04月18日 14:25
地点:310
所属专题:大规模分布式系统架构与实践

百度的核心业务和数据库系统都依赖分布式文件系统作为底层存储,文件系统的可用性和性能对上层搜索业务的稳定性与效果有着至关重要的影响。

现有的分布式文件系统(如 HDFS 等)是为离线批处理设计的,无法在保证高吞吐的情况下做到低延迟和持续可用,所以我们从搜索的业务特点出发,设计了百度文件系统。

在百度文件系统设计中,一方面,涉及从中心化和对等模型的折衷,到元数据的扩展性,再到网络拓扑的选择等,一系列大型分布式系统中的通用问题与解决方案,

另一方面,又有在新的实时处理场景下的设计创新,怎么保证系统持续可用,怎么在不影响整体吞吐的情况下,保证99分位延迟。

听众受益

  1. 从实践角度感受大型分布式系统设计中遇到的各种问题;
  2. 学习大型分布式系统中一些通用的问题解决思路;
  3. 了解实时处理场景下分布式系统的新趋势。

本专题下其他演讲

关注主办方(InfoQ)

InfoQ Qcon

交通指南

© 2019 Baidu - GS(2018)5572号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方