2011 年加入百度,早期从事 Spider 系统架构相关研发,期间主持了百度第三代 Spider 系统的设计与实现。 当前主要研究方向为大规模分布式系统,是百度海量数据库 Tera、百度文件系统 BFS 和集群操作系统 Galaxy 的主要作者。 热衷开源,先后推动了百度多个重量级系统对外开源。
百度的核心业务和数据库系统都依赖分布式文件系统作为底层存储,文件系统的可用性和性能对上层搜索业务的稳定性与效果有着至关重要的影响。
现有的分布式文件系统(如 HDFS 等)是为离线批处理设计的,无法在保证高吞吐的情况下做到低延迟和持续可用,所以我们从搜索的业务特点出发,设计了百度文件系统。
在百度文件系统设计中,一方面,涉及从中心化和对等模型的折衷,到元数据的扩展性,再到网络拓扑的选择等,一系列大型分布式系统中的通用问题与解决方案,
另一方面,又有在新的实时处理场景下的设计创新,怎么保证系统持续可用,怎么在不影响整体吞吐的情况下,保证99分位延迟。