专题演讲嘉宾 :李杰辉

爱奇艺资深工程师

15 年加入爱奇艺私有云平台存储团队,从事公司存储云平台相关工作,目前负责对象存储性能优化工作。开源技术热爱者, 非专业内核技术爱好者,热衷于捣腾各种开发工具的用法。业余时间喜欢阅读各类技术书籍以及用 Markdown 进行技术写作。加入爱奇艺之前就职于 VMware 上海研发中心,参与 Cloud Foundry,vBlob,DBaaS 等项目的研发工作。

演讲:OpenStack Swift 海量小文件性能优化之路

时间:04月18日 16:25
地点:309B
所属专题:性能优化面面观

OpenStack Swift 是 OpenStack 项目的子项目,提供了弹性可伸缩、高可用的分布式对象存储服务,可用于解决海量照片、视频、日志等业务存储需求。随着互联网的高速发展,业界对海量小文件的需求越来越大,Swift 虽然能够存储海量数据,但是由于其设计并没有针对海量小文件进行特别优化,导致随着海量小文件增多,性能下降明显的问题。为了保持性能,一个简单的方案是增加机器,扩大集群规模,这种方案的最大问题是造成大量磁盘空间的浪费。为此我们进行大量的探索,结合业界一些已有存储系统的优点,在 Swift 上做了一系列的优化工作,让 Swift 在海量小文件情景下不需要通过增加机器来保持性能不下降。

听众受益

  • 已有 Swift 在磁盘利用率在 5% 左右时,性能就退化了 30% 左右,听众可以了解性能退化问题的原因
  • 优化过程中所采用具体的手段:
    • 用 PyPy 运行时代替 CPython,延迟降低了 25% 以上
    • Go 实现的 Swift,相比于 Python Swift,延迟降低了 30% 以上
    • Swift 上实现合并存储,相比于 Python Swift,延迟降低了60%以上,而且没有随对象数量的增加而出现明显退化的问题
  • Swift 合并存储关键技术方案的实现:
    • 合并存储磁盘组织方式
    • 去中心化的多副本定位方法
    • 多副本同步方法

本专题下其他演讲

关注主办方(InfoQ)

InfoQ Qcon

交通指南

© 2019 Baidu - GS(2018)5572号 - 甲测资字1100930 - 京ICP证030173号 - Data © 长地万方