2008 年加入奇虎 360,服务端工程师。 参与过 360 云查杀,样本自动化处理流程,360 搜索等项目。对于分布式处理,以及大数据存储有一点的经验和积累。目前负责 360 核心安全事业部样本自动化处理团队。
360 公司是一个安全公司,样本的自动化扫描鉴定系统则成为了打击恶意病毒木马的重要武器。想要快速准确的鉴别样本的安全与否,一方面要求系统能够做到实时的流式处理,已达到快,另一方面要在算法更新特征库升级的情况下对历史样本进行高吞吐量的回归扫描,已达到准。市面上开源的大多数实时大数据处理都是基于日志数据来设计的,面对我们这种小则几百 KB 大则上 GB 的样本数据,而且很多扫描程序只能运行于 Windows 或者 Android 环境的需求,就变得没有那么得心应手了。360 病毒样本大规模异构实时扫描平台,很好的完成了上述任务,每天处理量达到几百 TB 的规模,为广大用户的上网安全保驾护航。
本次分享会从系统的演进,重难点剖析全方位的进行介绍,希望大家能够得到一定的启发。
听众受益:了解系统架构的变迁,以及可扩展性分布式实时系统的建设。