刘建,搜狗资深架构师,负责搜狗商业平台的基础研发和平台架构,涉及广告计费、报文等核心业务服务,致力于解决分布式,高并发,大数据量,强一致性,移动等带来的各种技术难题及挑战,构建和持续优化商业平台基础架构、基础服务,保证高可靠、高性能、高可扩展性、低成本的快速支撑新业务。
个人技术方向涉及数据存储、分布式计算、服务化、安全等,对 Java 技术、分布式计算、面向服务体系结构、中间件通讯框架、认证和授权、消息中间件、分布式数据库、容器等后端技术方向都有较深刻的理解和实践经验,有多年大规模复杂系统架构实践经验。
个人博士毕业于北京航空航天大学计算机学院,2012 年加入搜狗,加入搜狗之前在 IBM 研究院从事 SaaS 平台相关研发工作。目前感兴趣的方向是分布式高性能基础架构、IT 基础架构自动化、效率提升等。
过去几年间,以 Docker 为核心的容器生态在持续进化,以其构建、分发和部署的简易性成为 IT 基础架构中的关键技术。开源社区及主流公司也为容器生态的持续进化做出了卓越贡献,涌现出了诸于 Docker、k8s、Apache Mesos、Swarm 等优秀的开源项目和解决方案。然而,在大规模的实践中,在容器编排、集群管理、调度、隔离性、运维监控等方面仍然面临着困难和挑战。
本专题将邀请来自国内外一流公司的容器技术专家介绍其使用容器的典型场景,同时针对容器编排、集群管理、调度、隔离性、运维监控等问题,在大规模使用容器集群环境下,多方面分析评估容器生态与实际业务结合时所面临的风险和挑战,分享其中的解决方案和实践经验,为正在或准备通过容器生态优化其 IT 基础架构的公司提供技术参考,使其更好的利用容器生态。
Standards for containers has been seen as a fraught and confusing topic. In this talk I hope to dispel some of the confusion and highlight the progress being made on standards. Attendees will learn about what container standards are out there, and how they fit together. They will come away why containers are important for the future of the container ecosystem. I will discuss container standards and why they are important. I will introduce the Open Containers Initiative (OCI), what it is, and what it hopes to accomplish. I will also discuss cri-o, a tool that provides integration between OCI compliant container runtimes and Kubernetes, and how to use it in your clusters.
同一个主机上容器间的资源抢占和干扰,是各种资源敏感型业务迁移到容器云的主要顾虑所在。可靠的弹性资源隔离,是实现多种业务混合部署,提高集群资源利用率的必要条件。
目前,CPU、内存和网络出带宽等资源已经有比较好的弹性隔离方案,也得到了各容器平台的充分利用。但是网络入带宽,磁盘 I/O 还没有满足需求的弹性隔离方案。GaiaStack 团队在这些方向进行了深入的探索,并自主开发出可用的方案。本话题将介绍问题背景,我们的解决方案以及相关测试报告。
Apache Mesos 作为数据中心操作系统(DC/OS)和分布式系统的核心,已经被广泛地应用和部署在超大规模的生产环境中。Mesos 作为最先进的容器解决方案之一,它极大地简化了容器的分发,调度和执行。除容器之外,绝大部分流行的大数据分布式框架也都能够在 Mesos 上面部署。这对于整合企业内部容器和大数据平台从而提高数据中心的利用率起到了至关重要的影响。
在此次演讲中,俞捷会首先介绍 Mesos 核心的资源管理接口,并结合实例来阐述其简洁但强大的功能。它不但能够轻松地管理无状态的容器,也可以用来管理有状态的数据服务。同时,Mesos 的容器管理功能也相当强大,它不但能够无缝对接 Docker,也拥有自己的容器引擎,能够支持大部分流行的容器镜像标准,并稳定的运行它们。俞捷会在演讲中着重的介绍这方面的功能,包括 Mesos 对于网络和存储方面的支持。最后,俞捷会向大家介绍 Mesos 最新版本中新加入的一些新功能,比如容器嵌套以及远程调试的支持。
容器技术及 Docker 的崛起,极大地改变了企业软件的开发、构建和交付模式;将云计算从 IaaS 推进到 PaaS,进一步提高了企业软件的开发效率,交付速度,降低了运维成本。
QAE(iQIYI App Engine)是爱奇艺云平台部为内部开发者打造的一个私有 PaaS 平台,旨在为公司内部开发者提供一条龙的开发、部署和运维服务。QAE 支持用户全自助(资源配额需要预先申请)部署自己的应用,并且提供完善的服务:失败自动恢复、水平扩展、健康检查、服务发现及负载均衡、监控及报警、灰度发布及 AB 测试、日志、基于 Web 的容器控制台以及无流量丢失的平滑升级。
在实现上,QAE 基于 Mesos、Marathon 和 Docker 等开源技术,在开发过程中,我们也发现了一些开源软件本身并不提供或者不能满足我们的需求,这里将和大家分享我们在实践过程中真正解决的问题。
随着搜狗业务规模的快速发展,如何有效地控制硬件成本,如何在版本快速迭代的情况下提升开发、测试、运维的效率,是搜狗面临的实际问题,而容器技术的出现,给我们提供了新的思路。
我们以容器技术为基础,基于 Docker 和 Kubernetes 构建了一站式私有云管理平台——搜狗商业云平台,此平台涵盖服务管理、弹性伸缩、灰度发布、自动运维、持续集成等功能,以提升效率,降低成本。
本次演讲将介绍搜狗商业云平台在服务管理、自动构建、服务注册授权和日志监控的选型思考以及架构实践,同时将分享把传统服务平滑迁移至私有云平台过程中的一些心得体会,对企业私有云的搭建、管理和运维有一定的借鉴意义。
Swarm 是 Docker 官方推出的容器编排方案,以其简单的架构、友好且兼容 Docker 的 API、丰富的资源约束语法,深受开发者的喜爱,成为容器编排领域三分天下之一。
而 Docker 1.12 推出的 Swarm mode,更进一步集成了 KV 存储、服务 API、路由等功能,把上述优点推向了极致。
本话题将介绍 Swarm 的演进历史,并仔细分析 Swarm mode 的新功能。
Matrix 是百度私有云的核心系统组件,负责为百度提供基于 Container 的虚拟化解决方案,曾获百度最高奖。目前,Matrix 系统已大规模推开,托管了百度几乎所有核心业务、接管了所有机房,成为核心基础设施。本次讲演将从宏观层面介绍百度的 Matrix 系统,介绍系统的基本结构、在支持在离线混布方面所涉及的容器技术,以及在超大规模、业务形态多样化的大型机构中系统性的推进容器虚拟化战略的实施经验。