京东技术十年磨一剑

2015-12-31 14:55 ⁄ 工业·编程 ⁄ 共 2858字 ⁄ 字号小中大 ⁄ 暂无评论

在2014年9月18日，京东对外宣布其自身的云战略，一年的时间里京东云先后帮助了大量传统企业踏上了互联网的快车道，在这个过程里京东自身信息系统和基础构架也有了很大的演进。“6∙18”之后，京东执行“换底计划”将自身全部业务悉数迁往京东云，这也是继美团之后又一个把自身业务全部云化的案例。除此之外，多交易中心系统和京东大脑计划也为这次双11大考添砖加瓦。

那么，京东全部业务入云的底气来自哪里？我们看到，在过去的十年里，京东先后在自身的IT系统里进行了诸多的改造。

私有云技术体系建设：即京东基础云能力的建设。主要解决存储、缓存以及消息中间件的问题。并拟定了以“京东宙斯”、“京东云鼎”、“京东云擎”、“京东云汇”四大解决方案为核心的技术体系，来构建完整的电商云服务链条。
电商云的三步走战略：这三步分别是，内部资源和能力的云化；培育电商应用生态；整合外部资源。

京东自身业务全部云化不亚于给传统行业吃了一颗定心丸，为什么这么说？首先我们来看看互联网+对企业意味着什么？对于一个企业来说，在网上发出自己的声音、刷新自己的存在是最基本、最简单的需求，网络营销已是企业必备的技能。更进一步，企业需要通过网络渠道销售自己的产品，缩减销售环节和分销成本，提高企业利润，如火如荼的O2O正是这一需求的真实反映。但是，这还不够。市场需求千变万化，没有哪个企业能够百分百地掌握市场规律，怎样把市场需求及时反馈到企业中，从而改变生产环节是所有企业都孜孜以求的目标。业务云化不再是一个需求，而是一种趋势。

最长、最真实的电商数据链及其价值

京东通过12年的积累，拥有从企业生产，到自身仓储、物流，再到用户消费行为的一整条完整的数据链。其数据链条的完整性和真实性令业界垂涎。当今，没有人会否认数据的价值。然而，大量企业拥有海量的数据，表面上看企业离数据很近，事实上他们离数据很远。因为这些数据的价值并没有被挖掘出来。通过对数据的采集、存储和分析，大数据能够做三件事：即高速人们，过去发生了什么，现在正在发生什么，以及将来会发生什么。这才是数据的核心价值。

那么京东是如何利用这些令人垂涎的数据的呢？

物流数据的价值：中国电商竞争是白热化的，京东正是借助物流体系，打造了超凡的一体化购物体验，从而突出重围，成为自营B2C的领导者，可以说物流体系是京东的核心竞争力。在这场激烈竞争的背后，京东物流配送系统功不可没。
交易数据的价值：京东交易系统主要经历了5个发展阶段（详见《京东技术解密》一书）。正是积累了大量的交易数据金矿，京东金融服务自然是水到渠成。目前京东金融在各个产品线（例如京东白条）上都得以大量采用。
大数据挖掘：在庞大、复杂的业务逻辑下，京东商城生产了海量的结构化和非结构化数据。京东网站智能和商业化团队通过对自身业务、数据的理解和摸索，逐步形成、搭建了一整套基于开源R语言的数据挖掘框架，在此框架下支撑业务部门及产品部门的数据需求。
个性化推荐：京东作为国内最大的自营B2C平台，目前个性化推荐成交的订单数已占到总量的13%，这一数字还在不断增长。这其中，数据驱动的个性化推荐系统发挥着越来越重要的作用。

当然，以上各项大数据价值的挖掘离不开相应的大数据技术的应用。

制造业普遍存在库存压力大、渠道冗长、效率低下、销售成本高等问题。要解决这个问题，首先要做的是消灭数据孤岛。为此，京东展开了跟腾讯合作的计划，从各方面把用户数据精准化。此外，从数据采集、存储到数据分析，包括实时分析、离线分析，京东逐步开放其能力，最终形成了一个完整的数据平台，来帮助企业轻松的进入大数据时代。京东提供大数据生态里面还对各行业定制化分析能力，把数据变成价值。中国市场一直是以产品交易和差价作为企业利润的主要来源，这是典型的以信息不对称的方式来赚钱，未来这种方式将变得越来越不可行。以市场为导向、以客户为中心正是大数据的价值，也是未来企业走向互联网+的必然选择。

规模空前的弹性云实践

在今年的10月份，京东位于廊坊的新数据中心部署完成并投入使用，至此所有在线应用在新机房都通过Docker技术进行发布，在生产环境上运行的Docker实例超过了60，000个。今年双11的弹性云集群规模比“6∙18”增长了5倍，随着双11弹性资源池的部署，这一数字将达到100，000个，这是目前世界上最大规模的Docker技术应用之一。毋庸置疑，京东在基础设施和弹性扩容能力方面的建设也取得了长足的进步。

基础设施建设：京东以自主研发为主，开发了适合自己业务模式的存储系统——京东文件系统（JFS），并基于JFS向外提供私有云存储服务。消息队列的开发则经历了三个阶段。前两代是基于开源软件实现的，现在的产品是完全自主研发的JMQ。在服务框架方面，进行了微服务化改造。
容器弹性伸缩：弹性计算云是京东2015年研发部战略项目，它基于Docker简化了应用的部署和扩容，提高了系统的伸缩能力。目前京东的图片系统、单品页、频道页、风控系统、缓存、登录、团购、O2O、无线、拍拍等业务都已经运行在弹性计算云系统中。

随着应用的发展，针对服务的架构SOA日趋流行，功能结构和模块服务化在提高服务的性能方面更加灵活。正是有了大量的实践，在中国技术开放日（ChinaTech Day）上，国内众多知名企业如京东者，更能代表中国IT技术的力量，在世界舞台上一展风采。

从开放的云能力与服务

传统企业有着非常强大的基础，京东认为，传统行业要想变成一个互联网生态产业，需要互联网的技术和互联网的思维的双重加速。基于我们京东内部需求，以及外部客户的沉淀，京东把内部的云计算、大数据等基础技术向全生态链的合作伙伴提供，帮助传统行业实现互联网+的技术架构和业务升级。

为此，京东将开放其基础云的能力、电商云的能力和数据云的能力。京东的基础云是一块基石，不但可以实现资源像水电煤一样按需索取，也是电商云和数据云的支撑。作为典型的电商企业，京东有很多创新业务，比如仓储、物流、配送系统，十几年的沉淀京东电商云把这些经验分享出来也是水到渠成。以“京东云擎”为例：