京东:分布式存储体系成为业务基石

时间:2024-01-31 点赞:46380 浏览:91522 作者原创标记本站原创

该文是电子商务专业电子商务论文范文,主要论述了电子商务有关专科毕业论文开题报告,与京东:分布式存储体系成为业务基石相关论文范文集,适合电子商务及电子商务企业及数据库方面的的大学硕士和本科毕业论文以及电子商务相关开题报告范文和职称论文写作参考文献资料下载。

京东(JD.)自主研发的分布式文件系统、分布式缓存与高速键值(Key-value)存储服务目前已经成为它开展电子商务业务的基石.


作为中国最大的自营式电子商务企业,京东用十年的时间,积累了超过4047万的活跃用户.2013年,京东的订单量达到3.222亿,成交总额(GMV)超千亿元.

如今,京东已经成为全球PB级数据管理俱乐部的成员.而要对PB级的数据进行有效的存储与管理,稳健、高效的大规模分布式存储体系至关重要.

针对电子商务业务中海量小文件、大文件等数据分布式存储与管理的实际需求,京东从2013年7月开始着手自主研发分布式文件系统JFS,以及分布式的缓存与高速键值存储服务Jimdb,目前已经取得了阶段性的成果.

据京东架构委员会主任、云平台首席架构师、系统技术部负责人刘海锋介绍,JFS(即Jingdong File System)已经陆续实现了海量小文件、对象存储、块存储、新图片系统等功能,此外,元数据的结构化存储以及与Hadoop的集成等问题正处在研发阶段.

“京东每天的库房记录在十亿个数量级,商品图片总共有几十亿张.这些文件基本上都是KB级别的,关系型数据库不太擅长处理这些海量小文件,主要的问题是扩容困难,且需要定期删除.而使用开源存储系统也要面临维护工作繁重,需要化开发等问题.”刘海锋说.

反复考察后,京东从开源开发转向自行研发,希望以此实现系统的灵活可控,并且获得长期、持续的技术收益.

目前已经投入使用的JFS 1.0版本类Paxos算法的强一致性,以及无单点故障、无内存索引、透明压缩等功能,有300余个京东的业务应用在其上运行.

基于内存的键值存储方面,京东最早使用的是Redis.当独立的Redis实例积累到数千个,分散系统的管理难题也随之而来.“内存超标、启动慢、难扩展等问题驱动我们在原有Redis平台的基础上去创新.”刘海锋透露.

目前,京东内存键值存储系统Jimdb已经能够满足电子商务业务所需要的精确故障监测、自动故障切换、两级存储层次、在线纵向扩展和在线横向扩容等需求,该系统的协议、数据类型全面与Redis兼容.

“JFS和Jimdb仍处在持续研发的进程之中.在未来,我们希望基于JFS开发面向文件和对象的统一存储系统.Jimdb方面,我们希望继续完善分布式缓存和快速键值存储的体系.京东的大规模分布式存储体系是真正由业务规模驱动研发的存储体系,我们希望对其不断地进行改进甚至重构,从而保持系统的质量与活力.”刘海锋说.

相关论文

基于分布式系统体系结构的PACS系统

本文是一篇数据库论文范文,关于数据库方面硕士论文开题报告,关于基于分布式系统体系结构的PACS系统相关研究生毕业论文开题报告范文。适合数。

构建中国现代金融体系的基石

为您写金融体系毕业论文和职称论文提供关于金融体系类毕业论文开题报告范文,与构建中国现代金融体系的基石相关论文范文文献,包括关于金融体。

新加坡社会保障体系的三重基石

本论文为家庭方面论文摘要怎么写,关于新加坡社会保障体系的三重基石相关毕业论文题目,可用于家庭论文写作研究的大学硕士与本科毕业论文开。

营销体系建设与银行业务

为您写团队建设毕业论文和职称论文提供团队建设类有关学士学位论文范文,与营销体系建设与银行业务相关论文范文素材,包括关于团队建设及金融。

分布式环境中数据存储技术的

该文为关于数据库方面在职毕业论文范文,与分布式环境中数据存储技术的相关大学生毕业论文总结,可作为论文总结专业数据库论文写作研究的大。

质量管理体系业务范围

本文是一篇质量管理体系论文范文,质量管理体系方面有关自考毕业论文开题报告,关于质量管理体系业务范围相关毕业论文格式模板范文。适合质量。