利用分布式存储应对大数据应用趋...
利用分布式存储应对大数据应用趋势
2020-11-20
利用分布式存储应对大数据应用趋势
对于那些拥有大量用户的通信网络运营商来说,他们的数据“输出”一直很大。电信业的数据类型主要包括客户信息数据、业务流程数据和网络运营数据。
数据量级需要相应的存储技术解决方案支持,解决方案的能力体现在数据容量、数据处理速度和数据吞吐率上。
从传统存储到分布式存储
传统上,运营商使用关系数据库(RDB)或数据仓库(DW),主要处理电信业务运营流程数据、资源信息、话单记录等结构化数据类型。对于核心业务,一般数据容量在20TB左右,IOPS吞吐率在20K~2M左右;对于非核心业务,数据容量可能达到3TB,IOPS吞吐率可能达到1K~10K。传统的存储服务器配置2~16个控制器,最多1500个硬盘,可以满足这个数量级的关系数据库的应用需求。
移动互联网数据服务兴起后,原始结构化数据在总数据量中的比例迅速下降。运营商经常看到,80%以上的新数据是非结构化或半结构化数据,如视频流、网络链接、图片和文本,现在被称为“大数据”。对于运营商来说,大数据包含了无数增值服务创新的机会。然而,为了利用大数据实现业务创新,我们必须重新审视存储解决方案。
如果使用传统的存储区域网络方案,并使用特殊的存储服务器来处理数据扩展,则需要很高的前期投资。而且垂直专用存储管理软件使得不同子系统之间难以共享存储资源,降低了运营商的投资回报。分布式存储的引入可以解决传统存储区域网络难以根除的容量和性能均衡分配的问题。
另外,不同类型的数据被访问或处理的“热度”是不同的,大量的“冷”数据不需要很高的响应速度。如果采用更灵活可扩展性的廉价存储方案,运营商可以节省大量设备投资成本。在分布式存储系统中,数据类型可以根据数据使用的“热度”分为在线、近线和离线数据,不同热度的数据采用不同的技术策略。
对于拥有大量用户的通信网络运营商来说,他们的数据“输出”一直很大。电信业的数据类型主要包括客户信息数据、业务流程数据和网络运营数据。数据量级需要相应的存储技术解决方案支持,解决方案的能力体现在数据容量、数据处理速度和数据吞吐率上。
从传统存储到分布式存储
传统上,运营商使用关系数据库(RDB)或数据仓库(DW),主要处理电信业务运营流程数据、资源信息、话单记录等结构化数据类型。对于核心业务,一般数据容量在20TB左右,IOPS吞吐率在20K~2M左右;对于非核心业务,数据容量可能达到3TB,IOPS吞吐率可能达到1K~10K。传统的存储服务器配置2~16个控制器,最多1500个硬盘,可以满足这个数量级的关系数据库的应用需求。
移动互联网数据服务兴起后,原始结构化数据在总数据量中的比例迅速下降。运营商经常看到,80%以上的新数据是非结构化或半结构化数据,如视频流、网络链接、图片和文本,现在被称为“大数据”。对于运营商来说,大数据蕴含着存储、查询、分析和处理等诸多增值服务创新机会,以及众多数据量大、需求灵活、聚合带宽接入高的ETL应用。
然而,为了利用大数据实现业务创新,我们必须重新审视存储解决方案。如果使用传统的存储区域网络方案,并使用特殊的存储服务器来处理数据扩展,则需要很高的前期投资。而且垂直专用存储管理软件使得不同子系统之间难以共享存储资源,降低了运营商的投资回报。分布式存储的引入可以解决传统存储区域网络难以根除的容量和性能均衡分配的问题。典型的分布式存储系统使用1~2U的存储服务器,每个服务器有8~24个硬盘。在标准服务器机架上扩展性能和容量很容易,维护也很简单。
分布式存储的发展标志着存储从专有系统逐渐演变为开放系统。一个完整的系统从下至上大致可以分为芯片、硬件、操作系统和软件、API和管理系统。传统存储系统中的芯片和硬件是为存储功能定制的,硬件中的ASIC/FPGA是为特定的简单重复功能设计的。其优点是速度快、效率高,缺点是计算能力弱,单个硬件模块无法应对各种任务。然而,为整个系统中的许多任务设计单独的专用硬件太复杂了。
在通用标准化商用硬件平台的基础上,在软件栈中加入不同的软件功能,用通用平台的计算能力代替专用电路,称为“软件定义存储”。快速更新的X86硬件产品计算能力越来越强大,能够支持的软件功能也越来越强大,使得存储和计算的传统功能界限变得模糊。基于标准化硬件平台的“融合存储服务器”逐渐取代定制芯片和定制硬件,成为大势所趋。
底层硬件平台标准化后,与之相对应,其上的操作系统和软件层将从专有系统过渡到开放或半开放系统。在未来的存储系统中,除了一些中间件仍然使用专有软件之外,用户将越来越多地选择开放的操作系统、开放的API和开放的管理系统。
英特尔通过新的产品线迎合新的存储趋势
最近,英特尔推出的SOC(c 2000)系列主要定位于微服务器市场,其重要应用场景之一就是满足“冷数据”存储市场日益增长的需求。Avoton是业界首款采用22nm制程技术制造的微型服务器。其热设计功耗(TDP)为6~22瓦。它包含8个低功耗的Atom内核,集成了以太网,支持高达64GB的内存。
Avoton针对特定轻量级工作负载定制和优化了功能,例如入门级专用托管服务、分布式内存缓存、静态网络服务、内容分发等。,以达到最佳效率。雅芳的出现使英特尔除了传统的高性能至强平台之外,还有一个新的工具来推动软件定义存储的总体趋势。我们很快就会看到,在未来,数据中心的新存储系统将具有更高的性价比和更高的能效。


企盛北京科技专业代理销售各品牌服务器,联想服务器,戴尔服务器,惠普服务器,存储服务器,机架式服务器,塔式服务器,刀片式服务器,欢迎来电咨询。

推荐文章:整合期间数据中心出现七个存储错误


展开