数据存储，如何解决能耗问题和孤岛现状？

2022-07-14

中国储能网讯：存储是数据利用的基础。只有看清这一点，才能更轻松地改造和优化存储架构，使其成为数据价值挖掘的有利工具和平台。

在信息时代，数据作为人们获取信息和知识的材料和来源，已经成为社会生产生活的重要而具体的资源。当然，要让数据充分、充分地发挥其价值，一个看似简单但必要的前提是数据需要妥善存储在可靠、可信、可管理的平台上，并且可以随时随地轻松访问。 .

可以说，存储是使用数据的基础，是数据处理、数据挖掘、数据价值等的前提。数据存储的重要性不言而喻。但是，由于数据是当今社会最宝贵的资源之一，如何做好各类数据的长期存储管理仍是一个亟待解决的问题。

一方面，随着各类信息化应用的快速发展，数据量呈指数级增长，大量的数据吞吐和计算带来不可忽视的能耗问题；各类数据仍被封存在不同系统中，孤岛众多，难免造成资源浪费。

目前，我们正处于存储变革风暴之中。加快推进数据资源共享和应用开发，更好地存储、管理和使用数据，是数据存储的重中之重。

人工智能存储技术日新月异

不可否认，人类在过去 200 年中在存储技术方面取得的进步比过去 2000 年要多。

1932 年，早期计算机的鼓式存储器出现在奥地利。一个三维模拟的鼓式存储器组成一个阵列，相当于一个硬盘，由此产生的鼓式存储器成功地用于 IBM 650 超级计算机并于 1953 年发布。IBM 650 长 16 英寸，直径 4 英寸，具有滚筒转速为 750 kHz，最多可存储 8.5 KB 数据。

在 1950 年代和 1960 年代，鼓存储器被用作计算机的主要外部存储器。它利用电磁感应原理记录和再现数字信息，由作为信息载体的磁鼓、磁头、读写解码电路和控制电路等主要部分组成。但是，磁鼓使用涂在铝鼓表面的磁性材料来存储数据。滚筒高速旋转，存取速度快。采用饱和磁记录，从固定磁头到浮动磁头，从磁胶到电镀连续磁介质。

这些都为后来的记忆奠定了基础。 1956年，世界上第一块硬盘终于由IBM设计。这款名为RAMAC的硬盘产品非常大，但容量只有5MB，总共用了50个24寸盘片。

1973 年，IBM 生产了第一款采用“”技术的硬盘。从此，硬盘技术的发展有了正确的结构基础。它的容量为 60MB，旋转稍少，使用四个 14 英寸盘片，存储密度为每平方英寸 1.7MB。 1991年IBM生产的3.5英寸硬盘采用MR磁头，硬盘容量首次达到1GB，硬盘容量由此进入GB级发展新阶段.

数字数据存储的引入改变了我们生产、操作和存储信息的方式。显然，数字存储比纸质存储成本更低，收益更高。目前，数字信息已经渗透到我们生活和社会的方方面面，以至于近年来信息生产的增长势不可挡。数字信息的扩展带来了巨大的存储需求，也促进了存储行业的自发更新。

一方面，新的存储产品形态和技术架构开始普及。一是闪存和固态硬盘（SSD）的价格不断下降，成为更多人的选择；其次，存储技术也在快速发展，新的接口、协议、架构开始出现，提高了存储设备的带宽、性能和存储容量。大大改进，为更高性能的服务器设计和更大规模的数据中心应用做好准备。

另一方面，新的存储系统和建立在它们之上的各种存储架构理念开始出现。除了传统的存储阵列，全闪存阵列、混合存储等存储系统也开始出现，以满足大规模存储和上层应用从不同角度快速读取数据的需求；融合存储、超融合存储、软件定义存储等各种概念，每一个都能看到众多厂商背后的支持。

此外，在软件技术和硬件发展的推动下，云计算技术和产业日趋成熟，对包括存储在内的传统硬件产业带来巨大冲击。总的来看，存储技术的发展支撑着不断扩大的数据应用需求，使数据不断升华为信息和知识，再次被重新投入到新一轮的社会经济活动中，创造更大的价值。的价值。

人工智能能耗和数据孤岛

数据存储的重要性怎么强调都不为过。然而，数据作为当今社会最宝贵的资源之一，在数据存储技术不断更新换代的背景下，仍然面临着各类数据长期存储管理不善的问题。消费问题的另一面，数据孤岛问题突出，资源浪费在所难免。

在二进制代码中，数字信息存储为 1 和 0，也称为位。 8 位构成 1 个字节。然而，2018 年全球创建、捕获、复制和消耗的数据总量已经是 33 泽字节（ZB），1 泽字节是一个比特。 2020 年，这个数字增长到 59 ZB，预计到 2025 年将达到难以想象的 175 ZB。

更直观地说，假设每个比特是一枚硬币，大约 3 毫米厚。 1ZB 由一堆硬币组成，高 2,550 光年，可以到达最近的恒星系统，即半人马座阿尔法星 600 次。目前，我们每年生成的数据量是这一数据量的 59 倍，预计复合增长率约为 61%。

每两年新建大约 100 个超大规模数据中心，以满足对数字数据存储不断增长的需求。根据工信部印发的《新型数据中心发展三年行动计划（2021-2023年）》，到2023年底，全国数据中心机架规模年均增速将保持在20%左右，总算力将超过高端算力。高达 10%。

大量的数据吞吐量和计算量必然会增加电力消耗，从而排放大量二氧化碳，以及二氧化硫、氮氧化物等主要环境污染物。 2018年中国数据中心总用电量1608亿千瓦时，占全社会用电量2.35%，用电排放二氧化碳9855万吨，使是名副其实的“耗能大户”。按照目前的发展速度，预计到2023年，数据中心的能耗将相当于2.6座三峡电站的发电量，碳排放量将达到1.@ >63 亿吨。

面对不可忽视的能耗问题，建设一体化大数据中心，解决高能耗问题，找准破局关键点显得尤为重要。但事实是，由于不同主体对信息化的需求不同，各种数据仍被封存在不同系统中，孤岛众多，难免造成资源浪费。

数字信息通常存储在三个地方：

一个是世界各地的终端能耗管理问题，包括所有物联网设备、PC、智能手机和所有其他信息存储设备。

第二个是边缘位置，包括基站和机构服务器等基础设施，以及大学、政府办公室、银行和工厂等服务。

第三个是存储大部分数据的核心位置——传统数据服务器和云数据中心。

但是，在设计信息系统架构时，并没有一套标准可供参考。因此，不同的主体做出不同的选择，使得各种数据仍然被密封在不同的系统中。以政府为例，根据政府采购网的采购公告，仅过去6个月就有11431项相关采购，各省各单位，采购金额从几十万到几百万不等，例如：

私有云存储扩容采购项目230万；重庆大学全闪存存储及服务器采购项目243万；中央广播电视总台私有云存储设备全包维护项目150万；广州中山大学附属第一医院数据中心服务器及存储扩容升级项目601万台；广东工贸职业技术学院仓储扩容项目30万个等。

这样做的后果是，第一，每个单位都有自己的机房、服务器和管理员，造成管理成本的浪费；其次，当每个单元使用自己的存储格式、数据库设计、操作软件时，都会不利于数据的泛化和对外开放，大量的数据吞吐和计算必然会增加功耗，从而带来一边浪费能源。

政府如此，更不用说以商业为目的的商业了。由于企业在不同的发展时期对信息化的需求不同，因此重点建设基础设施和软件系统。加上预算有限，部署难度大，很多企业信息系统互不兼容。

通常每个部门都有自己的存储和自定义数据。每个部门的数据就像一个孤岛，无法与企业内部的其他数据进行连接和交互。对于数据孤岛的企业来说，所有数据都被密封在各个系统中，使得整个业务链上存在很多孤岛，信息共享和反馈困难。数据之间缺乏关联，数据库互不兼容。

人工智能理性规划打破孤岛

如何解决能源消耗和数据孤岛问题，更好地存储、管理和使用数据是数据存储的重中之重。

显然，社会对数据存储和使用的意识还有提升的空间。目前，随着全球云计算行业的深刻变革，越来越多的新型数据库应运而生。这些数据库一方面依靠存储技术来存储海量数据，另一方面也对存储服务提出了新的需求，影响了其发展。然而，全社会的数据存储意识并没有及时更新。比如现阶段，虽然政府部门大力倡导大数据发展战略，但很多数据存储仍然遵循传统的分析流程和方法。

一方面，从能源消耗的角度来看，数据存储需要合理规划和分布，集群发展要协调。供需失衡、能源分布不匹配是我国数据中心存在的突出问题。这就需要统筹布局国家大数据中心，合理应用我国能源分布特点，结合当地能源条件。目前我国数据中心机柜总数约360万个，其中热数据集中在京津冀、长三角、珠三角三个经济区域，冷数据集中在西部资源丰富的地区。

此外，要进一步挖掘数据中心的节能减排潜力，提高能源利用效率，降低能耗；加大基础设施整合调度，推动老旧基础设施改造升级，灵活运用高密度集成高效电子信息设备、液冷等节能技术和可再生能源。

另一方面，对于数据去中心化的现状，“各司其职”是造成信息孤岛和政府部门重复建设问题的重要原因。目前，中央层面已经建立了全国电子政务统筹协调机制，明确了中央相关部门在电子政务建设、管理、运行、标准化等方面的职责，避免了部门之间的职责重叠和交叉。

但是，由于国家电子政务统筹工作职能的多次调整，各地区数字政府建设水平参差不齐，使得地方数字政府建设统筹工作形势依然复杂，实践因地而异。整体来看，由于地方统筹协调不力，网络、平台、应用等资源的建设和管理还缺乏有效的协调。因此，要打破政府部门的“孤岛”现象，需要持续深入的调整和改革。

在企业方面，失去对数据的控制是拥有开放数据的公司最关心的问题。基于此，隐私计算是一种由两个或多个参与者共同计算的技术和系统，参与者可以通过协作对其数据进行联合机器学习和联合分析，而不会泄露各自的数据。

隐私计算的参与者可以是同一组织的不同部门，也可以是不同的组织。在隐私计算框架下，参与者的数据不是本地的，在保护数据安全的同时，可以实现多源数据跨域协作，解决数据保护和集成应用的问题。