物联网高速发展中，信息技术环境更加复杂，数据存储、管理需求增加，为提升物联网背景下信息数据的传输效率，应合理应用物联网大数据存储与管理技术，促进信息共享，突出信息数据的应用价值。因此，文章基于物联网大数据的基本概念，对物联网大数据存储与管理中面临的挑战展开分析，同时明确了物联网大数据存储与管理技术的应用场景和关键技术要点，以改善物联网数据管理质量，满足新时期物联网数据的存储要求。

引言

物联网是融合大量传感设备、互联网的网络中心，物联网大数据是网络中心运行的关键要素，为有效感知、应用相关数据，需运用物联网大数据存储与管理技术持久化地存储数据，实时检索、分类处理数据。但是为建立有效的数据体系，还应掌握物联网大数据存储与管理的技术要点，面向数据应用与服务，完善物联网大数据的技术管理方案。

物联网大数据的基本概念

物联网的本质是基于“物”的数据网络中心。随着我国感知设备、网络技术的成熟，物联网成为各领域的重要数据信息源。传统互联网是以人作为数据交互中心，数据应用集中在文件传输、数据共享、视频点播、社交等方面。但物联网则是以“物”为核心，通过各类设备的互联互通，使数据服务渗透在各个领域，数据源服务涵盖目标跟踪定位、位置共享、智慧城市建设、城市安全管理等。智能手机、汽车传感器、电视机等都属于物联网中的数据源。自2013年起，我国物联网大数据已经超过了1.4ZB，预计在2030年，物联网的传感设备将超过7万亿，全方位地为用户提供数据服务。

数据存储与管理是物联网大数据的核心技术。应用物联网服务时，需采用数据库、数据分析、数据检索技术，从基础逻辑概念、软件、硬件角度出发，建立高性能的数据中心网络系统，为用户存储、管理数据提供场所。在此过程中，该系统需承担大量的数据处理任务，兼顾数据检索、存储、分析工作。因此，需应用大数据存储与管理技术，满足物联网应用时的数据服务需求。

物联网大数据存储与管理面临的挑战

近年来，物联网规模持续扩大，物联网数据系统中的数据量急速增加。物联网应用场景中，数据记录量已经超过数十亿，数据存储进入PB级别，流入速度加快。各类传感设备会通过物理传输技术检测数据、存储样本数据文件。但由于传感器数量较多，具体感知相关数据时，传感器节点数据规模较大，数据收集、处理、感知难度增加。

另外，海量数据本身导致数据存储与管理面临较大挑战。比如，物联网应用服务中，图像信息采集、目标识别需应用分布式数据系统，但在数据存储时，Hadoop分布式系统在写入10KB的图片信息时，写入吞吐量为15MB/s。数据检索多为离线批量检索模式，数据处理时，目标检测速度为10帧/s。对于海量的数据量，其数据存储、处理效率较低，无法满足电力供应、物流服务、城市安防等特殊领域的数据管理要求。因此，需深入研究物联网大数据存储与管理技术的应用场景，搭建更完善的数据技术方案。

物联网大数据存储与管理技术的应用场景

（一）分布式数据存储

分布式数据库是基于数据存储技术，建立HBase分布式数据库，通过非结构化、半结构化的数据模式存储物联网数据。具有数据特征明显、安全性强的数据存储优势，属于可伸缩式数据库，支持各类数据访问接口，数据存储灵活性较强。物联网应用服务中，分布式数据库能够满足多场景的数据访问需求，依据特定场景选择数据方位形式，有助于提升数据库应用效率。相较于传统数据库，HBase分布式数据库的数据模型简单，数据传输、存储过程简单，技术原理是将物联网数据转换为特定字符串后存储数据信息，外部破解难度大，可确保数据存储的安全性。

（二）分布式数据库查询

分布式数据查询是应用可扩展的数据存储与管理技术，结合数据结构形式，整体规划数据信息，使其能够实现多个数据端口浏览、查询的需求。物联网数据体系中，分布式数据查询是在归类数据库内信息资源的基础上，利用数据库分布功能，配合数据结构为浏览者提供信息服务。

分布式数据库查询服务的技术原理是利用物联网大数据技术的横向扩展能力，建立分布式计算框架，并列执行大规模分布式的数据查询任务。数据检索中可减少数据聚集查询时的I/O输入端口，通过数据分类压缩，优化数据查询算法。对于超大规模的数据分布式查询，可应用线性、近线性的算法，统计分析算法模型中的数据特征，基于聚集算法扫描数据，实现物联网大数据的高效查询。

（三）云数据库检索

物联网大数据存储与管理中，云数据库检索是应用云计算、虚拟技术，改善传统数据库的存储功能，提升物联网信息数据的查询服务水平。云数据库检索可减少数据计算、统计分析中的各类问题，减少数据存储与管理时的资源消耗，同时满足各类硬件、软件的扩展需求，使用户能够远程应用数据库。

在此期间，云计算是云数据库的关键控制技术，可以在存储物联网大数据时汇总数据资源，匹配数据信息，建立海量数据的管理机制，优化数据资源配置。另外，物联网背景下，不同领域的数据存储需求存在差异，云数据库检索可满足数据存储的差异化需求，通过远程云端服务，为用户匹配相应的数据服务。比如，智能手机、电脑存储空间有限，云数据库能够为用户提供安全、可靠的数据存储与管理平台，并在综合管理数据资源的基础上，满足用户数据检索需求，优化物联网数据存储效果。

（三）NoSQL数据库

NoSQL数据库是物联网大数据存储和管理技术的重要内容。基于NotSQL数据库，数据存储与管理会形成非关系数据模型，使物联网运行中的数据服务形成实体模型、文本模型、并列模型，以适应不同的数据应用场景，提升数据分析的实效性。但在具体应用NotSQL数据库技术时，还应结合数据库的信息资源存储与管理需求，灵活处理特殊场景下的数据查询、数据检索任务，构建多元化的NotSQL数据库。对于数据处理量较大的物联网数据服务，应合理选择HadoopDB、reenPLum、BigTable、Dynamo等列族数据库、键值数据库，突破NotSQL数据库技术方案的限制。

物联网大数据存储与管理技术实践

（一）技术方案

1.建立海量分布式文件系统

针对物联网数据服务中海量文件的存储难题，应结合物联网大数据环境，建立海量分布式文件系统，如海量小文件高效存储系统，系统名称为“Sensor FS（Sensor Files Storage）”。该系统能够改善海量数据资源的写入性能，优化数据存储的技术方案。

1）设计“写缓存服务”，数据存储时先将海量文件信息写入数据集缓存模块中，初步缓存至内存后，应用聚类写服务，提升数据吞吐效率，节约各个数据节点的通信代价。

2）升级“聚类写”服务，聚集物联网中不同传感器的小文件资源后，将其合并为大文件，随后将数据写入数据库内的存储模块中。

3）增加底层存储模块。系统可在HDFS（Hadoop分布式文件系统）中的底层存储上增加DMFS分布式内存文件系统。该系统承担海量数据存储时的传感器数据聚集分类、数据写入缓存功能，以优化数据库对数据文件的吞吐效果。系统运行时，可将传感器数据中的海量小文件分为多个数据集，写入HDFS（Hadoop分布式文件系统）后持久化存储。

4）优化系统部署。系统部署时，DMFS（数据迁移文件系统）会通过“置顶”模式在分布式文件系统中提供数据的“写吞吐”服务，系统设计时无需修改HDFS源码，数据管理更加便捷，不受分布式文件系统版本更新的影响。DMFS安装时，可在任意服务器、HDFS（Hadoop分布式文件系统）主节点、数据存储节点安装上，对接数据网络。

5）控制内存开销。应用DMFS系统提升物联网大数据写缓存效率后，利用系统中传感器的访问关联性，聚合分类数据资源，汇总数据处理结果。高关联性传感器数据聚集为大文件后，写入HDFS系统，突破传统数据存储应对海量小文件时的吞吐瓶颈，控制系统源数据存储量，减少数据存储模块的内存开销。

2.建立海量键值数据快速检索系统

物联网大数据存储与管理时，数据索引是物联网数据服务的核心，但在数据存储与管理平台更新索引性能时，数据写入存储时的检索效率较低。对此，可建立海量键值数据快速检索系统，根据数据流入速度、索引更新需求，优化物联网大数据的存储与管理功能。

1）提升系统索引更新的自适应能力，合理设置索引模型的并行度。

2）加入radix tree数据结构空间，基于数据组合，调整数据结构表达方法。

3）将海量键值数据快速检索系统分为多个数据处理流程，包括数据写入、数据查询、键值数据存储。数据查询分为数据写入、数据排序、数据索引模型建设等维度，基于数据写入模块，可应用关键词查找数据源内的关键信息，写入需存储、索引数据后，应用数据索引模型，查找关键词，获取后进行数据拍照，将数据结果反馈给用户。

（二）数据存储与管理策略

1.明确数据特征

物联网数据体系中，数据来源较广，数据存储与管理应结合数据特征，灵活应用数据存储空间。具体来说，物联网数据具有海量性、实时性、结构化、有限周期性等特征，数据存储管理时，应满足不同特征下的数据管理要求。

1）物联网传感器会实时采集各类数据，并将其上传到云端，每天产生的信息数据量较大。数据存储应考虑海量数据的分类、统计、写入吞吐率。

2）物联网数据需实时传输、存储，数据聚集分类时应提升数据采集频率，高效率地记录关键数据。

3）针对数据的结构化特征，应严格按照物联网数据的应用场景、数据产生周期，设定数据检索、查询模式，满足不同领域的数据存储与管理需求。

4）物联网数据具有有限周期性特征，数据采集后应根据数据源分析数据特征、存储需求，分类写入相关数据。

2.深入分析数据存储需求

物联网数据产生于各领域的传感器设备，但由于传感器本身具有一定局限性，所以在数据采集、存储时会受到传感器设备的限制，影响物联网数据服务效果。因此，在应用物联网大数据存储与管理技术时，还应根据新时期数据存储的实际需求，围绕传感器的数据感知、信息传输目标，建立可促进数据对接的数据接口，同时积极引进云计算、计算机网络技术，提升数据传输效率。

3.加强数据分类管理

物联网数据源不同，其数据采集后的数据格式存在差异。一般可分为结构化数据、非结构化数据。数据存储与管理时可依据数据格式，分类管理数据资源。对于结构化数据可建立统一的数据模型，应用“关系数据库”存储数据。非结构化数据可应用分布式文件系统、“非关系型数据库”存储与管理。

4.优化数据存储模型设计

设计物联网大数据存储与管理模型时，应重视数据的安全性，以及数据利用的高效性。

1）可结合物联网数据服务内容，设计“数据存储层”、“数据服务层”、“数据应用层”等功能模块。

2）模型设计应符合物联网海量数据中的结构化、非结构化数据存储要求。比如，传统物联网数据存储在非结构化数据读写、数据库功能扩展、数据转换上存在缺陷，无法满足新时期爆发式增长后的数据存储需求。因此，需建立分布式的数据存储模型，应用NoSQL等分布式数据库，建立计算机集群，提升数据存储量、存储效率。

结语

综上所述，为在物联网时代，有效控制、感知数据资源，需基于物联网大数据存储与管理技术，建立分布式数据库，完善数据分析、数据处理、数据检索、数据存储中的技术方案，满足物联网大数据的存储要求，促进数据存储与管理的规范性。具体应用物联网大数据存储与管理技术时，还应结合新时期数据治理的实际需求，开发数据文件高效存储与管理系统，为物联网产业的可持续发展提供助力。

载于《数码设计》2024年第13期

囿于篇幅，舍去注释，完整版本请于水表网免费阅览

来源：三川智慧

作者：唐雄、郑志强

编辑：李京帅

一审：周琦

二审：詹志杰、蔡晋辉