目前常见的大数据存储结构方式有哪些？

来源：蜘蛛抓取(WebSpider) 时间：2023-03-24 13:22 标签： 数据存储结构

感谢邀请，
首先大数据是个名称，
没有您想象的那么复杂，
举个例子，
您是一位老板，
周一上班您穿一件黑色的西服，
周二上班您穿了一件蓝色的休闲服
周三上班您穿了一件灰色的外套
周四上班您穿了一件灰色的夹克衫
周五上班您穿了黑色的外套
这个时候数据的作用就启动了
判断，您的穿衣习惯，偏黑灰色，
性格稳重成熟，相对来说偏理性，做事属于能干持家型，以上信息仅供参考，专业的话会延伸到许多习惯及生活方式
数据就是通过一系列现有的数据进行采集，从而找出其中的逻辑点，来验证最终决策的一个过程。
围绕着数据的采集、传输、加工、分析、应用都是大数据产业。大数据是一个以数据为核心的产业，是一个围绕大数据生命周期不断循环往复的生产过程，同时也是由多种行业分工和协同配合而产生的一个复合性极高的行业。
目前看国家及行业内对大数据产业细分比较常见的是参考现行的行业分类来划分的，例如金融大数据、物流大数据、电商大数据、交通大数据等等。
融合应用产业：在业务应用中产生大数据，并与行业资源相结合开展商业经营的企业。
基础支撑产业：提供直接应用于大数据处理相关的软硬件、解决方案及其他工具的企业。
数据服务产业：以大数据为核心资源，以大数据应用为主业开展商业经营的企业。
大数据有哪些主要的应用领域？
作为一名IT从业者，同时也是一名教育工作者，我来回答一下这个问题。
首先，物联网、大数据、云计算和人工智能之间存在着比较紧密的联系，从技术体系结构来看，云计算和大数据是比较接近的，都是以分布式存储和分布式计算为核心，但是云计算主要提供服务，而大数据主要完成数据的价值化。
物联网的层次结构能够很好的呈现出与大数据、云计算和人工智能之间的关系，物联网的层次目前分为六大层次，分别是设备层、网络层、物联网平台层、数据分析层、应用层和安全层，其中安全层是全覆盖的。
在物联网的六大层次当中，算力部分需要由云计算来支撑，也有一部分需要边缘计算来提供服务，数据分析层主要采用大数据技术来实现，而应用层则主要由人工智能技术来实现，或者说未来人工智能技术在应用层的作用会越来越重要。
未来物联网要想真正发挥出巨大的作用，一定离不开人工智能技术，而人工智能技术要想实现落地应用，一定离不开物联网提供的场景，所以二者之间存在非常紧密的依赖关系，目前AIoT也是一个重要的研究领域，不少大型科技公司也纷纷布局该领域。
随着5G技术的落地应用，基于5G网络能够明显拓展物联网的应用场景，这会在很大程度上促进物联网的发展，而物联网的发展也会全面加速大数据和人工智能技术的发展，一方面物联网为大数据提供了主要的数据来源，另一方面万物互联的背后必然是万物智能。
最后，在新基建计划的推动下，物联网、大数据、云计算和人工智能等技术会得到进一步的关注，大量的社会资源会向这些新技术领域汇集，这也会促进这些技术的发展和应用。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！
这四个名词，既是四个产业，又是四种技术。同时还是四门学科。说以说起来非常的复杂。
所以我们为了不被绕晕，我们先从简单慢慢到复杂，然后具体说说每一个领域的细节。
一、从实际生活中的案例来说说这四个领域，让你更清晰的明白。他们都是什么？来看一个图：（可能有头条显示的不清楚，有兴趣的可以去我的微头条看原图）
从硬件通信层平台层物联网应用。这就是上图的架构。
硬件层，和通信层，就是目前中美在争夺的科技高地。
包括了芯片制造，5G通信，通信标准等等。（这方面，本文不做细节讨论）
我们来聊聊：平台层，物联网层面。
（1）云计算与大数据，人工智能。 数据存放在固态硬盘中，固态硬盘，和CPU可以对数据进行二进制处理。
也就是说，固态硬件之上，有一套系统来准确的对数据进行梳理，计算，并且将结果显示出来。
云计算可以说是一个系统，云计算是将硬件服务器，搭建出来一个个可以处理数据的场地。
最简单的理解就是：给你一堆石头（硬件），通过系统化的排列，你铺出了一个超大的广场，并且在每一个广场上面，你都做好划分，这个地方可以用来处理水稻，那个地方可以用来处理小麦，另外一个地方可以用来处理土豆等等。
因此，云计算的核心，并单单是服务器的分布式。更主要的是，将所有的服务器连接一起后，可以做到针对应用场景，为不同行业开发不同的数据运行环境。
所以就有的，阿里云这种做最底层的公有云服务商，他就是一个平整土地的供应商。在阿里云基础上，可以搭建各种专属的云服务。
这就延伸出了，工业互联网领域的架构：
最底层的IAAS，中间层的PAAS，消费客户层面的SAAS。
在应用市场层面，整个云计算可以说是工业互联网的技术。肯定是没有任何错误的。
我们接着SAAS来说，有不少人，都了解一些saas的含义。说白了，就是企业数据管理系统，或者说行业数据管理系统。
云计算作为基础，大数据是其中一个应用：用一个大部分都熟悉的内容:ERP企业资源管理系统。这就是一个典型的SAAS平台。
那么在SAAS基础上，针对已经存在的数据，做好数据规划，可以针对数据，进行大规模的数据分析。可以将数据分类，同时可以将数据，按照相关性进行组合，勾勒出企业的市场概况，消费者轮廓。
这是一个企业内部大数据，这个其实是一个伪大数据。
在行业中，大数据是针对超大规模，例如处理Tb（1Tb=2014Gb）的数据。
数据量足够庞大后，人们最先想到的是，大数据可以用来训练人工智能。或者建立专家系统。最典型的东西：警用天网
不少人都知道，网上追逃犯，经常能够通过商场，公用摄像头捕捉到嫌疑人的画面，根据面部图像进行分析。这就是最典型的图像智能中的大数据应用。
这种图像智能就是其实就是人工智能的一部分。与图像智能一样被人们熟悉的是语音智能。
人工智能是否聪明，前期的训练主要依靠大量数据的培训。
因此：在两个典型场景中，例如语音智能，科大讯飞最大的依仗就是有国家语料库。
无人驾驶领域：百度，滴滴，腾讯都在做的是高精地图的权限。
例如网络医疗问诊（非人工），根据患者的描述，拍照，对照数据库中，已经分类索引的各种症状。给出判断。
再比如：现在经常能够接到银行，移动，联通的电话，不少都是非人工的客户。
你说一句：你好！ 对方就开始给你介绍各种产品等等。
这种日常生活中的大数据应用，比比皆是。
大数据并不是通向人工智能的唯一手段。
当下比较高端的人工智能，不少都采用了深度学习的方式，在一定程度上，并不需要每一个人工智能都学习大量的数据。
二、物联网：物联网本身是一个概念他的含义是：所有物体都可以联网，并且能够通过网络控制。
这就衍生出了：物联网操作系统，物联网的通讯架构，不同场景中物体联网后，如何进行控制的各类应用。
物联网操作系统：HUAWEI liteOS物联网操作系统
然后到通信层面，工业，家用，等各个领域不同的物联网应用通讯。
最后到应用层：工业领域的MES，WMS，数字孪生工厂都是物联网最后呈现出来。
消费场景中，家用的电灯，冰箱等等都可以通过智能音箱控制。这也是一种场景的物联网应用。
工业领域物联网的实现方式：倍福节能物联网架构
如果一定要将这四个联系到一起，那么可以分为：
云计算是基础层，在云计算上面运行着大数据，大数据可以作为人工智能实现的其中一种手段。
整个云计算，大数据，人工智能都是物联网应用的场景。
物联网不是一个特定的技术，而是一个形式。如果互联网一样。

我要回帖

更多关于 数据存储结构 的文章

 

随机推荐