如何实现大数据分析更新传输

下面是之前遇到的问题:

上周在班里做了关于WebSocket协议的技术分享,因为当时演示的是小数据、间歇性数据发送。所以很成功,并没有遇到啥问题。

不过回去之后发现用一个10000次的循环不断向服务器发送数据时,不论数据的大小,后几千次的数据都变成了乱码:

可是经过查看发现第一次数据的实际长度往往是Payload length值的一半左右,第二次的数据全是乱码。

下面是WebSocket握手结束后数据解码部分的代码:

// 这里得到上面说的测试结果

WebSocket协议还有什么细节需要处理还是Buffer无法瞬间接受过大的数据吗?

一直没想明白这两种情况下乱码究竟是怎么产生的。。


实现WebSocket真够让人纠结的,正确的代码已上传至github :

在这方面遇到麻烦的同学可以参考参考啦~

摘要 摘 要 互联网信息时代,大数据已经变成了一种极为重要的资源,但是大数据的收 集、存储、利用的过程中却存在着很多安全的问题。不论是企业还是国家都投入 了大量的人力、物力、财力研究大数据相关技术,但是在保护大数据安全必须依 靠完善的基础设施。在基础设施还不够完善的今天,我们先关注如何解决特殊领 域的大数据安全问题。 我国自主研发的 XX 系统,具有为全球用户提供通信的功能,为特殊用户提 供安全通信为 XX 系统的一大特色。研制用户终端通信设备、全球的通信管理站 点布设是XX 系统建设的主要任务。 对 XX 系统大量数据在传输、存储过程的安全技术研究作为XX 系统信息安 全技术研究的子课题,针对用户终端通信设备境外应用需求和全球通信网络架构 及其技术体制,综合利用信息传输认证、安全防护等技术手段,对敏感信息交互、 敏感数据处理、用户终端通信设备及存储设备安全提供可控的安全防护手段,保 证信息安全可控、运行环境安全可控、境外设备安全可控。 为实现以上目标,本文基于大数据的安全传输及安全存储,从传输信道安全、 数据防破坏、数据防篡改、设备物理安全等几个方面入手进行设计和实现。 针对 XX 系统保障大数据传输安全的要求,在用户终端通信设备向通信管理 站点传输数据时采用认证管理模块,实现对所有数据的认证管理,保证非法数据 无法进入系统冲击系统设备;保证系统中的存储设备接收到的均为有效数据,节 省存储空间;同时还对数据进行了简单的预处理,为后续数据分析提供便利。 针对 XX 系统保障大数据存储安全的要求,提出了通信管理站点存储设备采 用高配置的服务器硬件平台、双机热备设计,保证存储设备的工作稳定、数据完

确保大数据的安全主要完成以下三点任务:

数据加密确保数据真实性,防止被人肆意篡改。

  数据的真实性是未来通过大数据来提供安全策略的重要保障,只有信息是真实的,才能真正的给未来的网络安全提供可靠的信息支持。一旦这个信息被篡改成其他的信息,或者更危险的被篡改成病毒木马,这样不但可能造成提供信息的无效,还有可能导致信息数据直接成为安全的威胁。一旦这个问题解决不了,未来想通过大数据来提供数据安全服务都是空谈。

数据备份恢复,防止破坏。

  对于数据的破坏行为,随着技术的发展,网络威胁或许会逐渐成为数据破坏的主因,但是就整体而言,数据的破坏行为大多都是由误操作造成的。因为随着IT技术的发展,从正面的进攻来达到破坏效果,虽然技术上的难度在大数据的支持下并不大,但过于明目张胆和粗暴,容易被将来的网络警察和系统自带的安全体系反追踪和袭击,对于攻击者本身来说风险很大。

3.数据传输通信安全。

传输通信加密和身份认证,防止数据在传输过程中被人篡改和窃取。

  在谈数据加密时,已经谈到了被篡改的数据对大数据安全策略建立的危害性。其实这种篡改行为除了在数据本身进行防护之外,在数据的传输过程中同样也需要保护。在大数据时代,不通过网络来实现云技术大数据的集合处理几乎是不可能的,或者说不通过网络集合的大数据是不完整的,不及时的,所提供的安全策略不是最完整、最新鲜的,自然地通过大数据提供的安全策略的效果也不能达到最完美。

经验内容仅供参考,如果您需解决具体问题(尤其法律、医学等领域),建议您详细咨询相关领域专业人士。

说说为什么给这篇经验投票吧!

只有签约作者及以上等级才可发有得 你还可以输入1000字

  • 0
  • 0
  • 你不知道的iPad技巧

我要回帖

更多关于 大数据分析 的文章

 

随机推荐