本帖最后由 行云流水2016 于 2017-12-29 10:14 编辑
大数据分为大数据存储和大数据分析,属于两种截然不同的计算机技术领域,大数据存储用于大数据分析。大数据存储重点在于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在最短时间内处理大量不同类型的数据集。目前无论是大数据存储还是大数据分析,都已经成为帮助企业主业务的关键应用。在智能家居领域,例如家庭数字网络摄像头的云端存储,音视频设备背后的云端流媒体,家庭电量实施云端监测等等,都在大规模使用云存储和分析技术。 智能家居云存储方式 高度智能化的智能家居涉及数据量非常庞大,传统存储技术无法满足,所有云存储技术的逐渐发展与应用也为智能家居的发展迎来了广泛的关注。 下面举例其中一种云存储方式: 新一代的面向智能家居大数据云存储系统主要由逻辑控制模块、用户访问模块、存储模块、文件读/写模块和面向智能家居的大数据云存储模块。 逻辑控制模块:是整个面向智能家居大数据云存储系统的核心,是逻辑处理的枢纽,各业务请求均在该模块中被处理。 用户访问模块是智能家居中的用户和云储存系统交互的纽带,利用该模块可以透明地为用户提供底层实现的各项功能。 存储模块为新一代智能家居云存储系统提供了透明的存取功能。文件读/写模块主要负责将上层逻辑处理和底层存储进行隔离。 逻辑结构:请求处理后传输至存储模块,再由存储模块发送到面向智能家居的大数据云存储模块,在该模块中实现大数据云存储。 每个数据的处理流程: 每一个数据都有一个ETL,就是抽取、转化,然后去加载,包括做数据的清洗。如果数据大批量进来,有些数据可能是有问题的。比如说,好多地址会写得比较模糊,如果要搜索北京这个词的时候,数据仓库里可能只有一个京字,这些都要统一整理成一个,比如说北京,这样后面分析就会简单,比如山东,有人会输入“鲁”字来进行搜索,而不是山东,这就需要在大数据分析前期做好数据清理工作,做规范化,这样后面的数据分析起来就方便很多。 大数据的分布式计算: 通常用于数据分析平台的分布式计算平台内的存储不是我们以往面对的网络附加存储(NAS)和存储区域网络(SAN),而通常是内置的直连存储(NAS)以及组成集群的分布式计算节点,无论是数据部署安全、保护和保存流程都非常复杂。但大数据分析中包含各种快速成长中的技术,简单用分布式技术对其定义也并不准确。 大数据在智能家居领域的贡献 我们每个人都是数据的贡献者,全球平均每人大概携带200GB的数据,而智能家居作为围绕人与设备的新兴领域,大数据对于相辅相成的贡献也是不言而喻的。我们谈论的一定是有价值性的采集,如果我们都不知道哪些数据要采集或者放弃,最终搭建数据分析系统的时候,可能会不知道怎么搭建,也不知道用什么技术,甚至收集到许多无用的信息纯属浪费时间。我们可以把企业的运营、产品、用户使用情况、设备信息都存储,但是提取分析要有清晰条理的规划,最终的数据价值才有意义。 智能家居系统的所产生数据的包含面非常广,既有硬件传感器的数据、也有硬件本身的数据运行状态、也有用户和硬件交互的数据,还有用户通过APP等客户端产生的数据、更有用户自身的使用习惯和生活场景的数据等等,这就导致整体的智能家居所产生数据的积累速度和量都很大。智能家居企业初期围绕业务驱动,下面一些数据是必须要收集的,建议采用分布式大规模的云存储架构,以满足未来企业高速发展和创新需求的必然趋势。
智能家居大数据的采集内容: 智能家居大数据的采集内容,包括APP的使用情况、故障自诊断信息、服务运营信息、用户画像、设备使用状态、用户使用行为、APP交互行为、用户信息数据、设备功能信息、用户信息、设备功能信息、设备日志、APP日志、子设备参数与运行状态等等其他数据。 智能家居为何需要大数据 智能家居是多领域融合的切入点,是社会家庭管理的支撑点,是民生服务的新亮点。物联网生产大数据,大数据支持智能家居,从智能家居到数据再到智能化,构成了从感知到认知的全过程。大数据是智能硬件竞争的制高点,可以帮助硬件厂商挖掘用户的设备使用行为,让厂商可以了解自己的用户、优化产品策略和市场策略。还可以对用户进行学习,建立用户画像,针对不同的用户提供个性化智能体验,给不同的用户提供个性化优惠,加大二次销售。也可以做设备活动状态的分析、故障率的分析,这样来指导产品、硬件后面怎么做迭代层、怎么做升级,包括知道用户喜欢用什么功能、用户在什么时间段喜欢用这个功能,知道后面营销策略针对哪些地域作为重点。利用大数据可以挖掘出非常多的价值,这需要在IoT领域不断地去探索。 云计算与大数据 想获得海量数据,设备必须接云,智能家居领域将面对的将是千亿乃至万亿的设备。如果在云安全部署还未成熟的情况下,就将这些设备盲目入云,将会导致不可想象的灾难。所以数据前提是云安全,所以云计算的方式方法至关重要。 云计算和大数据是一个硬币的两面,云计算是大数据的IT基础,而大数据是云计算的一个杀手级应用。云计算是大数据成长的驱动力,而另一方面,越来越多的数据需要云计算去处理,所以云计算与大数据是相辅相成的,在智能家居产业中体现得更加淋漓尽致。 未来通过云计算对大数据进行存储分析和准确提取的同时,需要深度学习和深度挖掘数据,模拟学习用户行为,实现更加“聪明”的智能体验。
欢迎关注“壹看板”,了解一站式企业数据管理平台!
|