30 | 当大数据遇上物联网

Jan 5, 2019

30 | 当大数据遇上物联网-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

30 | 当大数据遇上物联网

2019-01-05 李智慧来自北京

《从0开始学大数据》

课程介绍



讲述：李智慧

时长09:02大小8.24M



某位互联网大佬说过，未来 20 年最有发展潜力的三项技术分别是：区块链、人工智能、物联网。关于区块链，现在可能是最有争议也是最迷茫的时候；关于人工智能的价值，我们已经达成共识并稳步发展；而真正完成早期探索、处于突破临界点的可能就是物联网了。
物联网确实也能给我们足够的想象空间：万物互联，所有的一切设备都是智能的，它们通过互相通信，彼此联系；而人们也可以通过云端的应用掌控一切，就像科幻电影描述的那样。
最关键的是，相比人工智能和区块链还在进行技术探索，物联网的技术已经成熟，只待“临门一脚”了。
物联网应用场景分析现在说“万物互联”也许为时尚早，但是很多细分的垂直领域场景已经实现了物联网。
1. 智能家居
智能家居可能是和我们最接近，也是目前最普及的物联网。目前市面上销售的各种大家电，很多都有上网和远程控制功能。小米旗下的几乎所有家电都可以通过网络控制，这些设备和智能音箱联通，我们可以通过语音控制台灯、电饭煲、自动窗帘等。
下班回家，说一句“我回来了”，家里的灯立即打开，空调开启、窗帘关闭。要睡觉了，说声“晚安”，大灯关闭、夜灯开启、空气净化器进入夜间模式。是不是很酷？最重要的，这些技术和产品都已经成熟，而且价格低廉。
2. 车联网
车联网曾经被人们寄予厚望，Intel 就在车联网方面投入很多。我在 Intel 工作期间，有段时间每天去公司上班，一楼大厅都播放车联网的美好场景：
道路上的车辆互相通信连接，前面车辆刹车，立即通知后面车辆，后面车辆也减速；路上发生车祸，警告其他车辆小心驾驶，车辆通过自己的摄像头将车祸现场照片视频自动上传给交警和保险公司；进入停车场，车辆和泊位系统通信，自动引导到空车位。车辆和车辆之间、车辆和其他交通设施之间彼此通信，互相协作，构成一个网络。
除此之外，物联网还应用在农业领域，土壤传感器探测土壤湿度，数据上传云端，云端系统根据农作物特性远程控制农田现场的喷淋装置。在能源利用领域，摄像头和红外传感器捕捉人们的活动，自动控制照明和空调系统，保证舒适和节能的平衡。
物联网平台架构物联网主要是将各种传感器和智能设备连接起来，将数据上传云端，根据规则和机器学习模型进行远程控制，并通过物联网应用程序进行监控管理。一个典型的物联网平台架构如下图所示。
终端传感器实时采集数据，利用移动数据网络将数据上传给智能网关，智能网关进行初步的数据处理，根据规则和机器学习模型进行计算，再将计算结果通过移动数据网络下发给可控制的终端智能设备。
由于传感器可能部署在很多相距较远的地方，而且数量庞大，所以不可能将传感器数据直接接入云端服务器，而且也不是所有的传感器数据都需要实时上传云端。所以，需要有一个在传感器现场的前置服务器进行现场管理。智能网关就是距离现场传感器最近的一个计算机。
由于智能网关布置在物联网的作业现场，和传感器距离很近，处于整个云计算的边缘，所以在智能网关上的计算也叫边缘计算。
我们看到，在科技领域隔一段时间就会造出一个新名词，这可不是技术人员在没事找事瞎歪歪。每一个能公开传播的科技名词背后都有巨大的经济利益之争。科技巨头们为了在争夺市场份额，不断抛出新的科技名词，企图主导科技的话语权，进而获得经济利益。而大众也会审美疲劳，需要市场上不断有新鲜的东西问世。
但是我们作为科技从业人员，需要搞清楚这些新鲜热闹的科技新词背后的技术本质，不要被这些纷纷扰扰的技术新名词搞得迷失了方向。
智能网关进行现场数据处理后，也就是进行边缘计算后，还要把数据上传到云端，即物联网大数据平台，将数据永久存储，进行机器学习。还要将各个异地的传感器数据统一汇总，进行全局性的计算并进行全局性的控制。
此外云端还负责将各种数据推送给应用程序设备，工作人员可以实时监控整个物联网的运行情况，并通过应用程序进行远程控制。
大数据技术在物联网中的应用如果说互联网连接的是人，那么物联网连接的就是物，是各种智能设备和传感器。相对人的数量来说，智能设备的数量要多得多，人不会时刻都在上网，而智能设备则时刻都在联网传输数据，所以物联网更需要大数据技术。
物联网里大数据技术的应用，一方面是大数据的存储和计算，另一方面就是边缘计算管理。我们先看下物联网大数据平台的架构。
1. 智能网关通过消息队列将数据上传到物联网大数据平台，Storm 等流式计算引擎从消息队列获取数据，对数据的处理分三个方面。
数据进行清理转换后写入到大数据存储系统。
调用规则和机器学习模型，对上传数据进行计算，如果触发了某种执行规则，就将控制信息通过设备管理服务器下发给智能网关，并进一步控制终端智能设备。
将实时统计信息和应用程序监听的数据发送给应用程序设备，供使用者查看管理。
2.Spark 等离线计算引擎定时对写入存储系统的数据进行批量计算处理，进行全量统计分析和机器学习，并更新机器学习模型。
3. 应用程序也可以通过设备管理服务器直接发送控制指令给智能网关，控制终端智能设备。
这样就构成一个典型的物联网“端 - 云 - 端”架构，其中两个端分别是传感器与智能设备端，以及应用程序设备端，而云则是大数据云计算平台。
此外，边缘计算也要执行大量的逻辑运算，主要是对传感器数据进行处理和计算。运算逻辑代码和处理规则可能会经常变化，特别是规则配置，随时可能更新。
比较好的做法就是参考大数据计算框架的做法，即移动计算，将执行代码和规则配置分发到智能网关服务器。
开发者将代码和配置通过设备管理服务器分发给各个智能网关，智能网关热加载这些代码开始执行。这样人们不但可以远程控制智能设备，还可以控制智能设备的运行逻辑。
现在一些商业化的物联网云计算平台提出函数即服务 FaaS，在应用程序或者云控制台上编写函数，分发到智能网关执行就可以，这也是目前比较火的 Serverless 的一种实现。
小结物联网的很多应用场景都会加上“智能”二字，比如智能家居、智能交通等。万物互联本身不是目的，让万物更智能，让生活更美好才是目的，而这些智能正是靠大数据技术实现的。不管是大规模传感器数据的采集、传输、处理，还是关于这些数据的分析与机器学习，以及最后对现场智能设备控制的边缘计算，背后都用到了大数据技术。
物联网的概念从提出到现在也过去很多年了，最近两年又重新开始火起来，我想应该跟大数据技术的普及有很大关系。
思考题你了解的物联网应用场景还有哪些？大数据在其中的作用是什么？
欢迎你点击“请朋友读”，把今天的文章分享给好友。也欢迎你写下自己的思考或疑问，与我和其他同学一起讨论。

分享给需要的人，Ta购买本课程，你将得20元

生成海报并分享

赞 14

提建议

29 | 盘点可供中小企业参考的商业大数据平台

31 | 模块答疑：为什么大数据平台至关重要？

 写留言

精选留言(25)

My dream
2019-01-05
老师只是给我们讲些理论和美好的前景，一点实际操作都没有，唉😔！我们要的是如何利用大数据平台高效解决我们实际应用场景中的困难:一是如何搭建自己的大数据平台，二是如何将数据导入大数据平台，三是如何用sql来查询出自己想要的数据并通过图形可视化的方式展示出来
作者回复: 我以为这些想要的我都讲过了😂这个模块前几篇的架构图要不再看看，只看图不看文字，理解下图中每个模块的作用和彼此之间的关系
共 7 条评论
55
小千
2019-01-05
说到物联网，GE的Predix和西门子的MindSphere平台是绕不过去的。物联网的难点不光是软件，还有硬件，高性能高可靠性低价传感器，高速数据总线，高吞吐量网关都是难啃的骨头。物联网目前最致命的问题是对于绝大多数用户来说成本和代价太高，诚然有一些用户通过物联网完成了信息化改造实现了效率的飞跃，但是想推广现在还是太难了。ge去年股价受到重挫，不得不把predix剥离出来独立运营，物联网的发展还是任重道远。
作者回复: 👍🏻
30
Sunny
2019-03-04
感觉智慧老师讲的很好呀😊，第一遍读的时候可能没理解，觉得讲的东西离自己很遥远，懵懵懂懂的感觉，第二遍再看的时候突然有种恍然大悟，觉得讲的太好了，看来智慧老师讲的东西还是要多读几遍才好😄
作者回复: 😇
共 2 条评论
11
Dr.Strangelove
2019-01-07
“我们要的是如何利用大数据平台高效解决我们实际应用场景中的困难:一是如何搭建自己的大数据平台，二是如何将数据导入大数据平台，三是如何用sql来查询出自己想要的数据并通过图形可视化的方式展示出来”——引用自热评。这个专栏一直看到现在，感觉内容就好像某某平台教人如何实现财务自由一类的专栏似的，前几篇入门原理还可以后面讲的都是些屠龙术和空洞内容，在日常应用中没有啥价值甚至有被割韭菜收智商税的感觉。。。
作者回复: 我以为这些想要的我都讲过了，一和二，至少花了一篇专栏讲😂
共 4 条评论
8
修行者
2019-01-05
1. 马老板搞的无人超市应该是物联网应用的典型场景之一：每个物品都有 RFID，结账只需要过一遍闸机，自动扣款；各个地方都有摄像头，货架有传感器，分析；大数据技术可以分析消费行为，物品摆放位置等。 2. 东哥的智慧物流的自动分拣设备也是物联网应用场景之一：引进智能机器人设备对快递分拣，通过云端控制这些机器人的分拣规则，以及优化分拣路径。
展开
8
你为啥那么牛
2021-03-07
老师关注下【博创联动】这家公司，我服务过近四年，最近刚离职。楼上有一个哥们说了很多问题，软件、硬件、高并发网关、传感器，成本及代价高。我细说下吧，一个传感器卖给终端消费者一千，一般一台车要配置三五个，成本一下就上来了。网关这块还好说，我同事排查出很多问题，多线程共享一个消息队列，变成了单线程，最后调大了每次读取消息数，才逐步提高了读写性能。数据量很大，kafka消息队列经常因为某些批处理，导致消息积压。重要的车辆控制消息，需要保证可靠性，独立维护。数据量很大，大数据最多存三年，三年后就要清理掉，这些数据暂时还没产生效益。目前公司采购服务器都要咬牙。硬件研发管理是个大问题，硬件研发已经达到三五十人，硬件研发犯错成本巨大，直接影响大数据数据正确性。数据维护很头痛。网关协议对接成本极高，采集的各类数据总数近千项。最关键的是，客户需求各异，要实现客户的定制化需求，近百家客户，可想而知。最最关键的是，硬件生产问题，要比软件复杂得多，首先是管理问题，如何降低不良率，减少客户投诉罚款，占用了大量的资金链。物联网真的有那么好嘛？美好是有成本的！以下链接是我写的文章。 https://mp.weixin.qq.com/s/KsfaHbrhnX_0ARvM8fjnnQ
展开
作者回复: 感谢分享🌹
7
木白
2019-01-09
物联网的另一个应用就是智能穿戴了，但是“穿戴”这个概念目前好像就只有手表或者手环这种载体落地比较多一点。目前能够实现计时、提醒、步数、心律、等基本的操作。希望未来能够真正实现健康的监测，比如对于老年人实时上报健康状况。其他产品的话，未来我能想到的可以做智能温控的衣服、户外的时候可以采集热量，冷的时候可以释放采集的热量；自动感光或者当做屏幕显示的眼镜等
6
有人@我
2019-01-05
老师你应该讲一些心得讲讲自己从事过大数据相关的项目
6
纯洁的憎恶
2019-01-05
吴军老师多次提出Iot是跟踪经济的前提。IoT在制药到销售环节的应用有可能杜绝假药、过期药，在人体健康指标跟踪方面可以提早预防疾病，还可以跟踪商业领域的每一笔交易，跟踪产业的全生命流程。比如他在《智能时代》中讲过，美国酒吧的酒保偷酒喝情况很普遍，现在可以将酒架略作改装，一个酒吧大约需要1-2万美元，再将一个传感器（只要25美分）贴到酒瓶底下就可以了。这样，每一次倒酒，由谁倒的，在几点几分，倒了多少，跟踪记录得一清二楚。这些数据还通过移动互联网，送到老板的平板电脑中，这样老板即使不在家，也能了解每一笔交易的细节。我们的主要供应商金风公司，通过IoT不仅了解到自己的风力发电机卖到了世界什么地区，而且知道每一台发电机后来运行的情况，这样就便于他们主动为用户维护发电机，而之前因为对运行情况一无所知，只能由当地工程商维护。
展开
5
warm_day
2019-01-05
感觉物联网不仅用到了老师上面提到的技术，还结合了单片机，PLC等技术😄
作者回复: 是的，物联网很多技术在端的一边，不过我们专栏是关于大数据的，内容关注云多一些。
5
钱
2020-02-11
阅过留痕现在正是疫情防控阶段，有几个个需求急需解决，我猜以后一定会这么干的： 1：人员轨迹跟踪，只要使用手机，关键时刻就能调出此人的活动轨迹，其他相关的人员轨迹也能调出 2：所有医院的会诊信息互通互联，某些未知疾病爆发的预警 3：人员检查和登记的云平台，这个支付宝或微信做就非常合适，不需要接触不需要纸和笔，而且平时的访客登记也可以使用，各种应用场景非常的多
展开
2
小气筒
2019-01-14
水电暖燃气等企业，各类表具一系列数据需要通过LORA,NB等协议通过采集器基站准实时或者实时的上传到大数据平台，数据通过清洗传送到业务中台供业务，应用，决策使用
作者回复: 👍
2
强哥
2019-01-06
有时间可以聊聊数据建模相关的知识吗？
2
杰之7
2019-01-06
通过这一节的阅读学习，理解了物联网中的大数据平台框架。传感器与移动设备端将数据传输给智能网关，智能网关对传输来得数据进行数据处理，通过消息队列的方式传输给物联网大数据平台。物联网大数据平台储存处理过后的数据。Storm通过实时计算发送给应用程序和存储设备。Spark通过对储存设备的数据进行批量计算处理和计算学习，并更新学习模型。应用程序通过设备端发送指令给智能网关，达到对智能终端设备的控制。这样对完成了端—云—端的流程处理。万物互联依赖大数据技术，同时也会进一步促进大数据的发展。
展开
2
小老鼠
2019-01-22
Ipv6提出好些年头了，何时可以大量普及应用，难道我们现在不缺IP了吗？
共 1 条评论
1
雨亦奇
2022-05-12
制造业要是也可以那就完美。一个城市的人只用在家操作机械臂
作者回复: 你这是降维版的元宇宙啊~ 疫情如果持续下去，还真是好点子呢~
piboye
2022-01-14
很多组件已经落后了吧？
Geek_ebfa31
2021-12-17
现在医院的智能设备采集终端人体特征数据。未来应该在疾病预测，健康预警方面有好的应用。但这种准确度应该要求很高。
lcf枫
2021-09-27
老师，现在物联网的实际商业价值是什么？有哪方面成功的应用么？也看到有的同学说这个东西成本也是比较高昂的。
作者回复: 智能家居，自己在家就可以建一个物联网~
张珮磊想静静
2020-03-29
现在的做的业务其实是个iot有关的，每天会产生很大量的操作日志，也会使用spark这样的技术去分析统计一些报表给到运营，也会有算法部门的同学去分析，但是我感觉我自己的部门有这么大量的数据却没怎么发挥大的价值，反而会占用很多的存储空间带来额外的分摊费用，不知道老师对怎么让大量操作日志产生价值这方面有什么经验吗

