预习 03 | 大数据应用领域：数据驱动一切

Nov 3, 2018

预习 03 | 大数据应用领域：数据驱动一切-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

预习 03 | 大数据应用领域：数据驱动一切

2018-11-03 李智慧来自北京

《从0开始学大数据》

课程介绍



讲述：李智慧

时长11:22大小5.21M



大数据出现的时间只有十几年，被人们广泛接受并应用只有几年的时间，但就是这短短几年的时间，大数据呈现出爆炸式增长的态势。在各个领域，大数据的身影几乎无处不在。今天我们通过一些大数据典型的应用场景分析，一起来看看大数据到底能做些什么，我们学大数据究竟有什么用，应该关注大数据的哪些方面。
大数据在医疗健康领域的应用健康医疗领域是最近几年获得最多创业者和投资人青睐的大数据领域。为什么这么说呢？首先，医疗健康领域会产生大量的数据；其次，医疗健康领域有一个万亿级的市场规模；最关键的是，医疗健康领域里很多工作依赖人的经验，而这正是机器学习的强项。
1. 医学影像智能识别
图像识别是机器学习获得的重大突破之一，使用大量的图片数据进行深度机器学习训练，机器可以识别出特定的图像元素，比如猫或者人脸，当然也可以识别出病理特征。
比如 X 光片里的异常病灶位置，是可以通过机器学习智能识别出来的。甚至可以说医学影像智能识别在某些方面已经比一般医生拥有更高的读图和识别能力，但是鉴于医疗的严肃性，现在还很少有临床方面的实践。
虽然在临床实践方面应用有限，但是医疗影像 AI 还是在一些领域取得一定的进展。医学影像智能识别，一方面可以帮助医生进行辅助诊疗，另一方面对于皮肤病等有外部表现的病症，病人可以自己拍照然后使用 AI 智能识别做一个初步诊断。
2. 病历大数据智能诊疗
病历，特别是专家写的病历，本身就是一笔巨大的知识财富，利用大数据技术将这些知识进行处理、分析、统计、 挖掘，可以构成一个病历知识库，可以分享给更多人，即构成一个智能辅助诊疗系统。下面这张图是我曾经参与设计过的一个医疗辅助诊疗系统的架构。
针对同类疾病和其他上下文信息（化验结果、病史、年龄性别、病人回访信息等）可以挖掘出针对同样的疾病情况，哪种治疗手段可以用更低的治疗成本、更少的病人痛苦，获得更好的治疗效果。从上面的架构图你能看到，将这些病历知识和循证医学知识、科研文献知识、用药知识共同构成一个辅助诊疗知识库，通过知识匹配搜索引擎可以对外提供服务。患者或者医生录入病史、检查结果等信息，系统匹配初步诊断结果，搜索诊疗计划，产生多个辅助诊疗建议，供患者和医生进行参考。
大数据在教育领域的应用教育倡导“因人施教”，但是在传统教育过程中要做到因人施教，需要老师本身能力很强才能把握好。但是大数据在线教育利用大数据技术进行分析统计，完全可以做到根据学生能力和学习节奏，及时调整学习大纲和学习进度，提供个性化和自适应的学习体验。除此之外，人工智能在教育的其他方面也取得很好的进展。
1. AI 外语老师
得益于语音识别和语音合成技术的成熟（语音识别与合成技术同样是利用大数据技术进行机器学习与训练），一些在线教育网站尝试用人工智能外语老师进行外语教学。这里面的原理其实并不复杂，聊天机器人技术已经普遍应用，只要将学习的知识点设计进聊天的过程中，就可以实现一个简单的 AI 外语老师了。
2. 智能解题
比较简单的智能解题系统其实是利用搜索引擎技术，在收集大量的试题以及答案的基础上，进行试题匹配，将匹配成功的答案返回。这个过程看起来就像智能做题一样，表面看给个题目就能解出答案，而实际上只是找到答案。
进阶一点的智能解题系统，通过图像识别与自然语言处理（这两项技术依然使用大数据技术实现），进行相似性匹配。更改试题的部分数字、文字表述，但是不影响实质性解答思路，依然可以解答。
高阶的智能解题系统，利用神经网络机器学习技术，将试题的自然语言描述转化成形式语言，然后分析知识点和解题策略，进行自动推导，从而完成实质性的解题。
大数据在社交媒体领域的应用大数据有一个重要的、和我们大多数人密切相关，但是又不太引人注目的一个应用领域是舆情监控与分析。我们日常在各种互联网应用和社交媒体上发表各种言论，这些言论事实上反映了最准确的民情舆论。一个个体的言论基本没有意义，但是大量的、全国乃至全球的言论数据表现出的统计特性，就有了非常重要的意义。
编写数据爬虫，实时爬取各个社交新媒体上的各种用户内容和媒体信息，然后通过自然语言处理，就可以进行情感分析、热点事件追踪等。舆情实时监控可用于商业领域，引导智能广告投放；可用于金融领域，辅助执行自动化股票、期权、数字货币交易；可用于社会管理，及时发现可能引发社会问题的舆论倾向。
在美国总统大选期间，候选人就曾雇佣大数据公司利用社交媒体的数据进行分析，发现选票可能摇摆的地区，有针对性前去进行竞选演讲。并利用大数据分析选民关注的话题，包装自己的竞选主张。Facebook 也因为授权大数据公司滥用自己用户的数据而遭到调查和谴责，市值蒸发了数百亿美元。
大数据在金融领域的应用大数据在金融领域应用比较成熟的是大数据风控。在金融借贷中，如何识别出高风险用户，要求其提供更多抵押、支付更高利息、调整更低的额度，甚至拒绝贷款，从而降低金融机构的风险？事实上，金融行业已经沉淀了大量的历史数据，利用这些数据进行计算，可以得到用户特征和风险指数的曲线（即风控模型）。当新用户申请贷款的时候，将该用户特征带入曲线进行计算，就可以得到该用户的风险指数，进而自动给出该用户的贷款策略。
利用股票、外汇等历史交易记录，分析交易规律，结合当前的新闻热点、舆论倾向、财经数据构建交易模型，进行自动化交易，这就是金融领域的量化交易。这些数据量特别巨大，交易涉及金额也同样巨大，所以金融机构在大数据领域常常不惜血本，大手笔投入。
大数据在新零售领域的应用区别于传统零售，新零售使用大数据进行全链路管理。从生产、物流、购物体验，使用大数据进行分析和预判，实现精准生产、零库存、全新的购物体验。
亚马逊 Go 无人店使用大量的摄像头，实时捕捉用户行为，判断用户取出还是放回商品、取了何种商品等。这实际上是大数据流计算与机器学习的结合，最终实现的购物效果是，无需排队买单，进去就拿东西，拿好了就走，超级科幻有没有。
虽然无人店现在看起来噱头的意味更多一点，但是利用大数据技术提升购物体验、节省商家人力成本一定是正确的方向。
大数据在交通领域的应用交通也是一个对大数据实时采集与处理应用比较广的领域。现在几乎所有的城市路段、交通要点都有不止一个监控摄像头在实时监控，一线城市大约有百万计的摄像头在不停地采集数据。这些数据一方面可以用于公共安全，比如近年来一些警匪片里会有一些场景：犯罪嫌疑人驾车出逃，警方只要定位了车辆，不管它到哪里，系统都可以自动调出相应的摄像头，实时看到现场画面。应该说这项技术已经成熟，大数据流计算可以对百万计的流数据实时处理计算，电影里的场景计算其实并不复杂。
此外，各种导航软件也在不停采集数据，通过分析用户当前位置和移动速度，判断道路拥堵状态，并实时修改推荐的导航路径。你如果经常开车或者打车，对这些技术一定深有体会。
还有就是无人驾驶技术，无人驾驶就是在人的驾驶过程中实时采集车辆周边数据和驾驶控制信息，然后通过机器学习，获得周边信息与驾驶方式的对应关系（自动驾驶模型）。然后将这个模型应用到无人驾驶汽车上，传感器获得车辆周边数据后，就可以通过自动驾驶模型计算出车辆控制信息（转向、刹车等）。计算自动驾驶模型需要大量的数据，所以我们看到，这些无人驾驶创业公司都在不断攀比自己的训练数据有几十万公里、几百万公里，因为训练数据的量意味着模型的完善程度。
小结正如我前面所说，利用大数据和机器学习，发掘数据中的规律，进而对当前的事情做出预测和判断，使机器表现出智能的特性，正变得越来越普及。
大数据主要来自企业自身所产生，还有一些数据来自互联网，通过网络爬虫可以获取；再有就是公共数据，比如气象数据等。所有这些数据汇聚在一起，计算其内在的关系，可以发现很多肉眼和思维无法得到的知识。然后进一步计算其内在的模型，可以使系统获得智能的特性。当系统具备智能的特性，可以使机器对当前的事情做出预测和判断，正如我今天和你聊的，大数据技术应用正变得越来越普及。
但是，这些数据通常非常巨大，存储、计算、应用都需要一套不同以往的技术方案。通过前面 3 期内容，我带你了解了大数据技术和应用的发展史，以及当今大数据典型的应用领域。从第 4 期开始，我将会从大数据主要产品的架构原理、大数据分析与应用、数据挖掘与机器学习算法等几个维度，全面讲解大数据的方方面面，相信你一定有所收获。
思考题除了我今天聊的这几个领域应用了大数据技术，你还能举出其他典型的大数据应用吗？你知道它实现的原理吗？
欢迎你写下自己的思考或疑问，与我和其他同学一起讨论。

分享给需要的人，Ta购买本课程，你将得20元

生成海报并分享

赞 32

提建议

预习 02 | 大数据应用发展史：从搜索引擎到人工智能

04 | 移动计算比移动数据更划算

 写留言

精选留言(81)

凯恩-格吉塔斯
2018-11-03
一家快餐披萨店，外卖电话响了，店长拿起电话。店长：您好，这里是××披萨店。请问有什么需要我为您服务？顾客：你好，我想要订一份披萨。店长：请问您是陈先生吗？顾客：你怎么知道我姓陈？店长：陈先生，因为我们的CRM（客户关系管理）系统对接了三大通讯服务商，看到您的来电号码，我就知道您贵姓了。顾客：哦，那我想要一份海鲜至尊披萨。店长：陈先生，海鲜披萨不适合您，建议您另选一份。顾客：为什么？店长：根据您的医疗记录，您的血尿酸值偏高，有痛风的症状，建议您不要食用高嘌呤的食物。您可以试试我们店最经典的田园蔬菜披萨，低脂、健康，符合您现阶段的饮食要求。顾客：你怎么知道我会喜欢这种披萨？店长：您上周在一家网上书店买了一本《低脂健康食谱》，其中就有这款披萨的菜谱。顾客：那好吧。我要一个家庭特大号披萨，多少钱？店长：99元。这个足够您一家六口吃了。但您的母亲应该少吃，她上个月刚做了心脏搭桥手术，还处于恢复期。顾客：好的，知道了。我可以刷卡吗？店长：抱歉，陈先生。请您付现吧，因为您的信用卡已经刷爆了，您现在还欠银行5000元，而且还不包括住房贷款利息。顾客：那我先去附近的提款机取现金。店长：陈先生，根据银行记录，您今天已经超过了日提款限额。顾客：算了，那你们直接把披萨送到我家里吧，家里有现金，你们多久能送到？店长：大约30分钟。如果您不想等，可以自己来取。顾客：为什么？合理建议顾客上门自取。店长：我这边看到您家的地址是某某路东段22号，距离我们店开车只有5分钟路程，您名下登记有一辆车号为×××××××的轿车，这辆车目前正在距离您家不到两分钟车程的地方。如果您等不及，可以回家拿了现金就开车来店里取，这大概要花您10分钟的时间，正好是一个披萨出炉的时间。这样，您总共只需花15至20分钟就可以将披萨拿回家，比我们送货上门要快。这就是大数据
展开
作者回复: 👍🏻
共 18 条评论
211
My dream
2018-11-03
老师，我建议你在课程中讲一下实战操作分析数据的步骤，让我们理解的更深刻直观
52
Hyun
2018-11-03
首先得问自己一个问题，即我能说出的应用领域有多少呢？医疗健康餐饮、食品、农业交通运输教育体育政治经济通信、制造业等轻工生产钢铁、机械等重工生产媒体，社交，电商等互联网应用在这些业务背景下，如何使用大数据技术来满足更高端的应用，其实是需要每个懂行业的人去思考的。我想知道负责技术实现的关键人物，会有多少是真正去通晓一个行业，或者行业知识的更深次把握是由什么样的渠道交付给技术实现者的。毕竟行业领袖比如袁隆平，他肯定不会自己去学大数据及技术，用 spark 来写一套基因识别算法，去更新田间高低矮穗的AB测试吧。他肯定会把这套试验方法交给一个懂大数据技术的人，让他去负责实现。所以我很想知道： 1）从一个大数据项目从立项到实施，从立项者到实施者，都会有哪些角色，以及他们之间的分工职责大概会有哪些； 2）每个岗位应该安排多少人力资源？谢谢
展开
共 1 条评论
32
lyshrine
2018-11-03
我想到的还有体育领域，可以利用大数据制定球队战略，利用实时数据及时调整比赛中的战术。还可以对体育训练有帮助，可以分析和总结优秀选手的动作姿势，纠正其它他运动员的动作。未来体育仅仅靠天赋和苦练不足以取得最好的成绩，必须依赖大数据。
作者回复: 赞
19
余生、请你指教
2018-11-05
按照凯恩-格吉塔斯网友这么说，人在大数据面前还有多少隐私？
共 1 条评论
14
S.H.
2018-11-06
对我们这门课程学习来说，可以通过获取用户的学习时长，学习时间，页面停留时间，反复阅读次数，评论交互等数据信息，分析用户的学习需求，平台可以用来做课程推荐，讲师可以优化课程。
作者回复: 是的
9
ming
2018-11-05
抖音、头条的智能推荐也是基于大数据
作者回复: 是的，BAT在PC时代崛起，美团在移动时代崛起，头条在智能时代崛起，头条抓住了时代的潮流。
8
张相荣
2018-11-03
现代化智慧农业也是大数据技术服务的一个场景
作者回复: 是的
7
一一
2018-11-03
我想到两点，1 公交车通过大数据技术分析计算每辆公交车每天的用电或用油量，不断优化驾驶员驾驶习惯，从而达到节省城市公交成本的目的。 2 外卖平台通过大数据技术实时定位每位外卖员的位置和其手头的接单数量，不断优化接单速度和订单完成速度。
作者回复: 想法不错👍🏻
7
Austin
2018-11-13
城市摄像头收集行为数据，可以根据行为，比如说站姿，走路方式，等人类无法发现的细节，对指定人进行追踪，无论他是否露脸，永远逃不掉。
作者回复: 厉害
6
小千
2018-11-05
其实目前公认的大数据技术优于传统技术的也就是三个方向: 1.图像，语音识别，生成。 2.推荐，搜索系统。 3.简单规则的游戏。大数据能成功应用的领域，都是把这些领域的问题成功的转换成上述三个技术问题，比如说大数据医学诊断，其实就是对ct，x光图像做图像识别，根据病历做推荐系统。
展开
共 1 条评论
6
Cs
2018-12-14
我更觉得大数据分析是对整个群体而言，个体意义对于这个没太大的意义，也就不是担心个人隐私会泄露的问题……即使是应对措施也是针对群体而言的，像前面说的那样，能准确判断出个人的一切信息以及决策，那本质上已经侵犯了个人权益，这应该还是要避免的
5
李渝Will
2018-12-12
大数据的应用太多了关键是用了之后有什么质的效果不能画蛇添足为了数据分析而分析
3
小老鼠
2018-11-06
学习大数据与学习人工智能有什么区别和关系？
作者回复: 很多人工智能是大数据应用的一种。
3
落叶飞逝的恋
2018-11-05
购物猜你喜欢，新闻、段子都是大数据的应用
作者回复: 是的
3
MavenTalker
2018-11-04
天气预报，海量天气因素数据采集，结合同期过往的大量数据，进行预测分析未来N天的天气走势。实时采集实时计算可以显示当前级未来N小时的天气情况。
作者回复: 赞
3
张苗
2018-11-03
我们每天都会接触到的电商app，新闻app中的商品推荐，资讯推荐功能都会用到大数据技术。后台系统会统计我们的购买习惯，资讯偏好来给我们推荐想要的东西。
作者回复: 是的
2
探索无止境
2018-11-03
大数据还可以结合人脸识别，帮助警方尽快定位到嫌疑人，加快破案速度
作者回复: 是的
2
李铁牛
2018-11-03
我觉得环境方面应用大数据也比较广，像是天气预报，空气质量预测等等，而且还可以和很多行业结合，比如交通，医疗
作者回复: 是的
2
Sudouble
2022-08-30 来自北京
微信广告，在公众号里看的内容，很快就会以广告的形式出现在朋友圈的推荐广告中。异常精准
1

