大数据的介绍及案例分享(数据分析项目案例,关键词优化)

大数据的概念

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。

网络上每一笔搜索，网站上每一笔交易、每一笔输入都是数据，通过计算机做筛选、整理、分析，所得出的结果可不仅仅只得到简单、客观的结论，更能用于帮助企业经营决策，搜集起来的数据还可以被规划，引导开发更大的消费力量。

大数据与传统数据的区别？

银行做数据业务做了十多年，那么大数据和传统数据的仓库有哪些差异？实际上就是群体和个体的差异。互联网数据完全瞄向个体，数据结构也是精准于个体，而传统的数据面向经营指标、面向群体。

宏观意义上来看，假如小明去了一百次书店，以前要回答的问题是他第一百零一次买不买书，即业绩和经营指标的问题；而现在，互联网关心的是什么？最关心的是他第一百零一次买什么书，需要将什么样的内容推荐给他。这不是一个概率问题，而是一个模糊的程度问题。

要量化这个程度，我们一定要基于个体，而不是基于群体的共性描述。传统定义上，更多关注的是一类人群，用同一类规则制订套餐给他们；而在互联网时代，要把每个人都精准刻画出来，进行精准匹配。有电商说他们要做到一百万用户要有一百万个商店，特别是在移动的小屏幕上，三次点击以后就会损失一个客户。所以差异化绝对不可能是对群体共性的描述，而完全是对个体差异的刻画。

关于大数据的深度分析，很重要内容就是个性化的信息推荐。个性化的信息推荐不仅仅是基于用户的相似性这么简单的东西，还有大量比较深入的复杂模型。比如说，就用户看资讯而言，我们怎么样去判断一个用户点开一条八卦资讯后，是继续深挖八卦到死，还是转而浏览另外一个新闻。同样，有的用户登陆淘宝只是逛逛而已，有些用户则是很明确地想要买一些东西，这就需要对用户的意图进行预测，这里面涉及到一些比较难的机器学习技术。

我们现在生活的是信息化的世界，未来会走向个性化。在这一点上有一个例子，耐克制作了一款鞋子，在这个鞋子里装上了传感器，然后穿上这个鞋子的人，你一天大概走多少路，而且你走路的状态比如着力点等相关情况的数据都会通过传感器传到耐克公司，耐克公司就会根据这些数据来给你量身定做鞋子。这样，未来的销售模式将会是个性化的。

大数据的典型特征（3V）

“大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。但是，容量只不过是大数据特征的一个方面，如果只拘泥于数据量的话，就无法深入理解当前围绕大数据所进行的讨论。因为“用现有的一般技术难以管理”这样的状况，并不仅仅是由于数据量增大这一个因素所造成的。

大数据的特征，可以用三个V开头的关键词来描述。

（1） Volume（容量）

看到大数据这个词，大多数人的第一印象恐怕就是Volume，也就是数据量吧。从刚才我们讲到的大数据的定义来看，也就是指用现有技术无法管理的数据量，从现状来看，基本上是指从几十TB到几PB这样的数量级。当然，随着技术的进步，这个数值也会不断变化。例如，在5年以后，也许只有几EB数量级的数据量才能够称得上是大数据了。

截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。

（2） Variety（多样性）

除了传统的销售、库存等数据，现在企业所采集和分析的数据还包括像网站日志数据、呼叫中心通话记录、Twitter和Facebook等社交媒体中的文本数据、智能手机中内置的GPS（全球定位系统）所产生的位置信息、时刻生成的传感器数据，甚至还有图片和视频，数据的种类和几年前相比已经有了大幅度的增加。

其中，近年来爆发式增长的一些数据，如互联网上的文本数据、位置信息、传感器数据、视频等，用企业中主流的关系型数据库是很难存储的，它们都属于非结构化数据。当然，在这些种类的数据中，也有一些是过去就一直存在并保存下来的。

然而，和过去不同的是，这些大数据并非只是存储起来就够了，还需要对其进行分析，并从中获得有用的信息。以美国企业为代表的众多企业正在致力于这方面的研究。

监控摄像机的视频数据正是其中之一。近年来，超市、便利店等零售企业几乎都配备了监控摄像机，目的是为了防止盗窃和帮助抓捕盗窃嫌犯，但最近也出现了使用监控摄像机的视频数据来分析顾客购买行为的案例。

例如，美国大型折扣店Family Dollar Stores，以及高级文具制造商万宝龙（Montblanc），都开始尝试利用监控摄像头对顾客在店内的行为进行分析。以万宝龙为例，它们过去都是凭经验和直觉来决定商品陈列的布局，但通过分析监控摄像机的数据，将最想卖出去的商品移动到最容易吸引顾客目光的位置，使得销售额提高了20%。

此外，美国移动运营商T-Mobile也在其全美1000家店中安装了带视频分析功能的监控摄像机，可以统计来店人数，还可以追踪顾客在店内的行动路线、在展台前停留的时间，甚至是试用了哪一款手机、试用了多长时间等，对顾客在店内的购买行为进行分析。

（3） Velocity（速度）

数据产生和更新的频率，也是衡量大数据的一个重要特征。例如，整个日本的便利店在24小时内产生的POS（Point Of Sales）数据，电商网站中由用户访问所产生的网站点击流数据，高峰时高达每秒7000条的Twitter推文，日本全国公路上安装的交通堵塞探测传感器和路面状况传感器（可检测结冰、积雪等路面状态）等，每天都在产生着庞大的数据。

广义的大数据

刚才我们讲解了大数据的定义，即"用现有的一般技术难以管理的大量数据的集合"，并且用三个V对大数据的特征进行了描述。但是，仅凭这个定义还无法解释当前大数据的火爆局面，因为这个定义的着眼点仅仅在于数据的性质上。

这个定义我们把它视为狭义上的定义，而我们需要在广义层面上为大数据下一个定义：

这个狭义的定义所说的具备3V特征的数据就相当于是宾语，那么我们还需要主语和谓语。谓语就是“存储、分析、处理”这些数据，（而用什么方法来进行分析处理，是机器学习还是统计分析或者其它什么，这些可以看做是方式状语），主语那就是谁，谁来处理这些数据。这个谁就是指的“数据科学家”目前在欧美是十分紧俏的，他们通过分析这些数据获得实用意义和观点

这就是大数据的广义定义，它是一个综合性的概念。

物联网场景计数分类与大数据息息相关

1、物联网

物联网（Internet of Things，缩写IOT）是一个基于互联网、传统电信网等信息承载体，让所有能够被独立寻址的普通物理对象实现互联互通的网络。在物联网上，每个人都可以应用电子标签将真实的物体上网联结，在物联网上都可以查找出它们的具体位置。通过物联网可以用中心计算机对机器、设备、人员进行集中管理、控制，也可以对家庭设备、汽车进行遥控，以及搜寻位置、防止物品被盗等各种应用。

物联网将现实世界数字化,应用范围十分广泛。物联网的应用领域主要包括以下几个方面：运输和物流领域、健康医疗领域、智能环境（家庭、办公、工厂）领域、个人和社会领域等，具有十分广阔的市场和应用前景。

2、RFID技术

RFID是Radio Frequency Identification的缩写，即射频识别，俗称电子标签。

RFID射频识别是一种非接触式的自动识别技术，它通过射频信号自动识别目标对象并获取相关数据，识别工作无须人工干预，可工作于各种恶劣环境。RFID技术可识别高速运动物体并可同时识别多个标签，操作快捷方便。

RFID是一种简单的无线系统，只有两个基本器件，该系统用于控制、检测和跟踪物体。系统由一个询问器(或阅读器)和很多应答器(或标签)组成。

适应领域：物流和供应管理、生产制造和装配、航空行李处理、邮件、快运包裹处理、文档追踪、图书馆管理动物身份标识、运动计时、门禁控制、电子门票、道路自动收费.从大型远距离UHF标签到细小的UHF标签。可以为客户做定制化生产，满足各种要求。

RFID技术在超市和图书馆中的应用。

3、车联网

说到物联网不可遗漏的当然是车联网，早在2012年的北京国际汽车展览会期间，中国移动就展示了基于TD-LTE的4G车联网概念产品，而现阶段，在4G时代全面到来的背景下，车联网的发展愈发迅猛。不仅仅巨头Google一直在深耕车联网，我国自主车企当中也有厂商在积极跟进，最早试水车联网技术的是上汽集团，一直走在本土开发车联网的前列，其inkaNet系统被广泛搭载在荣威350、荣威550、W5以及MG5等多款车型上。目前几乎所有的整车企业都在车联网技术方面进行了大量的投入。

未来车联网技术将重新定义汽车DNA。借助无线通讯，城市内车与车之间，车与建筑之间，车与人之间都将建立更加智能紧密的互联。

通过装载在车辆上的电子标签通过无线射频等识别技术，实现在信息网络平台上对所有车辆的属性信息和静、动态信息进行提取和有效利用，并根据不同的功能需求对所有车辆的运行状态进行有效的监管和提供综合服务。并且将电视、电脑、手机都可以和汽车里的屏幕连接在一起，驾驶过程中娱乐化的程度大大加强。

4、无人驾驶

无人驾驶被人认为是车联网的终极目标，无人驾驶车依赖的技术很多，比如导航、雷达、庞大数据计算等，要实现这些技术需要和物联网紧密结合起来。尽管车联网不过是近几年才兴起的事情，而物联网技术的成熟则极大的推动了车联网的进展。车联网技术是实现无人驾驶技术和智能化交通的第一步，而在无人驾驶技术普及的第一阶段，车联网技术将迎来爆发期。

5、自动泊车系统

在我印象中小时候经常能听到从某辆车上传出“倒车请注意”的声音，后来想想觉得当时技术不发达没有达到帮助驾驶的水平，只能通过提示车后的行人注意安全。过了没几年什么倒车雷达、倒车影像以及带有循迹功能的倒车系统全面铺开，无论是对人还是对物驾驶者都可以更安全的控制车辆。而我今天要说的是自动泊车系统，顾名思义驾驶者双手可以离开方向盘，在车辆停好之前要做的只是等待。

一般情况下自动泊车系统主要由两部分组成：控制单元和位于前后保险杠以及两侧的超声波雷达探头。按动自动泊车辅助系统激活按钮之后，雷达探头可在车辆行驶时对车辆两侧进行扫描，低时速（一般为30km/h）及侧向距离1.5米左右之内均能成功完成车位扫描。但基本上当车位旁出现树木，路灯杆等柱状物时，为避免雷达侦测出现误差而发生碰撞风险，此时系统将不被激活。

控制单元对雷达反馈的信息进行分析，从而估算出车位是否足以容纳车辆停放。当车位长度大于车辆长度1.4米以上或更高时，控制单元会通过行车电脑显示屏发出准予停车的提示。驾驶者只需要拨动转向灯开关，告诉系统靠道路哪一侧停车即可。

自动泊车系统随后将通过助力转向系统对车辆行驶方向进行干预，并以控制单元规划好的路径将车辆停入车位。目前，大众汽车旗下产品如途观，迈腾和CC均搭载2.0版本的自动泊车系统。这套系统除可以帮助车辆以倒库的方式停入车位，也可以实现侧方停车。而诸如途安上的以及其它一些品牌的系统则只能实现侧方停车。

大数据应用案例

1、穿孔卡片与美国人口普查

美国在1880年进行的人口普查，耗时8年才完成数据汇总。因此，他们获得的很多数据都是过时的。1890年进行的人口普查，预计要花费13年的时间来汇总数据。而法律规定必须在十年内完成，即使不考虑这种情况违反了宪法规定，它也是很荒谬的。然而，因为税收分摊和国会代表人数确定都是建立在人口的基础上的，所以必须要得到正确的数据，而且必须是及时的数据。

后来，美国人口普查局就和当时的美国发明家赫尔曼-霍尔瑞斯（HermanHollerith）签订了一个协议，用他的穿孔卡片制表机来完成1890年的人口普查。

经过大量的努力，霍尔瑞斯成功地在1年时间内完成了人口普查。这简直就是一个奇迹，当时在这个项目上霍尔瑞斯并没赚多少钱，后来他成立了一个公司，向其他国家卖他的产品，老了以后他把公司卖给了他的一个主管，成了成立IBM的三家公司之一。

但是，将穿孔卡片作为收集处理大数据的方法依然过于昂贵。毕竟，每个美国人都必须填一张可制成穿孔卡片的表格，然后再进行统计。这还是非常麻烦的。

2、70万家企业联网“直报”统计数据

我们知道国家统计局每年都要编写的《中国统计年鉴》。

和美国一样，以前我们国家统计数据，是层层上报，人工统计，比如，国家进行人口普查，是县级——市级——省级——国家这样层层上报人口数据，这样得到的数据往往滞后，很不准确。