2017从大数据产业中寻找智慧的力量：实现商业价值(大数据的商业价值,关键词优化)

大数据产业发展了两年之后，从探索阶段进入了应用阶段。企业和政府看到了数据价值，从被动了解走向主动拥抱。数据被定义成重要的资源，正在得到企业的重视，在企业的经营过程中发挥着重要的作用。数据部门或者数据负责人也成为热点，正在帮助企业实施数据战略，寻找数的商业价值。

数据的商业应用成为企业认识数据价值的一个切入点，也是企业实施数据战略的一个重要前提。数据如何应用，数据如何同场景结合，数据如何变成生产力，数据如何指导业务决策成为了企业最关心的问题。大多数企业还是将精力放在数据架构，技术平台，数据采集等探索工作，没有理顺数据价值应用的发展路径，也没有从数据中看到真正的商业价值，看到智慧的力量。

数据本身是没有价值的，必须同商业需求结合在一起，才能够产生化学反映，体现商业价值。数据的应用场景常常成为企业在数据应用中最迫切的需求。中国有句古话，不积跬步无以至千里，数据的价值应用需要经历多个阶段，完成所有基础工作之后，数据的商业价值才能体现出来。就像一个武功高手，必须先拥有多年修炼的内功，才能够吐纳自如，于无形中取得优势，一击而中。

一、企业需要重新认识数据工程

从数据到智慧，从数据到资产，从数据到价值需要系统化思维和严谨的数据工程，没有经历过数据工程，数据应用将失去一个重要基础，无法在企业中发挥出作用。

企业发展过程中经历过业务工程和技术工程，业务工程是指商业模式寻找的过程，主要是指的业务流程的建立。经过多次试错，企业通过业务工程找到了成熟的商业模式。企业借助于业务工程建立了业务流程，业务工程帮助企业解决了业务环节中分工和责任的问题，帮助企业高效运转起来，并从根本上解决了企业扩大规模，高速运转过程中需要解决的管理问题，业务工程也可以看成是管理工程。

技术工程是指在业务工程实施过程中，业务流程的工具化、系统化过程。借助于信息系统的搭建和实施，企业对业务流程实施控制，提高流程效率，降低业务运营成本。技术工程就是信息化过程，帮助企业利用系统和工具来管理业务流程，实现业务工程。

业务工程和技术工程都解决了一个问题，就是现代化生产，标准化企业的商业模式和业务流程。业务流程成为业务工程和技术工程的核心，数据成为业务工程和技术工程的附属品和重要的流程产物。

在企业以产品为中心的时代，客户缺少选择权，数据作为副产品，主要是用于财务控制和资源管理。数据没有被作为一种资产来看待，更多的时候，数据只是一个流程的记录，是业务流程的副产品。企业不会化太多的精力去经营，企业将大部分精力放在了产品和是市场宣传。

当进入以客户为中心的时代之后，用户成为了企业的中心，数据也成了联系客户和洞察客户的直接桥梁。如果企业想更多地了解客户，分析客户需求，优化产品，提升客户满意度，企业就必须利用数据了解客户的消费，行为，心理以及预测客户未来的需求。数据将不再是业务流程中的副产品，将会是企业了解客户的一个途径。数据不再仅仅是业务流程中的记录，将会成为一类特殊的资产，从数据中看到更多的价值。

数据工程就是以数据为中心，从数据采集到数据应用的过程。

数据工程也是从数据到智慧的过程，其必须经历四个阶段，原始数据到原数据，原数据到信息，信息到知识，知识到智慧。

原始数据到原数据是数据采集和处理过程

数据以多种形式存在，主要的形式是流程中记录下来的数据，多为结构化数据，直接采集信息系统的数据库里面，形成原数据，直接就可以调用。另一部分是行为数据，分为主动行为数据和被动行为数据，主动行为数据包括社交数据，点击数据，浏览数据，言论数据等。

被动行为数据就是传感器数据，包括GPS数据，WIFI，ibeacon，摄像头，压力感应器，气压记，湿度记等传感器采集的数据，这些数据只有通过数据采集和处理，才可以放到数据库里面进行应用。

原数据就是指放到结构化数据库里面，可以直接调用和分析的数据，是数据应用的基础，数据标签的主要来源就是原数据。

原数据到信息是数据统计分析的过程

这个阶段是数据统计汇总，以不同维度和角度展现的过程，我门看到的数据报表和数据可视化过程就是数据到信息的过程。

信息是数据具有价值的第一个产品，从信息中可以看到业务发展趋势和业务经营情况。经常看到业务数据的环比、同比、对比、百分比、热力图等都是数据作为信息的展示方式。从数据统计汇总中基本上可以了解业务经营情况，产品销售情况，客户增长情况，客户满意情况等基本信息。信息可以帮助企业从数据中了解商业经营情况，从数据中了解运营成本，单个客户价值等情况。

信息是数据价值应用的第一个阶段，企业主要通过信息统计来了解客户满意度和产品销售情况，大部分企业的数据应用处于这个阶段。数据还没有开始帮助企业进行一些商业决策。

信息到知识是数据分析挖掘过程

这个过程需要人的智慧，借助于数据分析，企业可以发现一些商业机会，包括产品体验和客户需求，高价值客户和流失客户，潜在客户的基本特征和基本需求，也包括用户行为的分析以及需求。

在这个阶段企业可以借助于数据分析和挖掘发现产品销售的相关性，提升相关产品搭配销售。借助于知识图谱技术找到羊毛党和网络欺诈分子的特征，制定反欺诈的规则。通过分析用户下班之后在App中的行为，针对性推送一些具有价值的交易信息，帮助客户进行决策。通过分析客户物理行为轨迹和品牌偏好，帮助企业客户制定广告营销策略以及商铺搭配策略等。

信息到知识的过程是商业机会总结发现的过程，数据的价值体现在对客观事物规律的总结，在这个阶段，数据应用价值主要依靠人的智慧和高质量的数据分析结果。

知识到智慧是人工智能决策的过程

企业面临的数据纬度是海量的，数据对于商业决策影响是多方面的。一个商业决策可能需要考虑和分析数十万个数据个体和数据纬度，通过传统的方法和工具已经无法短时间内帮助企业计算出结果，同时复杂无序的非结构化数据也在一定程度上加大了数据分析的难度。

基于新数据技术的人工智能或者说是数据模型已经可以帮助企业在复杂的数据中去发现一些规律，帮助企业进行商业决策。例如金融企业可以借助于TDA拓扑分析、RF(随机森林)，GBDT，深度学习，遗传算法等方式来进行基于行为数据的风控。可以取得90%以上的判断准确率。另外互联网企业的开源计算框架(软件库)正在提升算法的速度和精度。

二、数据资产管理和应用功能的平台SmartDP

数据过去分散在企业的各个系统中，数据是企业流程中的副产品，企业主要利用数据进行ROI分析和财务分析。即使是信息化程度较高的金融行业，也仅仅利用了不到40%的数据。大量数据的价值没有被发现，数据还没有被当作一种资产去管理和挖掘价值。

大数据时代，企业面临海量的数据，其中80%的数据为非结构化数据。企业需要对所有数据进行整合，将数据作为一种资产进行管理。海量数据产生还有另外一个特点，那就是数据的实时性。数据的商业价值在很大程度上是同数据的实效性正向相关的。

要求企业的数据平台需要具有实时数据处理能力。根据统计大数据企业80%的资金投入都在数据的清洗和整理，也就是我们说的ETL过程。硅谷80%大数据公司正在从事数据清洗和整理的工作，一方面说明大数据的清洗加工ETL是一个巨大市场，另一方面也说明了海量数据的处理难度是大量数据价值没被发现的主要原因。

数据的ETL过程是耗费企业资源的一项大工程，市场上很多著名的可视化软件例如Tableau，Qlikview都不提供ETL功能，只是提供数据可视化和分析功能，避开了数据处理的脏活累活。但是对于企业来讲，多源数据的汇聚和实时清洗仍然是一个必须要解决的问题。如果企业想将数据作为资产统一进行管理，就必须解决多源数据ETL和整合的问题。

硅谷的一些企业正在开发一些多数源实时整合软件，但是目前还没有取得较大的突破，基本上三种以上的数据源汇聚和打通就会出现较大的困难。另外一些数据科学家正在尝试利用机器学习的方式来帮助工程师，半自动化地进行多数据源整合和清洗。

当ETL工程师进行数据整合和清洗时，有一个具有active learning功能机器学习模块将监控和学习整个过程。例如其可以通过机器学习来判断11位数字可能是手机号码，一些字段代表价格，一些字段代表年龄，分析出地址、姓名、交易、评价等字段具有什么特点。

当机器学习模块训练达到一定程度，其就可以代替ETL工程师，从事数据清洗和加工的脏活累活。机器学习模块如果带有自我进化的功能，在不久的将来就会在ETL准确度上超过人类工程师，这不是一个假设，而是一个正在发生的现实。

企业需要智能数据平台SmartDP，对企业多源数据进行实时ETL和整合，并建立企业的数据资产。帮助企业用户打通企业拥有的数据、采集的行为数据和非结构化数以及外部购买的数据。并进行统一管理，建立数据资产管理目录，为数据打上标签，通过可视化拖拽或者数据模型找到具有价值的数据。

SmartDP不同于企业现有的系统和平台，其核心是数据资产的管理和应用，数据资产管理包含多数据源实时引入和打通，数据治理和数据质量管理，数据处理过程监控;并按照业务场景和需求，对数据打上标签，为业务场景提供具有价值的数据产品。

这种数据产品可以是统计分析结果、逻辑运算的场景化标签、具有直观商业价值的数据筛选、甚至是具有决策力的数据结果。例如潜在高价值客户标签，潜在购买理财产品的人群，未来会购房和购买某种商品的客户群体，甚至筛选出欺诈人群和未来违约客户等。

数据资产的应用主要在三个方面，一个是从数据资产中发现商业机会，提升销售收入，一个是通过数据资产分析，降低企业运营成本，另外一个就是为商业决策提供支持或者进行预测。

我们不再鼓吹大数据的魔力，我们提倡掌握智能数据，一种经过处理和分析，可以帮助企业实现商业价值的数据。智能数据来源于我们企业生产经营，也来源于行为数据等非结构化数据，还来源外部商业环境生产出来第三方数据。大数据时代提升了人们对数据价值的认识，智能数据(Smart Data)帮助实现数据对商业的价值。人工智能是实现数据商业价值的重要手段，SmartDP是实现数据价值的载体。

SmartDP是数据工程和数据应用的完美结合体，从功能上其可以帮助企业进行多源数据的引入和整合，实时处理和打通数据，完成数据治理和管理的工作，监控数据资产质量和数据工程完成情况。数据价值应用方面，SmartDP可以帮助企业进行用户画像，基于业务需求打造场景化数据标签，通过EDM/SMS/Push等方式来打造数字营销闭环。

企业可以利用其营销管理工具来设计营销活动，并进行营销活动的管理，包括数字营销活动方案的选择、设计、发送、监控，帮助企业了解营销活动的ROI，并依据营销反馈效果调整营销活动方案、推送人群、营销时间、投入预算、统计方式等。

人工智能应用也可以移植到SmartDP，利用SmartDP提供的交互数据和交易数据，帮助智能投顾、智能管家、智能客服、智能风控等具有人工智能应用优化其输入数据和输出结果。

企业运营需要的可视化报表和数据大屏都可以基于SmartDP提供的数据进行开发和设计，数据分析和挖掘工作也可以在SmartDP进行。数据工程带给SmartDP的一个优势就是引入行业领先的算法，结合客户的实际业务进行模型开发和优化。

SmartDP另外一个数据工程优势是数学模型的自动调参，基于小样本量的模型建设，以及基于海量数据的高速运算。数学模型建立源于业务需求，不同业务需求和业务数据，数学模型中对应的变量和参数不同，数据模型的参数调整和最优解的计算往往会消耗大量的时间，影响数据模型的整体应用。

下面这段文字引自TalkingData数据数据科学家张夏天的文章，主要介绍开源机器学些库Fregata和模型自动调参。

一般机器学习算法都会依赖一个或者多个参数，对于同一问题，不同的参数设定对模型精度的影响是很大的，而同一参数设定在不同的问题上的效果也有很大的不同。对于从事机器学习工作的人来说，调参始终是一个令人的头疼的问题。知乎上有个问题是“调参这事儿，为什么越干越觉得像老中医看病?”[3]，里面有不少关于机器学习调参的经验，心得，吐槽和抖机灵。