预计阅读本页时间：-
企业对大数据采取了实用的方法
尽管宣传铺天盖地，但整个市场都同意，我们处于企业大数据采用的初级阶段。在本调研中，我们使用“大数据采用”（Big Data Adoption）这个术语表示数据、数据源、技术和技能的自然演进，在全球整合市场中创造竞争优势。
我们的Big Data＠Work调研证明，大多数企业目前处于大数据开发的早期阶段，大多数企业目前主要是理解概念（24%）或者定义与大数据相关的路线图（47%）。然而，28%的受访者属于领先的企业，他们正在进行概念验证测试（POC），或者已经大规模实施了大数据解决方案（图4.4）。
广告：个人专属 VPN，独立 IP，无限流量，多机房切换，还可以屏蔽广告和恶意软件，每月最低仅 5 美元
我们要求受访者指出其企业内的大数据活动现状。由于四舍五入的原因，比例不等于100%。受访者总数=1061
图4.4 大多数企业处于大数据开发过程的早期阶段
对调查反馈进行分析后得出的五个关键结论表明，受访者持有某些相同的、有趣的倾向和看法：
·在各个行业中，大数据业务案例强烈集中于满足以客户为中心的目标；
·可伸缩、可扩展的信息管理基础是大数据进步的前提；
·企业开始利用现有的和新的内部数据源进行试点和实施；
·企业要从大数据中获得最高的价值，需要先进的分析能力，然而，企业通常缺乏这些能力；
·随着企业对大数据的认识和参与度增加，我们看到大数据采用可以分为四个阶段。
客户分析推动大数据举措
我们让受访者列出大数据的三个首要目标，近一半的受访者认为以客户为中心的目标是其企业的首要任务（图4.5）。企业致力于改善客户体验，并且更好地了解客户偏好和行为。在2011年IBM全球首席营销官调研和2012年IBM全球首席执行官调研中，了解当前的“智慧型消费者”（Empowered Consumer）也被认为具有较高的优先级。3
我们让受访者列出大数据在其企业内的首要功能目标。受访者经过加权和汇总。受访者总数=1067
图4.5 近一半受访者的大数据举措针对以客户为中心的结果
企业明确地认为大数据有能力更好地了解和预测客户行为，并因此改善客户体验。交易数据、多渠道交互数据、社交媒体数据、外联数据（例如来源于忠诚卡）以及其他与客户相关的数据全面提高了企业了解客户偏好和需求的能力——这是营销、销售和客户服务组织几十年来追求的目标。
通过更深入地了解，各种类型的企业不断寻找新的方式与现有客户和潜在客户交流。这一原则明确适用于零售业，但同样也适用于电信、医疗、政府、银行、金融、涉及最终消费者与市民的消费品，以及合作伙伴和供应商之间的企业对企业的交互。
事实上，大数据可以作为客户和企业之间的双向通道。例如，福特福克斯电动车在驾驶和停车时产生大量数据。在行驶中，司机持续地更新车辆的加速度、刹车、电池充电和位置信息。4这对于司机很有用，但数据也传回福特工程师那里，以了解客户的驾驶习惯，包括如何、何时以及何处充电。5尽管车辆处于静止状态，它却持续将车辆胎压和电池系统的数据传送给最近的智能电话。6
这种以客户为中心的场景具有多方面的好处，因为大数据实现了宝贵的新型协作方式。司机获得有用的最新信息，而位于底特律的工程师汇总关于驾驶行为的信息，以了解客户，制定产品改进计划。此外，电力公司和其他第三方供应商分析数百万英里的驾驶数据，以决定在何处建立新的充电站，以及如何防止脆弱的电网超负荷运转。7
大数据可更全面地了解客户偏好和需求；通过这种深入的了解，所有类型的企业均可以找到新的方式与现有客户和潜在客户交互。
全球各地的企业通过大数据更好地满足客户的需求，并且改善运作能力。Mcleod Russel India Limited等公司通过更准确地追踪每年高达1亿千克茶叶的收成、产量和营销而完全消除了系统停机带来的不良影响。8高级医疗联盟使用增强的数据共享和分析技术改进患者的治疗，同时将支出降低28.5亿美元。9 Santam通过实施预测分析减少了欺诈，从而改善了客户体验。
除了实现以客户为中心的目标，其他功能目标也通过大数据的尽早应用而实现。例如，18%的受访者认为运营优化是其目标，但其中包括大量实点项目。受访者经常提到的其他大数据应用包括：风险/财务管理、员工协作和实现新的业务模式。
案例研究 Santam：预测分析增强了欺诈监测能力，并加快索赔处理10
欺诈是全球各地的保险公司面临的一个切实挑战。无论是大规模欺诈，例如纵火，或者涉及较小金额的索赔，例如虚报价格的汽车修理账单，欺诈索赔的支出每年可使企业支付数百万美元的费用——而且成本会以更高保费的形式转嫁给客户。保险公司不断应对欺诈，但法律诉讼和私人调查等传统方法不仅费时，而且要支付高昂的费用。
作为南非最大的短期保险提供商，Santam切实感到保险欺诈的严重性。欺诈损失占Santam客户每年保费的6%～10%。欺诈还有另外一个后果——运行效率低下。由于代理必须处理并调查高风险和低风险索赔，所有索赔至少需要三天才能解决，而且Santam开始感觉到，公司在客户服务方面的良好声誉在客户希望快速获得结果的时代受到了损害。
通过采用先进的分析解决方案从收到的索赔中获取数据，Santam有能力及早发现欺诈，根据已经确定的风险因素评估每个索赔，并且将索赔划分为五个风险类别——将可能的欺诈索赔和更高风险与低风险案例区分开。借助新系统，公司不仅节省了数百万元的保险欺诈损失，而且显著缩短了低风险索赔的处理时间，最终使某些客户的处理在不到1小时内即可完成。在实施后的前几个月内，Santam还发现了一个著名的汽车保险欺诈团伙。大数据、预测分析和风险划分帮助公司识别出了导致欺诈监测的模式。
大数据依赖于可伸缩和可扩展的信息基础设施
从大数据中实现显著的、可衡量的业务价值的潜力只有在企业拥有能够支持快速提高的数据量、多样性和精确度的信息基础设施的前提下才能实现。我们让受访者指出其大数据基础设施的现状，近三分之二的受访者表示，他们已经采用整合、可伸缩、可扩展且安全的信息基础开始大数据之旅。在受访者的大数据举措中，他们提到最多的是四个信息管理组件（图4.6）。
我们让目前正在开展大数据举措的受访者指出哪些平台组件目前试用或者整合到架构中。每个数据点都独立收集。每个数据点的总受访者范围是297～351人。
图4.6 受访者大数据基础设施的组件
信息整合是任何分析项目的关键组成要素，对大数据来说，它甚至更加重要。正如在2011年IBM商业价值研究院对高级分析所做的调研，企业的数据必须随时可被需要数据的人员使用和获得。11
主数据管理和关键主题数据的整合——客户、产品、供应商、员工等——需要跨企业的数据，这些数据必须根据单一企业标准进行监管。多年来，商业智能面临的一个挑战是不能跨组织和部门孤岛将数据联系起来。这种整合对于大数据甚至更加重要，但也更加复杂。在目前正在开展大数据举措的受访者的企业中，65%的受访者认为他们的整合信息能力不足以支持大数据。
在大数据活动中，下一个最常见的信息管理基础组件是可扩展的存储基础设施和高容量数据仓库。这些组件分别支持目前和将来进入企业的数据的快速增长。
从表面上讲，结合增加存储和增加一个或多个更大服务器的方法可以支持信息管理基础的增长。然而，预测和设计基础设施是实现预期业务价值回报的关键，了解这一点非常重要。企业需要考虑如何最好地支持数据的增减，使用户能够在需要时访问数据，并考虑如何在业务要求的时间内分析数据（无论是按天、小时、秒还是毫秒）。服务器和存储的这种平衡配置和部署实现了更加优化的基础设施。
随着越来越多的人要求访问更多不同类型的信息，这些技术通过在整个企业内实现统一的自动化数据移动，也管理着收到的——以及存储的——数据。数据分层与压缩、水平扩展的文件系统以及内存数据库等新兴技术实现了比传统数据仓库更多的工作负载的管理。对许多企业来说，在管理日益增多的数据方面提高能力是大数据的第一要务，其次是应对日益提高的数据多样性。（参见案例研究：“Vestas：更好的数据分析能力降低了成本，并提高了效率”）
案例研究 Vestas：更好的数据分析能力降低了成本，并提高了效率12
风轮机投资涉及数百万美元，一般寿命为20～30年。为了确定风轮机的最佳位置，大量与位置相关的因素都必须考虑，包括温度、降水、风速、湿度和气压。
对丹麦风轮机制造商Vestas Wind Systems A/S（Vestas）来说，用于创建客户风轮机位置模型的数据分析流程越来越难以获得满意的结果。这个流程需要几星期才能完成执行，而且无法支持大量数据的分析，而客户认为这对于精确的风轮机部署和电力预测非常必要。Vestas的工程师希望开始使用确切记录的现有客户风轮机数据开发自己的预测结果，而不是使用行业模型。公司的挑战是将数据容量增加到预计的6PB。
通过在世界上最大的超级计算机上使用大数据解决方案以及为了从大量因素（包括结构化和非结构化数据）中获得洞察力而设计的建模解决方案，公司现在可以帮助其客户优化风轮机的布局，并因此提高风轮机的性能。
这个新的信息环境使公司能够通过以前无法实现的方式管理并分析天气和位置数据，从而获得洞察力，以改进关于风轮机布局和运行的决策，并且实现了更准确的发电预测。更详细的模型意味着更高的业务案例确定性、更快获得结果，以及更高的可预测性和可靠性，这降低了客户的每千瓦时成本，并且提高了客户投资回报估计的准确度。这些技术将业务用户请求的响应时间缩短了大约97%——从几星期缩短到几小时，并且显著提高了风轮机布局的效率。
58%的企业拥有强大的安全和治理流程，这些受访者表示，他们目前正在实施大数据举措。尽管安全和治理长期以来都是商业智能的固有组成部分，但就大数据来讲，额外的法律、道德和法规考虑引入了新的风险，并且增加了公众犯错的可能性，因为我们已经看到，某些公司已经失去对数据的控制，或者以有问题的方式使用数据。
因此，据多名受访的业务主题专家和业务高管表示，数据安全——尤其是数据隐私——是信息管理的一个关键部分。随着企业采用新的信息来源，尤其是社交媒体数据，安全和治理将变得更加重要，而且任务更加艰巨。由于这一挑战的存在，隐私法规仍在不断制定，而且各国可能存在巨大的差异。
一位电信行业高管解释说：“业界认为隐私和安全很容易，但受到严格的监管和关注”，并非只有政府机构在关注，客户自身也在这样做。这位高管继续说，“在许多新的领域，例如网络浏览数据，法律和权利之间存在灰色区域。我们已经采取了措施，使用客户可能认定的标准来评估我们的应对举动，但凡我们使用数据的方式出现在报纸头版。”
升级基础设施相关的成本逐渐提高，这是许多受访的高管关注的问题。他们认为，高层领导需要可靠且可量化的商业投资回报分析，定义所需增加的投资以及证明并优化信息管理环境成本的机会。成本更低的架构——包括云计算、战略外包和基于价值的定价——被认为是正在部署的战术。然而，有些受访者认为业务机会能够补偿增加的相关成本，并据此向信息平台投资。
最初的大数据举措注重从现有的和新的内部数据源中获得洞察力
大多数早期的大数据举措注重获得并分析内部数据。据我们的调研指出，超过一半的受访者将内部数据作为企业内大数据的主要来源。这表明企业在采用大数据战略时采用了实用的方法，同时也表明，有大量未开发的价值仍然隐含在这些内部系统中（图4.7）。
我们让目前开展大数据举措的受访者指出他们目前收集并分析哪些数据源。每个数据点独立收集。每个数据点的总受访者为557～867人。
图4.7 企业主要使用内部数据源开展大数据举措
正如意料的那样，内部数据是企业内最成熟并且被熟知的数据。这些数据已经通过多年的企业资源计划、主数据管理、商业智能和其他相关工作而收集、整合、结构化和标准化处理。通过利用分析方法，从客户交易、交互、事件和电子邮件中获得的内部数据可以提供宝贵的洞察力。
案例研究 Automercados Plaza's：通过更强大的洞察力获得更高收入13
Automercados Plaza's是委内瑞拉的一个家族式食品连锁店，拥有超过6TB产品和客户数据，分布在不同系统和数据库中。因此，公司难以轻松地评估每个商店的运行情况，而且高管知道他们需要从数据中获得宝贵的洞察力。
Automercados Plaza's公司CIO Jesus Romero说：“在定价、库存、销售、配送和销售方面，我们面临着严重的混乱。我们拥有近2000万美元的库存，而且我们追踪不同系统中的相关信息，并且手动进行编辑。我们需要一个整合的视图，以确切地了解我们拥有什么。”
通过整合企业内的信息，这家食品连锁企业的收入增加了近30%，年利润提高了700万美元。Romero先生将这些成绩归功于更好的库存管理以及更快适应不断变化的市场形势的能力。例如，公司避免了大约35%的产品的损失，因为公司能够提前安排降价，在食物变质前将易变质的食物销售出去。
然而，在许多企业中，某些内部数据的大小和范围（例如详细的交易数据和运行日志数据）变得过于庞大且过于多样化，难以在传统系统中管理。
对于目前开展大数据举措的企业，近四分之三的受访者都在分析日志数据。这是“机器或传感器生成”的数据，用于记录业务或信息系统内执行的自动功能的详细信息——数据已经超出许多传统系统的存储和分析能力。因此，许多数据在收集后并未被分析。
根据我们对高管们的采访得知，目前指导企业开展大数据举措的许多CIO已经开始利用这些未利用的内部信息源，他们利用了更具扩展能力的基础架构提供的更高的处理能力。
大数据需要强大的分析能力
大数据只有在用于应对重要的业务挑战时才能创造价值。这要求获取更多的不同种类的数据，以及强大的分析能力，包括软件工具和使用这些工具的必备技能。
通过对开展大数据活动的企业进行考察发现，这些企业首先建立了强大的分析能力，目的是处理结构化数据。然后，它们进一步增强能力，利用进入企业的大量半结构化数据（可以转换为标准数据形式的数据）和非结构化数据（非标准形式的数据）。
在开展大数据举措的企业中，超过75%的受访者表示，他们使用核心分析能力，例如查询和报表以及数据挖掘，对大数据进行分析，而超过67%的受访者表示他们使用预测建模。以这些基础性的分析能力为出发点是开始解释和分析大数据的实用方法，尤其是当大数据存储在关系型数据库中时（图4.8）。
我们要求正在开展大数据举措的受访者指出其企业内目前拥有哪些分析能力。每个数据点独立收集。每个数据点的总受访者为508～870人
图4.8 受访者采用多种高级分析能力
对于更多高级数据可视化的能力需求随着大数据的引入而增加。对业务或数据分析人员来说，数据集通常过大，他们利用传统报告和数据挖掘工具难以查看和分析这些数据。在我们的调研中，受访者表示，71%的大数据举措依赖数据可视化技能。
开展大数据举措的企业需要越来越多的高级能力，以发现大数据的固有复杂性中的模式。为了做到这一点，受访者采用优化模型和高级分析技术，更好地了解如何转变关键业务流程。他们使用模拟能力分析大数据中大量变量。我们的调研发现，50%以上的大数据举措使用了这些先进的建模能力。
当前，大多数企业将初始的大数据分析重心指向结构化数据。但是，大数据也提出了分析多种数据类型的需求，包括对许多企业可能全新的多种数据。在超过一半的大数据举措中，受访者表示他们采用先进的能力分析处于自然状态的文本，例如呼叫中心对话的记录。这些分析能力包括解释和理解语言的细微差别，例如感情、俚语和意图。
掌握分析非结构化数据（例如地理空间位置数据、语音和视频）或流数据的能力对大多数企业来说是一个持续的挑战。在这些领域中，尽管硬件和软件已经成熟，但技能仍然缺乏。在开展大数据举措的企业中，不到25%的受访者表示他们拥有分析高度非结构化数据所需的能力，例如语音和视频。
大数据的进步要求获取或者培养这些更先进的技术和分析能力，这已经成为许多正在开展大数据举措的企业的首要挑战。在这些企业中，缺乏先进的分析技能是从大数据中获得最大价值的主要障碍。
新兴的大数据采用模式注重提供可衡量的业务价值
为了更好地了解大数据形势，我们让受访者描述大数据活动目前在企业中的应用程度。这些结果指出了大数据采用和发展过程中的四个主要阶段，我们将其分为：教育、探索、接触和执行（图4.9）。
我们让受访者指出大数据活动在其企业中的现状。由于四舍五入的原因，比例之和不等于100%。受访者总数=1061
图4.9 新的大数据采用模式的四个阶段
教育：建立知识库（24%）
在教育阶段，主要核心是意识和知识培养。近25%的受访者指出，他们的企业尚未使用大数据。尽管有些企业并不了解大数据的主题，但我们的采访指出，这个阶段的大多数企业正在考察大数据技术和分析带来的潜在收益，并且试图更好地了解大数据如何帮助在其行业或市场中抓住重要的业务机遇。在这些企业中，主要是由个人进行知识收集，而非正式的工作组，而且他们学到的知识并没有在企业内使用。因此，大数据的潜力尚未得到业务高管的全面了解和接受。
探索：定义业务投资回报分析和发展路线图（47%）
探索阶段的核心是制定企业的大数据发展路线图。近一半的受访者表示，其企业内对如何利用大数据应对重要的业务挑战进行了正式的持续讨论。这些企业的主要目标包括制定和量化的业务投资回报分析，并创建大数据蓝图。这一战略和路线图考虑了现有数据、技术和技能，然后列出了从何处开始，以及如何制定与企业的业务战略相符的计划。
接触：拥抱大数据（22%）
在接触阶段，企业开始证明大数据的业务价值，并对其技术和技能进行评估。目前，超过五分之一的受访者企业在进行概念验证测试（POC），以确认与实施大数据举措相关的要求，并且传达预期回报。这一组的企业正在——在既定的受限范围内——努力了解并测试利用新的数据源所需的技术和技能。
执行：大规模实施大数据（6%）
在执行阶段，大数据和分析能力更广泛地在企业内应用并实施。然而，仅6%的受访者表示，他们的企业已经实施了两个或多个大数据解决方案——这是演进到这个阶段的门槛。这种处于执行阶段的企业数量较少的情况与我们在市场中观察到的现象一致。重要的是，这些领先企业利用大数据实现业务转型，并因此从信息资产中获得最大的价值。随着企业采用大数据的速度加快——在参与阶段有22%的受访者，正在进行POC或试点——我们预计处于这个阶段的企业比例将在下一年翻一番以上。
随着大数据能力的进展，各阶段将发生更多变化
除了五项主要的调研发现外，我们的分析还揭示了与高管支持、数据可用性要求和主要障碍相关的各发展阶段的不同模式。这些模式指出了企业发展大数据基础设施和分析能力需要采取的一系列互相关联的步骤。
大数据支持
对大数据采用行为的更深层考察指出了不断变化的支持模式（图4.10）。在我们的样本中，受访者表示，超过三分之一的大数据举措由CIO推动。然而，绝大多数CIO推动的举措处于早期阶段，企业向技术投资，并开始识别业务机会和要求。
我们让受访者指出谁与大数据和分析洞察力的使用要求最相关。文本框的布局反映了高管在各个阶段占主导地位的程度。受访者总数=1028
图4.10 领导职能的转变随着企业内的大数据举措发展而变得明显
随着企业进入下一个阶段，对举措的支持由业务高管提供——特定职能的高管，例如CMO或CFO，甚至是CEO。尤其需要指出的是，这种业务高管注重单个焦点的支持模式被认为是大数据成功的关键。
这种模式表明，企业最初可能注重技术，以及建立大数据基础设施，但随着它们开始制定业务投资回报分析和发展路线图，支持工作转向一名或多名业务高管。即使如此，CIO和IT组织在执行商定的路线图时必须继续扮演重要角色。
数据可用性
如图4.11所示，我们看到数据可用性要求如何随着企业的大数据举措的成熟而发生显著改变。通过对受访者的回答进行分析指出，无论处于大数据采用的哪个阶段，企业都面临着缩短数据时延、提高数据时效性的更高的需求。高管在制定战略性的日常业务决策时，似乎越来越多地考虑到及时性数据的价值。数据不再仅仅是辅助支持决策的东西，而是在制定该决策时的一个业务关键要素。
我们让受访者指出业务用户或流程需要多快获得数据。文本框的布局反映了该要求在每个阶段的常见程度。受访者总数=973
图4.11 应对实时数据带来的挑战
我们预计，随着业务模式的发展，以及企业对流数据、内存分析、机器对机器的处理和其他创新进步技术的投资，对更实时访问的需求将继续提高。
大数据障碍
在企业从大数据采用的一个阶段进展到另一个阶段的过程中，遇到的挑战也不同。但是，我们的调研结果指出了一个普遍的挑战——无论在哪个阶段——这就是制定有吸引力的业务投资回报分析报告的能力（图4.12）。在每个阶段，大数据举措都要经过财务审查。当前的全球经济形势使那些基本没有进行新技术投资的企业无法获得显著的收益——当然，这一要求不仅仅针对大数据举措。在企业成功实施POC后，最大的挑战变成了寻找大数据得以运行的技能，包括：技术、分析和治理技能。
我们让受访者指出其企业内的大数据面临的主要挑战。文本框的布局反映了该挑战在各个阶段的常见程度。受访者经过加权和汇总。受访者总数=1062
图4.12 了解大数据采用的主要障碍
