大数据是炙手可热的IT大生词,与大数据有关的Hadoop和HBase等技术也在高速成长,分析师们忙于测试各种大数据新技术和方法;商业领袖则纷纷调整业务模型,汲取更多大数据的能量。麦肯锡公司称大数据为“商务新战线”,认为大数据对商务转型的影响力堪比过去15年的互联网。
为了在这种趋势中占据优势,商业领袖需要了解最大化挖掘数据价值的关键步骤。大数据驱动的商业成功不仅仅意味着选择正确的云计算技术或招募优秀的数据科学家,还意味着需要创建一套新的业务为中心的方法,将企业数据与业务策略连接起来,实现持续改进,最终达成与流程、利润空间和客户满意度等有关的核心目标。
根据本人在大数据领域的经验,总结出来商业领袖成功实施大数据项目的七大步骤:
一、制定数据策略
你需要一个强有力的数据策略,能够连接和支撑你的业务策略,同时又能够与部门级职责挂钩。制定一个由很多分段目标构成的计划,标明你每个阶段要实现的数据能力目标,以及这些能力将如何被使用。这实际上相当于某种“消费预期管理”,让企业各部门对大数据实施不同阶段的数据能力有个正确的预期,同时知道他们的职责、目标和需要实现的业务成效。好的数据策略能够将你和部门的目标统一在整体业务策略之下。
二、面向灵活性的设计
大数据系统非常庞杂,这意味着灵活性会差。例如一个好的BI系统会帮助企业转型,但反过来也会要求BI系统做出改变。这就需要你的系统能够快速适应业务的发展速度。部分组件的发布周期需要12-18个月是可以接受的,但是其余组件的周期最好控制在3-6个月。仔细分析大数据系统的每个组件,保证设计有足够的灵活性。
三、了解延迟
延迟是传统BI系统的挑战,大数据将这个问题进一步放大了。大数据解决方案通常采取批处理架构,降低延迟的工作往往放在后面。你必须做出改变,一开始就有限考虑延迟问题。分析大数据系统的几个关键应用场景对延迟的要求,将这些与业务驱动力放在一起考量。确保为每种需求匹配合适的延迟,让这些需求来决定你的设计!有些低延迟需求甚至可能需要你采取临时绕过大数据系统的方式来满足。
四、在数据质量和元数据上投资
数据质量是所有系统为之奋斗的目标,大数据系统也不例外。而且大数据系统需要更多的自动化和高级计划。你必须一开始就确保数据质量被作为基础性的重要工作对待,能获得足够的数据源和管理支持。其次,内建多重防线,从主数据管理(例如创建客户帐号)到数据采集(客户互动记录)到元数据(数据组织分类以便用于将来的报告和分析)。第三,将数据质量评定和提升流程和数据质量测量与报告这两个流程都实现自动化。为你的数据质量团队提供必要的工作流工具,以及能够进行大规模数据分析的工具。
五、善于建立原型
大多数大数据系统的数据量惊人,测试阶段没必要调用全部数据,通常可以采取建立小规模原型进行测试,尤其是当你建立复杂的数据集成、在线算法或用户界面的时候,建立原型不但能够以较小的代价测试,还能尽快与你的用户分享,让他们在惊喜之余提供宝贵意见。
六、善于采样
如果操作得法,数据采样能节省你大量的时间。正确的采样需要做三家是:首先建立标准样本数据集,定期更新,这样可以帮你的分析师省去大量的回答业务人员问题的时间。第二,确保团队里有至少一位高手(例如一位统计师),能够确保数据采样的正确性和采样结果的合理使用。最后,需要教育决策者了解数据采样的价值和局限性,这样他们就能接受在采样数据的基础上做决策。正确的数据采样不但提高了生产力,还能提供不打折扣的商业价值。
七、经常获取反馈
无论从数据管理还是驱动商业价值的角度看,大数据都是一个学习型流程。你需要经常调查用户评估进度。可用性、数据质量以及数据延迟等情况都需要从用户那里获得反馈。定期的反馈能确保你的大数据系统与业务决策紧密整合,从而在业务改进中发挥关键作用。
遵循以上七大步骤将有助于您获得有效的大数据能力,节省时间和金钱,为企业带来最大化的投资回报。