新财经周刊:解码“大数据”

 邮箱网  1条评论  6581次浏览  2013年03月10日 星期日 08:49

分享到: 更多
本报记者 陆绮雯 唐烨

互联网上的每一个“你”是否意识到,在网络浏览新闻、收发邮件,在电商下单购物,在社交网站与朋友互动,甚至用手机APP上传自拍照片……你的每一个网路“足迹”都会以“数据”的形式被记录并存储下来,而这些以几何数量级增长的数据正在逐步重构互联网世界,也在重构我们的生活。

不容否认,当联合国发表大数据政务白皮书 《大数据促发展:挑战与机遇》;当《哈佛商业评论》把数据科学家评选为21世纪最性感的职业;当奥巴马依靠数据挖掘团队用比对手少1亿美元的竞选资金击败对手连任美国总统;当EMC、IBM、Oracle等跨国IT巨头纷纷发布大数据战略及产品;当国内的风投和互联网大鳄言必称大数据时,一个“用数据说话”的新商业时代正拉开帷幕。虽然眼下谁都无法精确描述大数据时代将如何改写商业世界的规则及模式,但有一点毋庸置疑——“大数据”的价值远远超乎人们的想象。

 

数据告诉我们……

美国是引领这场大数据变革的核心国家。美国政府与企业早就注意到大数据中蕴含的机会,近年已逐步应用到商业、经济、公共政策乃至竞选活动中,其娴熟运用不说“炉火纯青”,至少也已“先人多步”。

前几天,第85届奥斯卡奖颁奖礼在美国揭晓,收视率创下近3年来新高。与往年相同,颁奖礼前“看客们”对获奖者的猜测热闹非常。据说,连中国影星章子怡也在微博中成功猜对了最佳男女主角的获得者。章子怡能猜中靠的是经验,但也不一定能全部命中。微软公司纽约研究院有位叫大卫·罗斯柴尔德的经济学家才叫“专业”,他采用大数据分析技术,除最佳导演外其他奖项全部猜中。事实上,在2012年美国总统大选中,大卫就正确预测了美国51个选区中50个地区的选举结果,准确性高于98%。

预测奥斯卡获奖者,只是大数据比较“小儿科”的运用。 2012年美国大选中,奥巴马竞选团队对选民数据的深度挖掘才真是办成了 “大事”。奥巴马的数据挖掘团队连续两年搜集、存储和分析了大量数据,这些数据在竞选中发挥了重要作用:帮忙找到目标选民,募集到竞选经费;改变了电视广告投放策略;制作出拉拢摇摆州选民的具体数据分析模型和最有效拉票方法的推荐,从而制定针对性的宣传策略,包括邮寄信件、电话或者利用社交媒体等方法;决定奥巴马在竞选后期应当在什么地方展开活动等。如去年春天,竞选团队通过复杂的建模发现:美国男影星乔治·克鲁尼对美国西海岸40岁至49岁的女性具有很大的吸引力。她们无疑是最可能为了与克鲁尼和奥巴马共进晚餐而不惜自掏腰包的群体之一。于是,奥巴马就说服克鲁尼在自家豪宅举办的筹款宴会上,为自己筹集到数百万美元的竞选资金。奥巴马竞选团队的负责人表示,竞选团队很少进行没有数据支撑的行动。就在奥巴马获胜当天,美国《时代》杂志发表文章称:数据是奥巴马能够击败罗姆尼的根本优势之一。

大数据在美国商业决策中的应用更加不胜枚举:快餐巨头麦当劳不仅汉堡做得好吃,利用大数据为新店选址也非常精准;零售巨头沃尔玛从上世纪70年代,就开始通过数据挖掘改善自己的供应链;电商巨头亚马逊就更不用说了,数据对其意味着一切。连去年5月,美国社交网站脸谱上市的股价走势,成功预测到的不是华尔街资深分析师,倒是没啥商业经验的社交媒体监测平台DataSift。当时,华尔街分析师们几乎“一边倒”地看好脸谱的上市,不过DataSift却精确预测到脸谱股价走势。DataSift监测了当天美国另一社交网站推特上的情感倾向与脸谱股价波动的关联:如在脸谱开盘前推特上的情感逐渐转向负面,25分钟之后,脸谱的股价便开始下跌;当推特上的情感转向正面时,脸谱股价在8分钟之后也开始回弹;当股市接近收盘时,推特上的情感转向负面,10分钟后脸谱的股价又开始下跌。别小看这提前几分钟的精确预测,足够那些现在还在懊恼的投资者抛掉手中的脸谱股票。

关键时刻,大数据或许还能减少灾难对人类的伤害。 2011年3月11日,日本发生罕见大地震,仅9分钟后,美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。随即,NOAA通过对海洋传感器获得的实时数据进行计算机模拟,制作的海啸影响模型出现在YouTube等网站。NOAA快速反应得益于其全球范围内庞大的海洋传感器网络,通过这些置于海面和海底的传感器,NOAA源源不断地获取全球范围的海洋信息。尽管NOAA海啸研究中心事后表示“预警系统发挥了很大价值,但还没有快到足以帮助到日本仙台沿海的居民及时躲避海啸的程度”,不过通过大数据及时了解信息、预测趋势,对于人类未来躲避灾难无疑意义重大。

更具有风向标意义的是,美国政府已把大数据上升到了国家战略的层面。去年3月,奥巴马宣布投资2亿美元启动 “大数据研究和发展计划”。奥巴马把数据定义为“未来的石油”,是美国综合国力的一部分,是与陆权、海权、空权同等重要的 “国家核心资产”。美国媒体认为,该计划将是1993年时任美国副总统戈尔宣布的“信息高速公路”计划(该计划推动了上世纪90年代美国互联网产业的发展)后美国政府政策层面的一次“狂飙突进”。 2012年5月,《华尔街日报》发表文章大胆预见:“我们再次处于三场技术变革的开端,它们可能足以匹敌上世纪的互联网变革。这三场变革的‘震中’都在美国,它们是大数据、智能制造和无线网络革命。”《纽约时报》则说,将大数据上升到“国家战略”层面,会在下一个十年给美国经济带来深远影响。

数据改写产业——

美国的大数据产业已然进入大爆发的前夜,而其他国家也并非没有机会,因为大数据可挖掘的空间非常巨大。传统的商业智能系统中用以分析的数据,大都是企业自身信息系统中产生的运营数据,这些数据是标准化、结构化的,但事实上这些数据只占到了企业所能获取的数据的15%左右。 《纽约时报》认为:“大数据在各个领域中预见未来的能力,才刚刚崭露头角。 ”

根据赛迪顾问的一份报告,随着云计算、移动互联网和物联网等新一代信息技术的快速发展,社会信息化、企业信息化日趋成熟,社会化网络逐渐兴起,以及传感设备、移动终端越来越多地接入到网络,各种统计数据、交易数据、交互数据和传感数据正源源不断从各行各业迅速生成,全球数据的增长速度之快前所未有、数据的类型也变得越来越多。 2012年全球被创建和被复制的数据总量达到2.7ZB(Zettabyte,十万亿亿字节),是2002年全球数据总量的2亿倍;其中文本、照片、音频、视频、医疗影像等非结构化内容超过85%。

另有资料显示,当今世界在24小时之内,就可以产生出相当于16.8亿张DVD容量的数据;产生2940亿封电子邮件,相当于全美国2年产生的纸质邮件;产生网络社区帖子200万个,相当于《时代》杂志770年的文字总量……人类文明至今获得的全部数据,有90%是在过去2年产生的。预计到2020年,全球数据规模会达到今天的44倍。

大数据概念里的数据,是指具有可追踪、可分析、可量化特性的数据,而对这个意义上的“数据”进行挖掘和分析,依据数据作出商业决策、利用数据提升竞争力则是大数据产业要做的事情。目前,业界将大数据的商业机会分为两类:一类是以IBM、微软、惠普等公司提供“硬件+软件+数据”的整体解决方案,它以平台性为特征,提供基础服务;另一类是以脸谱、亚马逊、谷歌等公司为代表,基于自身海量的用户信息,提供精准营销和个性化广告推介等。

最新的分析认为,这些传统大数据的商业模式将难以满足诸多传统大型企业及中小型企业不断成长的数据处理需求。 “硬件+软件+数据”的整体解决方案,成本高昂,面对海量、繁杂的数据,只有大型企业或者政府才能有相应的能力和预算开放大数据。而国内效仿脸谱、亚马逊、谷歌等公司的商业模式,展开数据挖掘服务的企业包括淘宝、新浪等,出于隐私保护及自身利益的考量,数据也必定是封闭的,这将难以满足越来越高的整合化营销需求。因此,大数据时代的到来或将是以颠覆现有格局的面目出现。

事实上,当大多数国人还只是在谈论IBM、微软、脸谱、谷歌等互联网巨头的大数据布局时,国内领先的互联网企业早就开始了实质性的探索,一些嗅觉敏锐的风险投资商也早已着手挖掘和扶持本土与大数据产业相关的创业企业。中国宽带资本基金董事长田溯宁认为,随着大数据时代的到来,中国本土创业企业正日益露出光芒的锐角。 “在大数据的浪潮中,硅谷与北京将是零距离。 ”田溯宁在给《哈佛商业评论》撰写的《从云计算到大数据》一文中提到:“大数据会孕育更多新的公司类型,这也是大数据最有投资潜力的原因。‘数据矿’就在那里,分析平台也已经成熟,现阶段是要用解决问题的视角,寻找数据分析师和懂得商业操作的人才,把数据分析产品化。”“大数据商品化将带来继门户网站、搜索引擎、社交媒体之后的新一波创业浪潮和产业革命。 ”

根据赛迪顾问的研究,目前我国的大数据产业还处于发展初期,市场规模仍然比较小,2012年仅为4.5亿元;并且目前大数据市场的主导厂商仍以外企居多,国内厂商正快速跟进,整体产业生态环境还不成熟。但是从产业的内涵外延、产业链、市场需求、参与主体等方面综合评价,大数据产业发展动力十分强劲,在未来3-5年产业规模和市场规模都将实现快速增长。毫无疑问,大数据带来的挑战将是跨行业、跨领域的。

谁在解读数据?

“大数据是令人兴奋的新兴创业领域,我们一直关注与大数据相关的所有创业机会,包括:基础设施建设、消费品升级带来的数据营销机会,以及与政府政务效能有关的数据挖掘投资机会。”启明创投合伙人胡斌曾这样表示,而就在不久前,胡斌主动向国双科技抛出“橄榄枝”。

谁是国双?这是一家怎样的企业?国双科技涉及的业务主要有三个方面,包括数据监测挖掘、营销优化,用户体验优化和搜索营销咨询。没错,国双就是一家大数据服务公司,7年前就开始专注于数据挖掘和分析,如今,得益于欣欣向荣的大数据浪潮,国双在过去2年内,业绩以年均十倍的增速爆炸式发展着。国双科技的客户名单中不乏可口可乐、微软、百度、欧莱雅这样的行业巨头,目前,国双为18个行业的300多家企业提供打包的数据整合方案服务。

中国人民财产保险就是国双科技服务的典型客户,也是国双科技的第一个大型国企客户。国双科技高级副总裁李峰告诉记者,以往企业战略决策调整时,通常会采纳传统咨询公司的建议。 “传统咨询公司会更多融入专家的专业知识和管理经验。国双科技的服务则完全基于数据。 ”

接手人保后,国双团队先用半年多时间研究保险行业的发展情况以及该领域每个企业的表现。在此基础上,国双从KPI(关键绩效考核)制定到企业网站的重新整改都提出一系列服务方案。这一套方案全部让“数字”来说话,比如:在国双给人保提出搜索引擎优化的建议时,背后是一整套关于保险行业专业的搜索引擎调研分析报告,包括跳出率、转化率等。此外,国双给人保制定的整改方案还包括:制定整合的搜索营销策略;账号问题诊断并实施,提升ROI(投资回报率);尝试新资源、增加曝光度;关注行业表现,分析友商优势等内容。短短3个月时间,人保ROI提升了50%,CPA(按照效果付费)降低了30%,效果令人满意。

“数据服务是一个庞大的数据工程,涉及海量、方方面面的数据。但是,不是所有的数据都是真正有价值的信息。 ”李峰说,“因此,国双的任务就是帮助客户从‘大’数据中提炼出有价值的‘小’数据,从而产生商业价值。 ”
“由于互联网的超高速发展,数据量已经大到通过传统的数据库方法没有办法处理了,即使硬件一步步升级,数据处理的速度也赶不上数据产生的速度。即使用户可以从一些数据库厂商那里买来解决方案,但也解决不了用户对数据挖掘的深度和量级的需求,这才是大数据产业真正要解决的课题。 ”在国双董事长祁国晟看来,大数据这门生意拼的是数据的集中和分析能力,看企业是否有能力针对客户诉求快速、有效地回答问题、解决问题,并非把别人的工具买来就行,这才是大数据服务的核心竞争力。国双科技成立以来,提供的服务包括长期行为追踪、搜索营销、广告量化、用户体验优化、政府电子政务、运营商数据分析、网络电视台解决方案、无线解决方案,核心是数据分析,通过搜索引擎优化、搜索引擎营销、用户体验优化等手段,最终目标就是帮客户把“数据”变成“生意”。

祁国晟坦言,“数据本身没有价值,通过数据提供服务才具备真正的价值。换言之,‘数据即服务’正在被广泛接受。”据透露,目前通过国双数据分析系统所分析的广告预算,超过10亿元/年。不过,国双这样的大数据公司仍面临种种市场困境,如市场成熟度是最为突出的问题之一。由于中国的大部分企业都还没有进入精细化运营的阶段,而网络营销、数据分析也才刚刚开始,所以与海外市场相比,中国企业对数据分析和营销的接受程度还有待提高。祁国晟表示,未来,国双科技将进行更多垂直化领域的拓展,主要包括金融、电信和汽车等领域。

数据改变生活——

尽管大数据是最近两年才兴起的概念,但其实我们在很久之前就体验过大数据技术带来的便捷。

很多人都上网看过新闻吧。检索某个自己关注的新闻,总会在旁边或者下部出现一些与自己正在查看的新闻相关的文章。这就是智能数据推荐技术,是大数据应用的一种。百度技术人员介绍,根据搜索的数据,如新闻、图片和音乐等,系统会自动检索出海量数据库中与之有关的数据,然后向用户显示。

这只是大数据的简单应用,将大数据纳入商业模式要更加复杂一点。以百度广告系统为例,技术人员建立有关数字模型后,将百度拥有的海量数据提供给数学模型。百度机器学习系统就能实时分析数据包含的百亿级的特征。例如,在百度搜索框中搜索“礼品”,系统会将这个搜索词分解成百亿个特征来分析,比如单从时间这个维度就拥有很多特征,包括时、分、秒、白天、黑夜、节日、节气、热门事件发生时间等。基于这样的数据分析,百度广告系统可以很好地了解到正在搜索的这位用户的当前需求,然后将能满足他需求的广告推荐给他。对于广告商来说,这样的投放目标非常精准。

现在,国内很多电商在处理客户需求时也应用到大数据技术。比如,1号店利用对大数据的分析给顾客发送个性化订单提醒。如果顾客曾经在1号店网站上查看过一个商品而没有购买,1号店的大数据处理中心会分析到底是什么原因导致顾客只看没买。如果在顾客查看时该商品缺货,则到货时,1号店会立即通知顾客;若当时有货而顾客没有买就很有可能是因为价格引起的,则在该商品降价促销时通知顾客;同时,在引入和该商品相类似或相关联的商品时温馨告知顾客。大数据处理中心还能够挖掘顾客的周期性购买习惯,在临近顾客的购买周期时适时地提醒顾客。

除了那些每天能产生海量数据的零售和互联网行业,大数据在“严肃”的医疗产业也能发挥很大作用。比如有很多媒体就报道了武汉协和医院对大数据的挖掘。目前武汉协和医院已经与武汉市区八家社区卫生服务中心建立远程遥控联系,并在将来提供“从医院到家”的服务。通过对远程监控系统产生数据的分析,医院可以减少病人住院时间,减少急诊量,实现提高家庭护理比例和门诊医生预约量的目标。专家认为,在医药公司的新药研发阶段,可以通过数据分析,确定最有效率的投入产出比,从而配备最佳资源组合。除了研发成本,医药公司还可以更快地得到回报。原来一般新药从研发到推向市场的时间大约为13年,使用数据分析预测则能帮助医药企业提早三到五年将新药推向市场。此外,公共卫生部门可以通过覆盖全国的患者电子病历数据库,快速检测传染病,进行全面的疫情监测,并通过集成疾病监测和响应程序,快速进行响应,这些都将减少医疗索赔支出、降低传染病感染率。

大数据在不断提高已有产业效率的同时,也在重塑产业链分工。即便那些大规模的互联网企业,也满足不了所有用户的需求,只有贴近社会、贴近用户这样的一些中小开发者,甚至是一些个体的开发者,才能了解用户的需求,开发出丰富多彩的应用,有些甚至是大公司想不到的。而大企业与开发者之间的结合点其实就在大数据上。比如,百度将自己的大数据处理能力和一些应用平台开放给普通开发者。借助大企业的技术力量,使得小开发者开发的应用可能功能更加强大。现在百度地图API(应用程序编程接口)、百度翻译等拥有海量大数据的平台都已开放。如此一来,大数据在大企业与小开发者之间重新构建了一条产业链。

新财经周刊   文章来源:解放日报   作者:陆绮雯/唐烨

标签:大数据

我的评论:

请  后发表评论。
桓子野

回复 桓子野  2013年03月21日 星期四 17:26

大数据是柄双刃剑,切莫没有切到蛋糕,反倒切了手、也伤了用户...

0条回复