7月22日,美国《财富》杂志发布2019年世界500强排行榜。小米集团首次登榜,排名468位,在上榜的全球互联网企业中排名第7。小米8年极速登榜500强,创中国互联网企业纪录。
但是小米从2010年4月正式成立至今,并非一帆风顺。最初4年,高歌猛进。2015年-2016年上半年,曾遭遇过创立后重大挑战,直至2017年年中,公司才逐步稳健。2018年,小米冲刺甚猛。2019年年初,小米集团宣布实行“手机+AIoT”双引擎战略,该战略为其带来了高速增长,Q1财报显示营收利润大超预期,AloT业务强势领先 。从其近9年的起起伏伏,亦可见其背后复杂而多元的业务发展。
2017年后,小米的再次崛起,资深媒体人王如晨认为是小米独特的商业模式——平台经济所致,但他认为,“本质上,小米就是一家技术与数据驱动的技术与商业融合的平台化公司。”(《小米另一面:一个AIoT商业操作系统》)
2018年7月,小米的大数据产品总监赵辉华在其演讲中更直白地说道,“我们认为小米不仅仅是一个手机公司,雷总把小米描述成一个移动互联网公司,我们也是一个智能设备的公司,我们还是一个新零售公司,归结到最后我们是一家数据公司。对小米来讲,我们有三亿小米用户,如果没有小米的用户,那么小米后续所有的业务都无从谈起。”(《300亿大数据的应用》)
是的,小米从2010年成立以来积累了一组强大的数据,截止到2019年3月底,MIUI月活跃用户达2.61亿人,小米智能手机销售量高达1.466亿台;小爱同学月活用户超过4550万人,累计唤醒次数超过80亿次,已经成为中国最活跃的人工智能助手。同时,小米IoT平台联网设备1.71亿,覆盖了人们多元化生活场景;小米OTT激活量2850万。
小米所拥有的3亿多MIUI用户、20多个日活过千万的app、丰富的生态链产品,所有的这些服务每时每刻都会产生大量的用户数据,这些数据构成了小米宝贵的数据资产。
与此同时,面对海量的数据,该如何整理、管理和应用以产生更大价值?是小米面对的问题。
如何处理这些海量数据,首先要从小米的大数据团队说起。
小米大数据团队成立于2012 年,主要承担三项职能:一是数据平台,基于公司海量数据构建数据仓库,提供OLAP(OnlineAnalytical Processing),BI(Business Intelligence)等平台能力,支持业务部门数据需求;二是数据建设,其中最重要的是用户画像的建设,帮助多维度地描绘用户,实现精细化运营;三是数据驱动业务增长,也即数据应用,通过数据发现业务痛点,解决行业难题,颠覆行业模式。
2014年左右,小米的大数据平台开始构建,在设计之初,小米就大力拥抱开源技术,尤其是Hadoop生态,大大降低了小米的改造成本和学习成本。此外,小米在Hbase,Spark,kudu等关键技术领域,也做了大量的投入(如下图)。
图(大数据技术构架 2017年初资料)
小米的大数据平台基础是其数据治理体系——“数据金字塔”(如下图),它是统一的大数据架构,通过将数据的采集、处理、应用等各个步骤标准化,全面提升数据质量。它是由四层组成,最底层基础架构是基于Hadoop生态的数据工厂。小米的数据科学家孟庆春说,数据工厂是大数据系统整个底层的核心所在。
图(数据金字塔 2018年12月资料)
小米的大数据发展围绕四个数据驱动层次,这四个层次是:辅助层、智能层、创新层、颠覆层。辅助层是最底层,小米将智能商业化数据进行统计分析,辅助制定商业决策。第二层是智能层,随着小米越来越多的业务,智能层会开始使用程序化算法和机器学习算法来帮助提升业务。第三个层是创新层,创新层有两个方面:1,创造一些新的业务形态;2,小米希望通过大数据的方法将其大量业务进行整合,提升业务效率,从本质上讲商业竞争就是效率竞争。最后是颠覆层。
小米的业务需要辅助层和智能层进行发展,小米的大数据平台,帮助业务在辅助层和智能层进行提升,小米也拥有数据科学家团队,为创新层和颠覆层提供服务。
2019年2月底,小米成立大数据部,直接向CEO汇报,负责大数据,推荐和搜索。从与云平台部和人工智能部并行来看,小米的数据驱动已提升到战略层面,其任务也非常艰巨。
小米不断精进的数据驱动之路,主要来源于小米对自身的严格要求,它希望通过不断完善自己的强大技术支撑能力,努力为所有业务赋能。
第一,在大数据平台方面,小米大数据某负责人曾分享过企业如何避免在大数据平台构建中“采坑”:首先,企业内部要做数据平台,要有打破数据孤岛的意识;其次,要乐于和善于使用开源技术和既有的优秀方案; 第三,要有整体的架构方向和适用的数据治理体系; 最后,也是最重要一点,要有业务思维,为业务赋能。
大数据平台上线后,对小米有两个最重要的价值:一是效率。整体数据治理体系初步成型后,开发效率有大幅的提升,查询效率有一至两个数量级的提升,让公司的业务层更易于使用数据。二是创新。数据平台解决了以往数据孤岛问题,把所有数据都汇总起来,并拥有了一致化体验,其中产生大量的创新机会,比如,小米对新零售的关注点是要打通线上、线下的数据,所以,针对新零售他们做了两件事,第一基于小米的大数据和AI技术,为小米的线下零售体系建立了一套风险控制模型。第二,为每一个线下商户和加盟合作伙伴开发了信用体系,有了这套信用体系就可以了解到每家商铺的经营情况,同时也可以了解小米的政策倾向和服务品牌特权等。
第二,小米大数据团队对数据挖掘和BI也非常重视,小米的数据科学家孟庆春说过,“小米在不断地提升数据工厂的质量,并在这个基础上打造BI数据仓库。因为我们知道,比如像数据埋点、数据采集、存储、统计分析这些东西会占据我们80%的时间,但实际上价值是很低的,只有20%的价值,在这个之上,数据挖掘、数据智能才真正具有80%的价值。但实际上只需要我们20%的时间,所以我们大数据团队希望能够方便大家,把大家从下面的80%解放出来,大家能够集中力量去做上面这20%的事情。”(小米数据科学家孟庆春:大数据背景下用户画像是关键)
DataHunter为小米提供过一套基于DataAnalytics 数据分析平台的敏捷BI解决方案。该方案帮助小米搭建了一站式数据分析平台,架通连接信息孤岛的桥梁。因为该平台是基于B/S 的BI产品与解决方案,便捷性强;可以让业务人员自助式、探索式进行数据分析。还支持交互式实时数据展示,将一定的分析能力交给用户,看板上的数据可以联动,并进行协同过滤,自由地进行多维度数据钻取、排序、筛选。
另一方面,平台支持多端数据可视化展示,可以让业务人员和管理层随时随地进行团队沟通协作。终端包括PC、手机、Pad,支持 PPT 形式内容分享,针对数据看板随时随地进行沟通讨论;还支持将 Dashboard 内容投影至 TV 大屏,支持触摸屏互动。
据了解,之前小米数据分析最大的痛点在于,数据分析模式是业务部门或者领导提出需求,IT部门根据这些需求再进行数据权限的分享,数据分析的负荷极大,会牵涉到IT人员巨大的时间精力成本。这也导致很多有数据分析需求的业务人员无法便捷的进行分析,也无法从数据中获得相应的数据洞察。
平台上线之后,大部分数据分析工作都可以由业务人员自助式进行,数据分析能力覆盖到更广泛的业务流程之中,大大提升业务人员的数据分析能力。同时也极大的解放了IT人员的工作。
但小米对数据分析的要求也是无止境的。正如,小米研发架构师欧阳辰所表示的那样,数据分析处理是个无底洞,需求是源源不尽的。企业对于即时性、灵活性的需求会越来越多。
第三,小米公司经过8年的发展,积累了海量的日志和用户行为数据,已形成全生态,多样性的数据资产。小米的数据来源于硬件、软件和大量的互联网服务,每天有超过万亿级的日志,数据异构性非常强。如何处理和发挥异构数据的价值?是小米大数据团队面对的最大挑战。
而DataHunter为小米提供的敏捷BI解决方案,可以进行异构数据源整合,其兼容多种数据源,秒级接入海量数据。可接入企业业务系统、第三方系统、公共数据服务、SAP BW数据仓库等来源,兼容各种数据源类型,轻松集成整合所有相关业务数据。
纵观小米的数据驱动之路,一直围绕着让数据更敏捷地赋能业务,努力避免数据孤岛,提高数据治理的效率,提升数据价值精进着,因为唯有如此,数据驱动才能更好地推进小米业务不断升级、创新和颠覆。