如何构建企业大数据应用研发体系

Question

如题所述

Answer 1

一、数据基础平台
基础的数据平台建设工作，包含数据平台建设，数据规范，数据仓库、产品数据规范，产品ID，用户ID，统一SDK等。
很多公司的数据无法有效利用，就是缺乏统一规范，产品数据上报任由开发按照自己的理解和习惯上报，没有标准化的SDK和上报协议，并且数据散落在各个部门产品的服务器，无法构建结构化的数据仓库。
做数据平台的架构，很多人会理解为高大上的技术活，其实整个数据平台价值的体现，需要公司各个部门的配合，例如关键数据指标体系的建立，需要从各个部门业务指标进行提炼，并得到业务部门认可。常见的关键指标有：DAU、PCU、WAU、MAU、按天留存率(1-30日留存)、累计留存率（7日、14日、30日累计留存率），新增用户，有效新增用户，活跃转化率，付费转化率，收入指标，ARPU人均收入，渠道效果数据等。

互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果你真的想做，可以来这里，这个手机的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。

            

二、数据报表与可视化
在第一层级中，进行数据指标体系规范，统一定义，统一维度区分，就可以很方便的进行标准化可配置数据报表设计，直观的可视化输出设计，包括行为、收入、性能、质量等多种数据类别。
在PPT中以友盟、迅雷、百度、腾讯等公司的数据报表体系进行详细讲解。

             

三、产品与运营分析
在建立数据平台和可视化基础上，对已有的用户行为、收入数据等进行各种分析，输出日报、周报、月报、各种专题分析报告。常见的数据分析工作如下：
1. A/B TEST进行产品分析优化；
2. 运用漏斗模型进行用户触达分析，如TIPS、广告等曝光到活跃的转化；
3. 收入效果监控与分析，包含付费转化率、渠道效果数据等；
4. 业务长期健康度分析，例如从用户流动模型、产品生命周期分析产品成长性和健康度；
5. 营销推广活动的实时反馈；
用户画像也是常见的数据分析方式，包括用户如性别、年龄、行为、收入、兴趣爱好、消费行为、上网行为、渠道偏好、行为喜好、生活轨迹与位置等，反映用户各种特征，以达到全面的了解用户，针对性的为用户提供个性化服务的目的，通常每半年做一次用户画像的专题分析。
常用分析工具：EXCLE，SPSS，SAS，Enterprise Miner，Clementine，STATISTICA。个人用的比较多的是：EXCEL和SPSS。

            

四、精细化运营平台
基于数据基础上搭建的精细化运营平台，主要的平台逻辑多数是进行用户细分，商品和服务细分，通过多种推荐算法的组合优化进行商品和服务的个性化推荐。另外还有针对不同产品生命周期，用户生命周期构建的产品数据运营体系。

           

五、数据产品
广义的数据产品非常多，例如搜索类，天气预报类等等。这里主要讲狭义的数据产品，以BAT三家公司的数据产品为例进行分享。
腾讯：广点通、信鸽
阿里：数据魔方、淘宝情报、淘宝指数、在云端
百度：百度预测、百度统计、百度指数、百度司南、百度精算

            

六、战略分析与决策
战略分析与决策层，更多的是跟很多传统的战略分析、经营分析层面的方法论相似，最大的差异是数据来自于大数据。
有很多企业错误的把“业务运营监控层”和“用户/客户体验优化层”做的事情放在经营分析或者战略分析层来做。傅志华认为“业务运营监控层”和“用户/客户体验优化层”更多的是通过机器、算法和数据产品来实现的，“战略分析”、“经营分析”更多的是人来实现。很多企业把机器能做的事情交给了人来做，这样导致发现问题的效率较低。
建议是，能用机器做的事情尽量用机器来做好“业务运营监控层”和“用户/客户体验优化层”，在此基础上让人来做人类更擅长的经验分析和战略判断。
在变化极快的互联网领域，在业务的战略方向选择上，数据很难预测业务的大发展方向，如果有人说微信这个大方向是通过数据挖掘和分析研究出来，估计产品经理们会笑了。从本质上来说，数据在精细化营销和运营中能起到比较好的作用，但在产品策划、广告创意等创意性的事情上，起到的作用较小。但一旦产品创意出来，就可以通过灰度测试，数据验证效果了。

Answer 2

一、数据基础平台
基础的数据平台建设工作，包含数据平台建设，数据规范，数据仓库、产品数据规范，产品ID，用户ID，统一SDK等。
很多公司的数据无法有效利用，就是缺乏统一规范，产品数据上报任由开发按照自己的理解和习惯上报，没有标准化的SDK和上报协议，并且数据散落在各个部门产品的服务器，无法构建结构化的数据仓库。
做数据平台的架构，很多人会理解为高大上的技术活，其实整个数据平台价值的体现，需要公司各个部门的配合，例如关键数据指标体系的建立，需要从各个部门业务指标进行提炼，并得到业务部门认可。常见的关键指标有：DAU、PCU、WAU、MAU、按天留存率(1-30日留存)、累计留存率（7日、14日、30日累计留存率），新增用户，有效新增用户，活跃转化率，付费转化率，收入指标，ARPU人均收入，渠道效果数据等。
下图是腾讯和阿里的数据平台架构。

阿里大数据业务架构：

阿里云梯分布式计算平台整体架构：

二、数据报表与可视化

在第一层级中，进行数据指标体系规范，统一定义，统一维度区分，就可以很方便的进行标准化可配置数据报表设计，直观的可视化输出设计，包括行为、收入、性能、质量等多种数据类别。
在PPT中以友盟、迅雷、百度、腾讯等公司的数据报表体系进行详细讲解。
腾讯数据门户

阿里数据地图

三、产品与运营分析
在建立数据平台和可视化基础上，对已有的用户行为、收入数据等进行各种分析，输出日报、周报、月报、各种专题分析报告。常见的数据分析工作如下：
1. A/B TEST进行产品分析优化；
2. 运用漏斗模型进行用户触达分析，如TIPS、广告等曝光到活跃的转化；
3. 收入效果监控与分析，包含付费转化率、渠道效果数据等；
4. 业务长期健康度分析，例如从用户流动模型、产品生命周期分析产品成长性和健康度；
5. 营销推广活动的实时反馈；
用户画像也是常见的数据分析方式，包括用户如性别、年龄、行为、收入、兴趣爱好、消费行为、上网行为、渠道偏好、行为喜好、生活轨迹与位置等，反映用户各种特征，以达到全面的了解用户，针对性的为用户提供个性化服务的目的，通常每半年做一次用户画像的专题分析。
下图是常见的数据分析思路：

常用分析工具：EXCLE，SPSS，SAS，Enterprise Miner，Clementine，STATISTICA。个人用的比较多的是：EXCEL和SPSS。
下图是SPSS常用的数据分析与挖掘方法：

四、精细化运营平台
基于数据基础上搭建的精细化运营平台，主要的平台逻辑多数是进行用户细分，商品和服务细分，通过多种推荐算法的组合优化进行商品和服务的个性化推荐。另外还有针对不同产品生命周期，用户生命周期构建的产品数据运营体系。

五、数据产品
广义的数据产品非常多，例如搜索类，天气预报类等等。这里主要讲狭义的数据产品，以BAT三家公司的数据产品为例进行分享。
腾讯：广点通、信鸽
阿里：数据魔方、淘宝情报、淘宝指数、在云端
百度：百度预测、百度统计、百度指数、百度司南、百度精算
截取几张PPT如下：

六、战略分析与决策
战略分析与决策层，更多的是跟很多传统的战略分析、经营分析层面的方法论相似，最大的差异是数据来自于大数据。
有很多企业错误的把“业务运营监控层”和“用户/客户体验优化层”做的事情放在经营分析或者战略分析层来做。傅志华认为“业务运营监控层”和“用户/客户体验优化层”更多的是通过机器、算法和数据产品来实现的，“战略分析”、“经营分析”更多的是人来实现。很多企业把机器能做的事情交给了人来做，这样导致发现问题的效率较低。
建议是，能用机器做的事情尽量用机器来做好“业务运营监控层”和“用户/客户体验优化层”，在此基础上让人来做人类更擅长的经验分析和战略判断。
在变化极快的互联网领域，在业务的战略方向选择上，数据很难预测业务的大发展方向，如果有人说微信这个大方向是通过数据挖掘和分析研究出来，估计产品经理们会笑了。从本质上来说，数据在精细化营销和运营中能起到比较好的作用，但在产品策划、广告创意等创意性的事情上，起到的作用较小。但一旦产品创意出来，就可以通过灰度测试，数据验证效果了。