AI内参_139_132_数据科学家高阶能力之如何系统提升产品性能
你好，我是洪亮杰。
今天我和你分享的主题是数据科学家高阶能力之如何，系统提升产品性能。
人工智能工程师和数据科学家的一个核心任务，就是依靠人工智能、机器学习这样的工具来帮助产品不断提升品质，吸引更多用户，以实现既定的长期目标。
这里有一个关键点，就是我们如何开发出一套方法论，让提升产品性能的过程可以有章可循，并成为一个系统性的流程、出入门槛的工程师和数据。
科学家容易把精力和眼光都集中在具体的算法模型上面。
这固然是短期内的重要工作，但是啊如果能够持续不断的为产品提供前进的动力，才是让人工智能技术有别于之前多次技术浪潮的根本因素。
今天呢我就来为你剖析一下持续不断的系统性提升产品性能的一些关键步骤。
一个产品如果需要利用数据驱动的人工智能技术来提升品质，第一件事情一定不是专注于部署某一个模型或者算法。
或者说如果已经急迫的上线了，第一个简单的算法，接下来最重要的事情一定是停下来。
看一看，我们是否已经弄明白这个产品到底需要优化什么目标，是否有一个指标检测体系来指导我们的优化过程。
我们利用人工智能技术手段，一定要优化产品的长期目标。
这是系统性提升产品性能的一个关键。
乍一听这是一句废话，难道算法和模型还有不优化产品长期目标的时候，你心中一定有这样的疑问。
其实啊确定你所制定的技术方案，一定能够优化产品的长期目标，是一件比较困难的事情。
设想一下这些例子，比如你为一个在线视频的网站设计推荐系统，你根据很多教科书上的推荐系统案例，优化某一个视频的评分。
这是在优化这个产品的长期目标吗？比如你为一个电子商务网站设计搜索系统，你根据传统的信息检索以及搜索的案例，优化查询关键词和产品的相关度，这是在优化这个产品的长期目标吗？再比如，你为一个新闻网站设计新闻流系统，你根据产品的基本特点，希望提高新闻的点击率，是在优化这个产品的长期目标吗？针对上面这些问题，答案或许都是不确定，或者说你正在优化的，可能会也可能不会对这个产品的长期目标有影响。
这就需要我们建立一个系统性的方法论来引导我们回答这个问题。
因此，知道我们是否在优化产品的长期目标需要一个前要，那就是我们必须要建立产品的指标，检测体标。
在专栏的上一期内容里，我们已经介绍了五个层次的产品评估体系。
对于提升产品来说，建立这些层次是关键的一步。
然而，要想真正系统性的提升产品，还有一个步骤至关重要，那就是打通这五个层次，建立一个立体的产品，提升流程，从而实现优化产品的长期目标。
我们先来简单回顾一下这五个层次的指标。
从最高层次来说，第五层次的指标主要是产品的长期指标。
比如季度利润的增长、年利润月活跃人数等，这些指标和产品的最终目的息息相关，却非常难直接衡量。
也就是这些些指对产品的一般变化不是很敏感。
第四层次的指标主要是用户在多个会话的交互表现。
第三层次的指标是指用户在单一会画的交互表现。
那么这两个层次的指标比较容易在AB测试的范畴内测量。
这些指标能比较宏观的检测。
一个产品的高维度表现，了解用户一般是如何和这个产品进行交互的。
第二层次的是页面层级的指标。
那么这个时候我们观测到的基本上已经是产品团队可以直接控制的因素了。
那么第一个层次的指标是模块级别的指标，那么这是产品团队直接运作的结果。
这五个层次的指标从宏观到微观构成一个检测的体系。
如果我们要优优产品的长期目标，也就是说第五层次的指标，而我们能够直接掌握握产品交互的往往层能带来第一第二层次指标的显著变化。
那么第一个之间的差距该如何来弥补呢？那们前面举了几几例例标，比如说视频推荐产品，搜索新闻流产品等等。
之前提到的技术方案大多数直接针对第一或者第二层次的指标。
那么这些方案是不是能够对第五层次的指标奏效？其实啊是一个不确定的问题。
那么问题的核心就变成了如何在只能运作第一或者第二层次指标的情况下，对第三第四甚至第五层次的指标有间接的控制和影响呢？上面我们提到了要想持续的提高产品，最重要的就是要抑制优化产品的长期目标。
但是如果我们只能控制产品的短期指标，如何才能优化产品的长期目标呢？答案啊其实很简单，就是我们必须在所有层级的指标之间建立联系，这些联系因产品而异，但核心思想却是一致的。
回到之前的一个例子，那就是构建一个视频推荐系统。
如果我们希望直接优化用户对视频的评分，就必须回答一个问题，能够给用户推荐打高分的视频和产品的长期指标之间有什么联系。
假设这里的产品的长期指标是越活跃用户数目，那么问题就是给用户推荐打高分的视频和月活跃用户数目之间的联系是什么呢？注意啊，这里说的建立联系，不仅是逻辑联系，能，且是数据链联系。
也就是说我们不仅需要尽可能的在逻辑上理清。
为什么推荐高分视频有利于帮助越活跃用户数的增长，还需要用数据来为这样的观点提供证据，这才是最重要的一个环节。
简单说来，我们可以这么做。
首先从所有的用户群体中找到用户样本，然后通过数据来研究用户的活跃程度和被推荐的视频评分之间的关系。
从最高的维度上说，那就是建立一个回归问题。
比如用户的月活跃程度作为响应变量，被推荐视频的评分用作一个特征变量。
当然这个时候啊我们还可以引入其他的重要变量。
比如性别啊、年龄组啊、地区等等，用来排除这些因素的干扰，直接研究这两者之间的关系。
一般来说是一个有难度的工作，比如你很可能并没有那么全面的数据，也有可能这两个变量都需要做一些变形，还可能复利太多等等。
如何具体的建立这个模型，我今天先不讲，但有一点是可以肯定的那就是这样做一个分析，可以很好的帮助你了解优化对象和长期目标之间的联系。
我们不仅需要了解第一层级和第五层级指标之间的关系，每一个层级之间的关系也是需要去研究的。
第二，才能更加全面的了解自己的产品。
这一步就是把之前分散的五个层级打通的重要步骤，也就是如何建立一个立体体系的关键。
那么如果出现了这样的情况，长期运作的第一层级指标和自己长期目标没有联系，该怎么办呢？第一啊，祝贺你啊，你进入了真实的产品运作环境。
从很多产品的长期运作经验来看，很多传统的指标，特别是教科书上的指标，都和真实的长期指标有很弱的关系，甚至根本没有太大的联系。
第二，这会帮你早日抛弃错误的优化目标，转向更加正确的关系，寻找一个正确的第一第二层级的指标，让这个指标和最后第五层次的长期目标之间有正向联系，就是能够持续不断的推动产品前进的一个重要动力。
因为这个因素，产品团队才能够不断的试错，但不会失去大方向。
然而说起来貌似很容易的事情，做起来其实是很困难的。
我刚才说了，很可能有些指标看上去有一定的意义，但并不一定和长期目标有任何正相关，怎么才能找到恰当的指标呢？一个简单的方法是尽可能多的记录指标，然后根据后期的实验数据和分析来确定指标之间的联系。
回到刚才那个例子，就是说我们对于一个视频网站可以记录很多第一第二层级的指标，有可能有上百上千个。
然后我们根据数据，从这么些指标中和最终的长期目标做回归分析，建立一些备选集。
这里需要数据也需要经验。
我们还可能发现最终的长期目标和好多第一或者第二层级的指标都有关系，这也是很正常的这就说明优化长期目标是一件复杂的事情，很多短期目标和长期目标并不是只有简单的线性关系。
当确定好了第一第二层级的指标后，那就可以开始用机器学习的手段把指标当做算法模型的目标函数，从而重新设计算法，使其能够开始优化新的指标。
这一步也需要很高的机器学习技巧和丰富的经验。
因为并不是所有的指标都能很容易的转化成机器学习可以优化的对象。
今天我为你讲了人工智能工程师和数据科学家的一个高阶能力技巧，如何才能不断提升产品的品质？一起来回顾一下要点。
第一，我们要专注产品的长期目标。
最二一定要建立产品短期目标和长期目标之间的关系，从而能够在直接优化短期目标的同时，间接优化长期目标。
最后给你留一个思考题，请你认真想一想，对于我们上面举例的推荐视频网站来说有哪些？第一或者第二层级的指标和用户的活跃程度有关呢，欢迎你给我留言，和我一起讨论。