[前沿理论][用户体验]

封面用研整编文章

不同的产品形态，重点关注的指标也不相同。当前新闻资讯领域内，聊天机器人的产品形态正火，针对这样的产品，我们整合了相应的重点跟踪指标。

BotAnalytics的联合创始人İlker Köksal在计算整理后得出结论：40%的聊天机器人用户只会参与一次会话。这表明，开发聊天机器人的企业需要投入更多精力来研究测量指标，跟踪其性能，争取在有限的交互机会中，挖掘更多的服务空间，提升产品体验，为用户创造价值。

传统指标和分析工具，比如每日活跃用户数（DAU），谷歌的Analytics 或 Mixpanel，它们很适合跟踪网站和移动应用的表现，但聊天机器人独特的会话特点需要从不同的角度来审视。

传统的指标甚至可能产生误导。例如，会话时长通常被用作是网站和APP上用户参与度的重要指标，然而，许多聊天机器人是助手型的，它像是一个内嵌的的功能性快捷方式，会话时长的增加可能意味着用户混乱或会话效率低下。

随着人气暴涨的聊天机器人的普及，开发者已经收集到足够的数据来确定它是否在正常运转。像Dashbot和Botanalytics这样的分析公司已经推送了近1亿条信息，并对哪些指标是最有用的进行了概述。其平台上的开发者尝试了数十个新措施来改进机器人。

下面是我们所研究的十个聊天机器人指标。

1：有效用户数

有效用户数是最重要的，如果样本不够大，如下所有数字都将不会如您所愿的相关或有意义。因此，为了保证所有指标的有效性，您首先要关注到达的的有效用户数。

做一个简单的对比，如果您的机器人与1,000个或更多用户进行了互动，那么您可以使用的样本大小相对合适，而假如您只有10位用户，那您的样本量就显得不可信，也说明您的聊天机器人还有很多地方尚需完善。

2：活跃用户数、参与用户数

活跃用户与参与用户之间的主要区别在于，只要使用机器人并阅读机器人发送的信息的用户，就是活跃用户，而参与用户则会响应机器人，发出请求或询问。

其中，用户参与时发出的消息反映了他们对机器人表现的期望，模拟他们的心理模型，通常能促进参与度的提高。

用这两个指标区分用户的参与度非常重要，因为您可以从不断参与的用户中学到很多东西。他们的反馈将为机器学习提供素材，也为您调整策略提供帮助，以便更好地服务这些深度参与的用户。

3：会话时长（均值、分布）

一旦确认机器人与足够的用户进行了互动，您就可以开始查看基本的统计信息，这将给您提供一个基本的使用概况。 其中，平均会话时长是一个很好的衡量指标，但您必须将其落地在具体的行业和场景上。

例如，一些聊天机器人是为了回答问题和服务客户而设计的，在这种情况下，会话时长应该要短。 相对的，处理订单或讲故事的机器人，应该让用户停留更长的时间，参与更多有意义的交互。

而会话时长的均值和分布情况，则可以反映用户会话时长的不同侧面，为决策提供更丰富的参考。

4：每个用户的会话数量（均值、分布、时序）

40%的聊天机器人用户只会参与一次会话，这可能说明，对于用户正在寻找的答案，它并没有给到。关注每个用户的会话数量是非常重要的，因为它能表明您的机器人是否在正常工作。

进一步看一下用户与机器人的对话，我们至少可以确定哪些问题是无法解决的。同时，您也应该关注那些进行了多次会话的用户，以便了解机器人是什么地方做得好，让用户能够多次前来使用。 然后，您可以基于此画下蓝图，优化策略，提高此类型会话出现的概率，以让更多的用户进行多次会话。

同时，您也要关注用户会话数量随时间的波动，这可以帮助您了解到机器人潜在的缺陷，找到问题点并解决它们。

5：每个用户的交互次数（均值、分布、时序）

机器人性能的另一个重要指标是每个用户的交互次数。 这个指标类似于会话时长，不同类型的机器人对应的交互次数也不同。

如果您的机器人的主要目的是销售，交互次数多可能意味着客户很感兴趣，并且，如果客户询问了许多有关产品的问题，这就很容易促成真实的购买行为。另一方面，针对客户服务型的机器人，如果交互次数过多，则可能意味着服务效率低，用户没能快速获得答案。

6：会话步骤（对话回合）

这又是一个因人而异的指标，会话步骤的合理数量取决于机器人的目的。如果您的机器人服务于简短直接的对话，那么步骤应该尽可能少。 另一方面，如果您希望机器人能与观众建立有意义的连接，更多的步骤可能更好。

“每一个开发者都需要知道它们的平均会话步骤”，Köksal说。助手型聊天机器人比娱乐型聊天机器人的平均会话步骤少。但是，不管聊天机器人是什么类型，对话回合数大大超过或低于平均数量，通常都表明这是一次糟糕的用户体验。用户放弃得太快或机器人花了太长的时间来完成用户目标，都是典型失败的用户体验。

7：点击率（CTR）

虽然CTR不是当前的主要指标，但它无疑将成为未来需要注意的重要因素之一。同样的，不同的业务模式下，应该关注不同的点击率指标。

8：混乱触发器

您不仅应该考虑用户的反应，还要考虑到在遇到困难任务和请求时，机器人的行为。

由于用户的沟通方式多种多样，所以机器人常常因不同的表达方式而感到困惑，甚至误解用户的意思。很可能会出现类似于“我不明白”、“听不懂”等回应。 因此，请关注触发机器人混乱状态的次数，并分析每个案例中的对话内容，制定相应的策略，以降低混乱触发的比例，让您的机器人看起来更聪明。

通过密切关注混乱情况，您甚至能捕捉到原本可能会错过的问题。例如，输入同样的内容，但可能因为输入方式的不同（打字/语音/快速按钮），而导致机器人出现困惑。

需要人为干预时，跟踪混乱率也有助于任务分流。正如糟糕的客服会毁掉您的品牌口碑，糟糕的聊天机器人也会带来同样的问题。因此，在高风险的情况下，我们要着重改善机器人的表现，并培训员工进行人为介入。这可以大幅降低客户流失率，并为您挖掘用户真实需求提供宝贵的机会。

9：响应时间

毫无疑问的，用户需要快速响应。即使大多数机器人的响应都需要耗费一点时间，您也要确保您的机器人没有意外掉链子。（如果能在响应时间上做到出类拔萃，当然最好。） 

为此，您可以进行针对性的测试，或者简单地，您只需与机器人进行自然交互，看看响应所需的时间是否在可接受范围内。

10：留存率

针对这个指标，您也应该根据具体的应用场景，来关注不同的留存率指标。每个会话的生命周期与机器人的留存周期，都因人而异。

如果您的机器人提供每日更新的内容，则需要关注1至3天的留存率。 如果您的机器人帮助用户下订单，则希望他们保持参与度，至少直到产品签收为止。

最后......

找到正确的衡量指标，是开发一款成功的机器人的关键。关注以上我们提到的指标，细分用户，优化您的机器人，提供最佳的用户体验，提高长期使用率和用户参与度，让机器人能够更好地为您的品牌和产品口碑提供帮助。