增长案例丨为KEEP设计一场增长实验

解决百万运营人员推广需求关注Mrw.so短网址
增长是一个持续实验的,最科学的方法是向迭代要数据,依据数据做迭代
码人网mrw.so缩短网址文章图片
增长是一个持续实验的,最科学的方法是向迭代要数据,依据数据做迭代
码人网mrw.so缩短网址文章图片

一、前言

增长是一个持续实验的过程,就像做产品迭代,最科学的方法是向迭代要数据,依据数据做迭代;做增长亦是如此,即数据驱动增长。

策略、增长都有各自的方法论,抽象出来其实表达的是相似的意思。

通过数据发现问题→提出假设→设计方案→获得更多数据→验证假设→发现颗粒度更细的问题→提出更精准的假设。

是无数组闭环逻辑的循序渐进,根据实际达到的效果以及成本,来决定做到哪一步就可以满足目标或者需要及时止损。

每套方法论都有自己的逻辑闭环和不同的适用场景,也存在在执行时仍然存在的困惑,根据自己遇到的困惑,拆解输出的方法论理解消化后输出自己的方法论,才是最合适的做法。

码人网mrw.so缩短网址文章图片

  • 已知当前动态详情页(动态、文章、视频)的日均PV为10000

  • 已知当前动态详情页(动态、文章、视频)的关注率为5%,目标提升至6%

  • 统计显著性需要达到95%

  • 统计显著性在这里不深入展开,市面上有专门的统计工具,通过搜索引擎即可找到

    (2)实验前准备-定义指标

    (年/月/日)关注率:用户累计(年/月/日)关注数/用户(年/月/日)累计浏览内容来源其他用户数。(对一个用户生产的多条内容做去重)

    浏览:对应内容在一屏中露出60%。在页面中停留时间≥5s

    2.增长实验

    步骤1:提出实验假设

    假设1

    【如果】在社区feed流中增加关注按钮

    【预计】月关注率可以提升20%

    【因为】

    • 社区feed流是第一层级页面,跳出率最低,缩短了转化路径

    • feed流的核心目标就是吸引用户更长时间的沉浸体验。目前的关注需要在更深一层级的【添加好友】或【动态详情】中操作,某种程度上打断了用户的心流。按钮放在feed流上可以使体验更流畅

    • 用户做更多操作去关注一个用户,在潜意识上会把关注当成一个相对重的操作,将关注按钮放到feed流中,使用户不需要像在【添加好友】中筛选和在【动态详情】中查看更多内容,仅通过feed流中的一条动态便确定关注意愿,细化了关注的场景,满足了追求多样性和把关注看的不那么重的用户。也是产品需要潜移默化影响用户心智的方向

    最佳实践

    抖音feed流中可以直接关注发布者

    码人网mrw.so缩短网址文章图片

    定量分析


    • 用户在【feed流>动态详情>feed流>动态详情】(循环)路径中点击关注的数量

    • 用户在feed流中给非关注用户动态点赞后,关注该用户的数量

    假设2

    【如果】增加逻辑:点赞默认同时关注,个人中心可设置点赞是否同步关注

    【预计】月关注率可以提升30%

    【因为】

    • 与上条一样,产品需要引导用户的是不把关注看做是一个很重的操作,从而使用户更多的进行关注

    • 点赞和关注,在不同的社区运营过程中,含义的演化各不相同;可设置的点赞是否同步关注逻辑,是将选择权还给用户,满足对这两者不同理解的多种用户群体需求

    • 对于在feed流中根据一条动态便确定关注意愿的用户来说,当前需要操作三步(点赞、点击动态、关注)才能完成点赞+关注。使用假设后只需要点赞一个动作,操作多个时,指数级的降本增效

    最佳实践

    通常情况,缩短转化路径可以提升转化率。

    微博有类似的逻辑,通过内容吸引用户关注发布者。

    码人网mrw.so缩短网址文章图片


    码人网mrw.so缩短网址文章图片


    定量分析


    • 用户在【feed流>动态详情>feed流>动态详情】(循环)路径中点击关注的数量

    • 用户在feed流中给非关注用户动态点赞后,关注该用户的数量

    假设3

    【如果】为游客开放浏览社区和关注用户&话题权限。(登录后选择是否同步关注数据,根据终端同步)

    【预计】月关注率可以提升5%

    【因为】

    • 用户不需要登录即可进行浏览,缩短了转化路径

    • 但是对于一个产品来说,用户的登录代表了最基本的兴趣和信任,一直处于游客状态的用户并不会很多也不会很活跃

    最佳实践

    对于游客用户也可以使其产生粘性和沉默成本,拿出诚意,先给用户价值,寻求用户未来的登录。

    好奇心日报,未登录状态下可以做浏览、收藏、参与研究等操作。

    码人网mrw.so缩短网址文章图片

    定量分析


    • 下载量

    • 登录页UV

    • 登录用户数

    假设4

    【如果】类似微博,登录成功后,引导填写简单用户问卷(健身侧重内容),根据用户个人情况推荐关注表单。

    【预计】月关注率可以提升25%

    【因为】

    • 微博、站酷、好好住等各领域社区APP已经教育出用户习惯,比较易于接受,用户的问卷反馈可以应用于内容推荐和push等策略,带来更精准的促活

    • 但是根据keep的商业模式以及当前的一级页面C位(运动)可以很清晰的看出,KEEP的核心还是工具属性;

      因此是否提升社区的权重,需要战略层面的权衡

    最佳实践

    微博的各种引导关注&自动关注机制,需要权衡差异选择性参考。

    码人网mrw.so缩短网址文章图片

  • 用户分层:浏览内容时间与使用运动功能时间占比大于2:1的用户比例

  • 步骤2:ICE模型打分,制定优先级

    码人网mrw.so缩短网址文章图片

    定量分析

    • 用户在文章详情&动态详情中停留5s以上后,关注发布者的数量和比例

    • 用户关注发布者时在详情中停留的平均时长

    2.实验指标:

    码人网mrw.so缩短网址文章图片

  • 有关注习惯用户

  • 无特定习惯用户

  • 无关注习惯用户


  • 【有关注习惯用户】定义:关注数/活跃(进入社区)天数≥1(每活跃1天,新增1个关注)

    【无特定习惯用户】定义:0.3<关注数/活跃(进入社区)天数<1

    【无关注习惯用户】定义:关注数/活跃(进入社区)天数≤0.3

    4.实验设计-A/B测试

    (1)版本划分及原因

    3个版本

    码人网mrw.so缩短网址文章图片

  • 从策略层面细化,可以考虑27种组合(3组用户3个页面3种样式),然后评估操作成本。在案例中,仅考虑文章详情页

  • 变化幅度大的样式对应强提醒,侧重目标转化。样式例如:按钮变大50%,颜色明显变化+动效

  • 变化幅度小的样式对应弱提醒,侧重体验连贯。样式例如:按钮变大20%,颜色轻微变化

  • (该阶段的思维发散仅做思路展示,后面两个时间的计算不考虑中间涉及到的拆解用户组)

    (2)如果将文章详情的【月关注率】提升到6%

    已知当前关注率5%,目标提升至6%,统计显著性需达到95%,文章详情每日UV10000

    • 【有关注习惯用户】【无提醒】

    • 【有关注习惯用户】【弱提醒】

    • 【有关注习惯用户】【强提醒】

    • 【无特定习惯用户】【无提醒】

    • 【无特定习惯用户】【弱提醒】

    • 【无特定习惯用户】【强提醒】

    • 【无关注习惯用户】【无提醒】

    • 【无关注习惯用户】【弱提醒】

    • 【无关注习惯用户】【强提醒】

    每组流量分配

    10000/9≈1111

    剩余名额全部划分至【有关注习惯用户】【无提醒】,实验无结论前,减少对活跃用户的影响

    实验时间

    通过工具计算得出

    6900/1111≈6.2天,取整数7天

    码人网mrw.so缩短网址文章图片

    5.分析实验结果

    • 实验组:是接受实验变量处理的对象组

    • 对照组:对实验假设而言,是不接受实验变量处理的对象组

    关注点

    • 实验组和对照组的流量是否平均,是否获取到了足够的样本数

    • 实验周期是否足够长,是否受到周末、节假日影响;是否受到用户的新鲜感影响

    • 每组中是否覆盖了全部用户类型(高、中、低频)

    • 实验组的核心指标对比对照组是否提升、辅助指标是否提升或持平、反向指标是否提升造成负面影响

    • 核心指标是否达到统计显著性要求(搜索引擎中即可找到第三方统计工具)

    6.实验下一步

    开启新的循环

    -END-


    码人网mrw.so缩短网址文章图片


    一、前言

    增长是一个持续实验的过程,就像做产品迭代,最科学的方法是向迭代要数据,依据数据做迭代;做增长亦是如此,即数据驱动增长。

    策略、增长都有各自的方法论,抽象出来其实表达的是相似的意思。

    通过数据发现问题→提出假设→设计方案→获得更多数据→验证假设→发现颗粒度更细的问题→提出更精准的假设。

    是无数组闭环逻辑的循序渐进,根据实际达到的效果以及成本,来决定做到哪一步就可以满足目标或者需要及时止损。

    每套方法论都有自己的逻辑闭环和不同的适用场景,也存在在执行时仍然存在的困惑,根据自己遇到的困惑,拆解输出的方法论理解消化后输出自己的方法论,才是最合适的做法。

    码人网mrw.so缩短网址文章图片

  • 已知当前动态详情页(动态、文章、视频)的日均PV为10000

  • 已知当前动态详情页(动态、文章、视频)的关注率为5%,目标提升至6%

  • 统计显著性需要达到95%

  • 统计显著性在这里不深入展开,市面上有专门的统计工具,通过搜索引擎即可找到

    (2)实验前准备-定义指标

    (年/月/日)关注率:用户累计(年/月/日)关注数/用户(年/月/日)累计浏览内容来源其他用户数。(对一个用户生产的多条内容做去重)

    浏览:对应内容在一屏中露出60%。在页面中停留时间≥5s

    2.增长实验

    步骤1:提出实验假设

    假设1

    【如果】在社区feed流中增加关注按钮

    【预计】月关注率可以提升20%

    【因为】

    • 社区feed流是第一层级页面,跳出率最低,缩短了转化路径

    • feed流的核心目标就是吸引用户更长时间的沉浸体验。目前的关注需要在更深一层级的【添加好友】或【动态详情】中操作,某种程度上打断了用户的心流。按钮放在feed流上可以使体验更流畅

    • 用户做更多操作去关注一个用户,在潜意识上会把关注当成一个相对重的操作,将关注按钮放到feed流中,使用户不需要像在【添加好友】中筛选和在【动态详情】中查看更多内容,仅通过feed流中的一条动态便确定关注意愿,细化了关注的场景,满足了追求多样性和把关注看的不那么重的用户。也是产品需要潜移默化影响用户心智的方向

    最佳实践

    抖音feed流中可以直接关注发布者

    码人网mrw.so缩短网址文章图片

    定量分析


    • 用户在【feed流>动态详情>feed流>动态详情】(循环)路径中点击关注的数量

    • 用户在feed流中给非关注用户动态点赞后,关注该用户的数量

    假设2

    【如果】增加逻辑:点赞默认同时关注,个人中心可设置点赞是否同步关注

    【预计】月关注率可以提升30%

    【因为】

    • 与上条一样,产品需要引导用户的是不把关注看做是一个很重的操作,从而使用户更多的进行关注

    • 点赞和关注,在不同的社区运营过程中,含义的演化各不相同;可设置的点赞是否同步关注逻辑,是将选择权还给用户,满足对这两者不同理解的多种用户群体需求

    • 对于在feed流中根据一条动态便确定关注意愿的用户来说,当前需要操作三步(点赞、点击动态、关注)才能完成点赞+关注。使用假设后只需要点赞一个动作,操作多个时,指数级的降本增效

    最佳实践

    通常情况,缩短转化路径可以提升转化率。

    微博有类似的逻辑,通过内容吸引用户关注发布者。

    码人网mrw.so缩短网址文章图片


    码人网mrw.so缩短网址文章图片


    定量分析


    • 用户在【feed流>动态详情>feed流>动态详情】(循环)路径中点击关注的数量

    • 用户在feed流中给非关注用户动态点赞后,关注该用户的数量

    假设3

    【如果】为游客开放浏览社区和关注用户&话题权限。(登录后选择是否同步关注数据,根据终端同步)

    【预计】月关注率可以提升5%

    【因为】

    • 用户不需要登录即可进行浏览,缩短了转化路径

    • 但是对于一个产品来说,用户的登录代表了最基本的兴趣和信任,一直处于游客状态的用户并不会很多也不会很活跃

    最佳实践

    对于游客用户也可以使其产生粘性和沉默成本,拿出诚意,先给用户价值,寻求用户未来的登录。

    好奇心日报,未登录状态下可以做浏览、收藏、参与研究等操作。

    码人网mrw.so缩短网址文章图片

    定量分析


    • 下载量

    • 登录页UV

    • 登录用户数

    假设4

    【如果】类似微博,登录成功后,引导填写简单用户问卷(健身侧重内容),根据用户个人情况推荐关注表单。

    【预计】月关注率可以提升25%

    【因为】

    • 微博、站酷、好好住等各领域社区APP已经教育出用户习惯,比较易于接受,用户的问卷反馈可以应用于内容推荐和push等策略,带来更精准的促活

    • 但是根据keep的商业模式以及当前的一级页面C位(运动)可以很清晰的看出,KEEP的核心还是工具属性;

      因此是否提升社区的权重,需要战略层面的权衡

    最佳实践

    微博的各种引导关注&自动关注机制,需要权衡差异选择性参考。

    码人网mrw.so缩短网址文章图片

  • 用户分层:浏览内容时间与使用运动功能时间占比大于2:1的用户比例

  • 步骤2:ICE模型打分,制定优先级

    码人网mrw.so缩短网址文章图片

    定量分析

    • 用户在文章详情&动态详情中停留5s以上后,关注发布者的数量和比例

    • 用户关注发布者时在详情中停留的平均时长

    2.实验指标:

    码人网mrw.so缩短网址文章图片

  • 有关注习惯用户

  • 无特定习惯用户

  • 无关注习惯用户


  • 【有关注习惯用户】定义:关注数/活跃(进入社区)天数≥1(每活跃1天,新增1个关注)

    【无特定习惯用户】定义:0.3<关注数/活跃(进入社区)天数<1

    【无关注习惯用户】定义:关注数/活跃(进入社区)天数≤0.3

    4.实验设计-A/B测试

    (1)版本划分及原因

    3个版本

    码人网mrw.so缩短网址文章图片

  • 从策略层面细化,可以考虑27种组合(3组用户3个页面3种样式),然后评估操作成本。在案例中,仅考虑文章详情页

  • 变化幅度大的样式对应强提醒,侧重目标转化。样式例如:按钮变大50%,颜色明显变化+动效

  • 变化幅度小的样式对应弱提醒,侧重体验连贯。样式例如:按钮变大20%,颜色轻微变化

  • (该阶段的思维发散仅做思路展示,后面两个时间的计算不考虑中间涉及到的拆解用户组)

    (2)如果将文章详情的【月关注率】提升到6%

    已知当前关注率5%,目标提升至6%,统计显著性需达到95%,文章详情每日UV10000

    • 【有关注习惯用户】【无提醒】

    • 【有关注习惯用户】【弱提醒】

    • 【有关注习惯用户】【强提醒】

    • 【无特定习惯用户】【无提醒】

    • 【无特定习惯用户】【弱提醒】

    • 【无特定习惯用户】【强提醒】

    • 【无关注习惯用户】【无提醒】

    • 【无关注习惯用户】【弱提醒】

    • 【无关注习惯用户】【强提醒】

    每组流量分配

    10000/9≈1111

    剩余名额全部划分至【有关注习惯用户】【无提醒】,实验无结论前,减少对活跃用户的影响

    实验时间

    通过工具计算得出

    6900/1111≈6.2天,取整数7天

    码人网mrw.so缩短网址文章图片

    5.分析实验结果

    • 实验组:是接受实验变量处理的对象组

    • 对照组:对实验假设而言,是不接受实验变量处理的对象组

    关注点

    • 实验组和对照组的流量是否平均,是否获取到了足够的样本数

    • 实验周期是否足够长,是否受到周末、节假日影响;是否受到用户的新鲜感影响

    • 每组中是否覆盖了全部用户类型(高、中、低频)

    • 实验组的核心指标对比对照组是否提升、辅助指标是否提升或持平、反向指标是否提升造成负面影响

    • 核心指标是否达到统计显著性要求(搜索引擎中即可找到第三方统计工具)

    6.实验下一步

    开启新的循环

    -END-


    码人网mrw.so缩短网址文章图片


    解决百万运营人员推广需求关注Mrw.so短网址