推荐系统
小红书推荐系统的基本逻辑
用户可以点击进入笔记,如果用户在笔记中停留几秒,就意味着用户不是手滑,而是真的对这篇笔记感兴趣,这将会被算作一次有效点击,有效点击就意味着用户对笔记感兴趣,这将被作为推荐系统的一个信号。接下来,用户可能会向下滑动阅读笔记,如果滑动到底更能说明用户对这篇笔记感兴趣(这个滑动到底
指的是笔记内容到底,不包含评论部分,当然,用户阅读了评论也能说明用户对这篇笔记(或内容)感兴趣)。
转化流程
不同的网站和app都会有不同的转换流程,下图是小红书的转化流程:
对于绝大多数从产品前两步都是曝光和点击(比如Youtube、BiliBili、淘宝、快手、知乎等),值得注意的是抖音不太一样,抖音没有曝光和点击。
业务指标
算法工程师优化业务系统是为了提升一些业务指标,如消费侧指标、内容侧指标、系统侧指标等。
下面简单来说一下消费侧的一些指标。
消费指标
这些指标可以反映出用户对推荐是否满意。
点击率是一个重要的消费指标,但注意不能将点击率作为唯一的优化目标,否则就会导致“骗点击”的内容泛滥。
此外,值得关注的一点是,阅读完成率中含有一个名为f(笔记长度)
的归一化函数,这个函数与笔记长度有关,这是因为笔记越长完成阅读的比例就越低,如果没有归一化函数,就会对长笔记不公平。
简单回顾一下归一化函数:
最后还有最重要的一点,这里列出的指标更准确的应该称为短期消费指标,它们都是有意义的,但它们不是衡量推荐系统好坏的根本指标,一味追求这些短期消费指标是不对的,因为如果推荐系统只看用户短期兴趣,推很多用户最近感兴趣的内容,虽然会让这些消费指标上涨,但这样的坏处是会竭泽而渔,用户很快会失去兴趣不再活跃,相反,如果把多样性做好,尝试一些用户没看过的话题,虽然这些指标不会上涨,但是有利于提高用户粘性,让用户更活跃。
北极星指标
相比短期的消费指标,衡量推荐系统好坏最重要的指标叫做北极星指标。
北极星指标意思就是最关键的指标,是衡量推荐系统好坏的根本标准
在小红书的推荐系统中,就会考察以下三个维度的北极星指标:
通常来说,点击率(属于消费指标)与时长、阅读数量(属于北极星指标)的涨跌是一致的,万一有冲突,要以北极星指标为准。
实验流程
算法工程师的工作就是对模型、特征、策略、系统做改进,从而提升业务指标。对推荐系统的改动能否最终上线要看实验结果说话。下面进行优化推荐系统的实验流程:
离线实验很容易做,因为不需要把算法部署到产品中,没有跟用户实际交互,不需要占用线上流量,也不会对系统和用户产生负面影响。离线实验的结果有参考价值,能大致反映出算法的好坏,但是离线实验没有线上实验可靠,想最终判断算法的好坏,还是要做线上实验。
比如前面提到的北极星指标,都是线上指标,只能通过线上实验获得。