防治“虚假种草”,小红书技术团队干了这几件大事

人工智能 算法
为了深入了解刷量的本质,我们探访了一批专门从事刷量产业链的公司,下面是对其中三家及实现手段的介绍。

本文主要聚焦社区及电商风控在小红书的最佳实践领域——刷量治理。

作为一个内容社区,小红书月活用户数自2021年10月突破2亿后一直稳步增长。围绕不断累积的UGC内容资产,小红书正在成为越来越多用户的多元生活方式聚集地。这些都让小红书成为了刷量黑产的目标。

从用户维度来看,安全在内容平台上要解决两个问题:保证用户的信息在网络上是安全的,以及保障用户在网络上获取的信息是真实的

刷量,作为社区及交易中常见的作弊手段,会导致用户获取的信息不真实。通过刷量这种方式所获得的无论是笔记阅读、点赞、评论等社区流量,或是商品浏览、销量等电商数据,都会瓦解我们的内容安全,影响用户对平台的信赖。

一、走进黑产了解刷量的实现

1.1 什么是刷量?

初级的理解,刷量可以理解为数据造假,例如使用作弊手段获得虚假的点赞、收藏等数据,以此来谋得更高的商业价值。在电商场景中的刷量更多集中在商家维度,例如聘请刷单用户并利用虚假物流构造交易,虚构高GMV。

为了深入了解刷量的本质,我们探访了一批专门从事刷量产业链的公司,下面是对其中三家及实现手段的介绍:

1.1.1 群控刷量公司

这家公司是做刷量服务的,主要基于机器的群控设备去刷量,包含越狱机和正常iPhone。他们利用了苹果的安全机制,比如苹果手机的镜像打包:把整个手机中包含用户登陆态的客户端进行打包后存储成一个文件,再把这些文件存储在沙箱环境里。基于此方法,利用单台手机还原出批量沙箱环境和帐号,实现不错的群控效果。

图片

1.1.2 养号引流公司

这是一家通过引流售卖高仿衣服的电商公司。主要的做法是通过虚拟的厅卡注册账号后养号。当使用的账号被标黑后,它需要打通附近线下二手手机店,以较低的价格(5-10元)进行标黑手机的置换。在拿到全新的设备后,雇佣一批真人,注册账号后持续做内容的发布和运营。最后做品牌导流并获取报酬。据了解,一个号可以引流几十万的gmv,考虑到号的数量,这家公司的收益相当可观。


图片


1.1.3 众包刷量公司

众包黑产通常有专业的机构,在各大平台上寻找任务并招揽人力做兼职,兼职人员用自己的账号完成任务即可获取报酬。

图片

1.2 刷量的重新定义

刷粉刷赞就是刷量吗?是,但并不完全,我们要从更高的角度理解刷量。

在小红书的社区环境中,我们把用户分为两类:内容发布者和内容消费者。内容发布者负责生产,向消费者提供优质的内容。而内容消费者,相对地,支付时间成本、机会成本、信息成本、情感成本以及所浏览内容中包含的信息价值。换言之,发布者和消费者实际上是在做一种类交易行为,内容平台就是一个市场经济平台。有了市场,就要有流通的货币。在内容社区中,货币就是阅读量、点赞、收藏、评论数等这些可以被衡量的单位。


图片


在这样的类比下,刷量相当于做假币的行为,虚假内容发布类比于假货,会导致整体市场的通货膨胀。这些代币虽然存在于二级市场(社区),但最终会和一级市场做交易(电商,广告),实现流量变现。对小红书来说,刷量等同于假币,需要不遗余力的治理

二、风控面临的挑战

既然已经定性为假币,为何刷量仍然长期存在呢?这里就必须要提到反作弊面临的几个挑战:识别难、治理难、巩固难

2.1 识别难

识别难可以总结为三个部分:终端不可控、AI对AI、真人对真人

2.1.1 终端不可控

在社区刷量的场景当中,终端实际上是不可控的,对抗人员很难去判断客户端到底是一个正常用户还是一个黑产。理论上讲,通信方式不可信,就没有办法做到可信。

我们曾经尝试逆向了某个接口协议攻击的工具,拆解了里面的代码,通过破解签名算法伪装成我们的客户端向服务器发送请求。这是目前最容易的一种,其他方式更加难以管控。

图片

(*协议攻击)

2.1.2 AI对AI 

尽管风控在不断的提升且已大规模地使用AI 计算的方式来进行对抗,但我们的对手也在不断攻破升级。

以黑灰产的群控手段为例。利用三方授权的漏洞,在公共平台生成批量三方帐号,利用三方账号完成小红书帐号的注册。再通过UI的自动脚本点击工具去控制点击和按键,在手机上进行操作,来批量刷赞藏粉。目前盛行的手段是用4G手机/EC20的芯片,做混杂攻击来规避我们对于黑IP的识别。

图片

AI智能化在风控中的推动速度是缓慢的。原因是AI算法擅长解决的是一阶问题,例如一个图片是否包含支付二维码。然而实际场景中,我们要判断的是这个聊天内容是否带有风险。站在人的角度,经常联系的好友间发出的支付二维码没有风险,但是刚聊天不久的陌生人之间发送支付二维码就是高风险的行为。这里的风险取决于支付二维码+陌生人聊天这两阶信息的聚合。相对人,AI很难自动的判断这两阶维度的聚合识别,所以需要人的大量介入。

2.1.3 真人对真人

通过线上群聊、线下小任务、甚至通过正规的招聘渠道招募人员,这些人混迹在真实用户中且存在真实的正常行为。到了某个时间会收钱做刷量的事情,这让整个识别变得异常复杂。

图片

2.2 治理难

在小红书平台上,内容社区分K(博主),B(品牌/商家),MCN机构(中介),C端(普通用户)。长久困扰我们的问题是,到底是谁为了利益去做了刷量这个行为,是K端、B端、MCN端还是C端?而这个人在当下的行为是好的还是坏的?在治理的同时,又该如何去避免误伤?

真实的情况是,每个端都有可能参与刷量。品牌发布营销的需求后,MCN接受任务并分发给各大平台的K,让K发布相关笔记吸引用户,最后达到营销推广的目的。这个流程中,MCN为了完成品牌侧的曝光要求获得盈利,有动力刷量。相同地,K为了完成MCN发布的任务,弥补自身流量不足的问题,也有动力刷量。品牌侧不同角色例如运营侧,为了完成公司的任务,也可能刷量。而部分竞对,为了陷害同行,也会聚集C端用户到笔记下刷量,导致风控判罚博主和笔记。

更麻烦的是,大量的真人会混杂在整个群体内,很难准确的区分刷量行为。即便可以辨别,如何判断这个人当下的行为是否正常?这里面会有召回和误伤的问题,既要保障完整的召回,又不能误伤批量的用户,影响业务的顺利运行。

同时平台的冷启动也是一个需要解决的问题。例如新的小商家为何刷量,因为初期小商家在物流,货品质量和价格的把控上本身就劣于大商家。即便用户偶然搜到新商家的商品,销量为0,买家不信任,最后仍然失去成交机会。这也是小商家产生了刷量需求。

2.3 巩固难

任何安全的运营,最终都会落入到投入产出比的问题。在内容刷量的场景中,由于没有直接的收益计算,较难衡量风控投入的ROI收益。

第二个难点是防控效果的衡量。前面我们讲到了CTR,那是否CTR的值足以判断风控的效果?答案是否定的。防控的结果会涉及多个维度。在我们治理的刷量案例中,有很多一部分的作弊刷量来自于真人众包,是以用户的维度还是异常行为的数量来评判防控的效果?刷量的治理,是人与人的对抗,风控限制和治理一种方式之后,对手又会用新的手段和技术开启下一轮的攻击,所以防控的效果是在不断波动的,我们需要持续去进行对抗。

三、小红书的治理实践

小红书是一个真诚分享、友好互动的平台。对我们来说,比技术能力更为重要的是平台的态度。这也代表了我们对刷量行为的态度是严厉打击零容忍的。

在安全技术部内部,我们提出了三个解决方向,分别是:风控基础设施引擎化,风控对抗流程化,和风控识别智能化

3.1 风控基础设施引擎化

国内统计的黑产从业人员有150万,远远超出我们风控技术团队,如何以小规模对抗整个产业链呢?我们提出的方案快速迭代易试错,风控基础设施引擎化,将工程引擎与整个前后上下游链路打通,提高整体的风控对抗效率。这里的风控引擎,不单指在一个独立的节点部署策略,还包括整个链路的信息接入,并利用上下游信息识别风险

以近线平台为例,我们将现有的准实时任务进行了高度的抽象化,使用户能在短时间通过组装任务的方式快速上线规则,进而提高效率。该平台的引擎能力能够在后台结合多数据源和历史数据在相对准实时的情况下给出风控识别结果,同时结合行为序列分析、图分析和算法模型,提升风控能力实效性。

近线平台补足了单条规则识别的局限性,与原风控实时体系融合,同时又是其他防控手段的有效补充。近线平台支持综合处理数据、事件的能力,也支持多源数据接入,具备灵活的数据处理能力,更为重要的是提供可支持算法、策略同学自定义数据处理逻辑的功能。在流程工程化的同时,释放人力、提高准确性。

下图为近线系统的整体体系及架构:

图片


图片

从设备激活->账号注册\登录-> 笔记/商城浏览 ->交互->内容发布/购买商品等,目前我们已覆盖了用户全场景行为,在获取业务数据后,将实时请求、准实时流式、及离线数据接入风控引擎,实现多场景层面联防联,对所取到的身份特征、网络环境、时序特征、累计因子等做加工挖掘,输入至决策分析层。除此之外,实现识别能力的迁移,将新识别到的风险点沉淀后复用至其他风险场景。

除了风控引擎,通用业务网关侧(edith2.0)也做了统一, 整体提高新业务的接入效率和稳定性,实现业务的分钟级接入。

图片

图片

3.2 风控对抗流程化

业务风控最大的难点是对抗,无论作弊变成何种形式,唯一不变且一直存在的就是对抗。一个标准化的流程也许并不能保障立刻得到最优方案,但是可以帮助我们分析问题、暴露问题,建立起有反馈的正向迭代链路,提高我们的效率。

由情报技术所驱动的运营沉淀能力在小红书风控团队中已逐渐形成一个可行的流程体系在不断运作。整个流程可以分为五个步骤:风险感知、能力建设、风险识别、风险处置、效果评估

图片

图片

风险感知:依赖指标体系更快发现风险,变被动救火为主动防御,驱动能力建设以及后续流程。

能力建设:建立面向对抗的快速响应能力,快速接入可灵活配置的风控系统。

风险识别:提高识别准召,建立特征体系,对作弊特征进行挖掘,并能对缺失能力进行需求反馈。

风险处置:选择更有效的方式降低对抗成本,对行为的拦截、对笔记的限流以及用户的处置,并能对策略迭代形成有效反馈。

效果评估:同样依赖指标体系,评估风险水位的变化,如作弊漏过、黑产服务价格、账号价格等,同时能够进行误杀和漏过反馈。

在发现一个新的情报或感知到一个新的作弊攻击后,依照这个流程进行运作,并从过程中分析判断是哪里出了问题:是情报发现不够多,还是情报转化成识别不够快,或者是识别处置召回不足

以情报运营中的买量分析为例,通过情报或者价格波动发现黑产服务后进行采买测试,进而分析手法并选择合适的策略或模型进行识别、处置,而对于效果的评估需要通过二次采买或者对黑产价格的持续监控,当对识别处置的反馈均已落实且效果评估达标之后,当前流程才算结束。

3.3 风控识别智能化

在对抗的级别以及防控的力度上,风控智能化识别的环节大体上可以分为三个阶段:第一个阶段,针对黑产的低成本机器手法,基于行为主体的特征进行分析判断;第二个阶段,在与黑产的高频对抗中,基于群体的特征进行团伙挖掘;第三个阶段,在真人刷量的识别中,依据刷量社群的关联关系,基于图的算法来做主体关系的发现。目前这三个阶段已经在小红书落地,进行了实践。

图片

3.3.1 行为主体特征分析

流量数据作为表现形式,其基本组成是用户的每一条互动行为,风控也正是基于行为的特征进行分析识别。在识别的过程中,行为特征的质量直接关系着对于黑产刷量的识别召回,因此数据特征的建设尤为重要。“磨刀不误砍柴工”,在这一阶段,我们建立了一套基于行为主体的用户、设备等的特征体系,为风控智能化识别奠定了基石。

图片

黑产的目的是以最低的成本完成刷量任务,在这一阶段,黑产往往利用机器手段进行自动或半自动的批量刷量,不仅成本低,而且效率高。我们的基本假设是:在进行机器刷量时,机器账号或者设备上必然存在明确的、可解释的异常特征。因此如何分析识别出异常特征是风控第一阶段需要解的命题。在识别分工上,我们实行端+云的防控模式,端防设计合理的设备上报、检测方法,完成对设备的初步防控,云防基于用户特征、设备特征和行为特征对行为进行异常分析识别。

以协议接口请求为例,黑产通过破解平台的签名算法直接请求后端接口,不需要真实设备就能完成刷量,是黑产常用的成本最低且最高效的刷量手段。没有真实设备的同时也导致了没有真实的前端打点和设备上报,即便是伪造了设备信息,设备上报信息的字段和设备环境也无法有效伪造成和正常设备一样。

除了通过对相关特征参数的校验,对环境异常的识别进行识别防控之外,我们还依赖全面的特征体系和沉淀的黑产刷量样本等建立了有监督的识别模型。在整个模型当中,特征工程是保证模型召回的重要环节,而模型结果的处理环节是准确率的保障

图片

特征工程:在特征工程中,我们分为两部分顺序进行。

  • 特征选择:经过前期不断地“人工对抗”,我们积累了丰富的特征对抗经验,从黑产刷量手法角度出发选择了全面的特征、标签,如设备内核版本、农场标签,改机字段、注册时长、批量注册标签等。
  • 特征处理:在特征处理时,对离散特征和连续特征分别标准化处理之后进行LabelEncoder,并对表征结果尝试了不同的拼接方法,将散乱的特征数据转化为多维的模型输入。

结果处理:在设计上,我们训练了回归模型作为infer,即输入值为连续的分值,相比于分类模型在结果的处理上更加灵活。

  • 样本分布:通过分析真实刷量样本的模型结果分布,半自动化的计算出了“合适”的阈值作为区分黑产和真实行为的标准。
  • 运营评估:在模型上线之前,风控运营会对端到端的结果进行准确性评估,只有评估的准确率达到标准,模型才能上线识别。

3.3.2 群体特征挖掘

正如前文提到,对抗是一直存在的。当黑产发现低成本的机器手法绕不过风控的校验时,会不断地尝试使用真机、伪造设备参数、使用作弊工具等对抗手法,并进行手法升级,淘汰低成本手法。而在不断的对抗中,第一阶段的主体特征分析就显得相对被动,无法进行主动防控。

从风控的角度出发,在这一阶段我们的基本假设是:黑产无论如何伪造、绕过,其团伙性质仍然无法改变,数据特征上一定存在着相似和聚集。因此在这个阶段,以团伙为识别目标对群体特征进行挖掘,利用结构化数据特征体系,是需要建立起的第二道防线。

以不断变换手法的机器刷量为例,黑产的手法逐渐由协议接口转化为改机群控,并演化为自动化点击工具。为了主动防控,我们通过设备聚类模型进行识别召回,对以上机器手法均完成了有效的遏制。

设备聚类模型以设备基础信息(如设备型号、app版本、系统内核等)为特征,对同笔记或同博主下交互用户的设备基础信息进行特征工程与相似度计算,通过聚类算法圈定相似度高的设备群体。识别后一方面记录黑设备并进行后续行为拦截,另一方面输出黑设备群体的设备标签扩充设备黑库。该模型属于无监督模型,能够很好地适应黑产频繁变换作弊手法的特点,同时也能对线上策略作补充并扩召回。

以下为模型流程图和聚类识别案例:

图片

图片

在整个模型中,我们依赖特征工程和簇筛选对黑产设备进行高召回高准确的聚类:

  • 特征工程:在第一阶段,我们建立了一套全面、高复用的特征体系,在这个阶段我们通过分析团伙设备的特征,选择了合适的20~30维的设备特征作为输入,从数据源上保证了模型的召回。
  • 簇筛选:在不断的风控对抗中,我们沉淀了足够的设备标签和设备黑库,在聚类模型的输出结果筛选上,这部分黑设备作为种子用于计算聚类簇中黑产浓度,从而筛选出准确且高召回的设备簇。

3.3.3 基于图的主体发现

如前文所提到的挑战,刷量的手法会逐渐演变为真人对真人,当黑产发现机器手法绕不过风控时,会选择招聘众包或者组织互刷的方式,尝试以真人行为进行刷量。虽然都是真人行为,但本质都是缺乏真实意愿,属于“假币”。真人行为不仅主体特征分析无法发现异常,在设备上也无法发现群体性。

由于刷量行为的特殊性,我们的合理假设是:无论如何改变手法,刷量行为的最终指向都是买量的主体,只要存在主体相关性,就能通过数据特征对行为进行识别召回。在这一阶段,小红书依赖特有的社区、电商行为图以及刷量、刷单图对一组行为主体进行主动发现挖掘,通过实体关联并利用图算法对真人作弊用户或者正在养号的用户进行召回,能够有效的发现“漏网之鱼”。

图片


*图1:正常用户点赞笔记的关联图

(红点为笔记,蓝点为用户)

图片


*图2:作弊用户点赞笔记的关联图

(红点为笔记,蓝点为用户)


图1:7位正常用户点赞的笔记中,仅有一篇笔记存在重叠,即中间红点的笔记。

图2:9位作弊用户点赞的笔记为同一批笔记,点赞笔记高度重叠且未点赞过非这批笔记以外的其他笔记。

上图为用户和笔记的行为关联图(红色为笔记、蓝色为用户),图1为正常用户点赞正常笔记的行为关联关系,可以发现行为用户的群体关联性低,不会大量点赞同一群笔记,但存在因为“爱好”被系统推荐同类型的笔记造成偶尔的重叠。而图2中的行为用户点赞同一批作弊笔记,具有较强的社区关联性,是典型的作弊用户点赞作弊笔记的行为关联图。

以“开车”互刷为例,即黑产接到刷量任务之后充当组织者、中间商的身份,对经常参与互刷(例如互赞)的人群发布任务,对指定目标进行刷量。黑产不会只发布一条任务,行为用户也不会只做一条任务,这二者之间存在相对固定的“圈子”。对于这类作弊方式,我们通过标签传播模型对社群用户进行了批量召回。

标签传播模型是基于风控图对种子用户进行扩散传播,种子用户来源于风控识别沉淀的刷量用户,关联主体为买量笔记、买量博主等,以风控图中的点边关联关系进行传播。用真人来进行刷量,设备、账号是有限的,为了能够达到刷量的目的,行为用户会启用小号重复接多个任务。标签传播的目的就是通过正确的路径将刷量标签传播给社群中的其他刷量用户,完成对刷量的识别召回。 

  • 传播路径:用户标签会经过设备、三方账号等强路径进行传播,也会经过以买量主体如笔记、作者等的关联路径进行传播。
  • 用户标签:由于是刷量用户是真人,通过标签传播给用户赋予的标签往往无法直接进行行为拦截,因此基于对真人刷量的基本假设,我们对买量主体下的标签进行了聚集性分析,从而识别出买量主体和刷量用户。

四、跳出技术思维解决问题

以上主要是基于技术来解决问题,但在实际的工作中,我们还需要跳出技术视角,从一个更为宏观的角度来助力业务,完善安全。基于这个目的,在深挖钻研技术的同时,我们沉淀出了一套可落地且有效的方法论:从消除麻烦的影响入手,到解决掉制造麻烦的人,最终消除引起麻烦的动机


图片


解决麻烦的三点论

消除麻烦影响

在通过技术手段识别出刷量的作弊对象和数据后,进行实际的治理、处置动作,把虚假流量从平台中屏蔽掉。

解决制造麻烦的人

打击处于这个产业链中的人以及每一个环节,包括帐号的交易、平台数据的交易、交易的人等。这里我们采用了风控与法务等部门联合作战的方式,解决麻烦的制造者。今年6-8月,对6家存在刷量行为的MCN和部分作者进行了严厉的处罚,并对其发起了诉讼。

电商场景中,刷单的商家主要是为了引流并实现更高的GMV。被识别出的商家账号会交由运营同学进行专业的判断,并根据恶劣程度交由规则侧进行处罚;而行为恶劣的用户则会被放入黑名单,由风控对其下单行为进行限制。

解决制造麻烦的动机

社区场景中买量者的目的是希望通过作弊方式实现他的商业价值,而我们要做的就是降低这部分用户或者机构的商业价值。风控联合生态及运营部门根据平台规则、法律法规等对作弊流量进行处罚。经过持续不断的打击,黑产账号成本变高,刷量服务价格持续上涨,点赞、收藏单价已经上涨超过300%,买量用户的作弊意愿也在逐步降低。

2022年至今,小红书累计清理作弊点赞行为31亿次,可以看到,对于刷量这件事情,平台的态度始终是非常坚决的。

(本文作者:小红书安全技术部  陆逊  时影  王马  叶峰  石昊  老皮)

责任编辑:庞桂玉 来源: 小红书技术REDtech
相关推荐

2018-03-02 09:25:23

IT编程机器学习阿里巴巴

2022-11-11 17:14:42

深度学习

2024-08-02 14:56:00

2022-11-16 22:30:06

大数据

2022-06-08 18:02:33

云计算

2021-02-27 11:03:26

算法职责ICBU

2024-01-12 21:18:22

负样本大模型蒸馏

2020-09-30 10:25:38

IT工具技术

2019-01-22 15:34:07

挖矿拼多多IT

2022-05-10 08:27:15

小红书FlinkK8s

2013-11-26 09:27:11

4G牌照4G预测

2019-03-12 13:45:06

华为云

2023-09-07 10:45:38

ChatGPTAI

2021-08-17 08:11:21

勒索软件攻击数据泄露

2024-03-19 13:29:19

2022-10-19 12:12:20

电商小红书

2016-01-20 14:10:28

戴尔云计算

2024-10-10 08:19:50

2024-09-26 14:54:31

点赞
收藏

51CTO技术栈公众号