2025年6月12日,小红书在北京举办了打击“虚假”治理开放日活动,届时,财视传媒受邀来到了活动现场。活动中,小红书虚假内容治理负责人蒂法与小红书黑灰产治理负责人必行,分别就大家关心的多个问题进行的分享。
据蒂法分享,2025年上半年小红书打击了320万的虚假笔记、1万的虚假人设账号、以及60万的低质AIGC笔记。
在识别虚假内容方面蒂法表示,用户表达个人感受和看法的内容是不具备客观信息传递过程的,所以不会去做真实性判断。在涉及客观信息的内容时,小红书建立了一套“前置拦截、事中追踪、分析回扫”的全面治理体系,并上线了内容信息量模型,笔记摘要提取模型,AIGC谣言诊断模型等15个识别大模型,并建立了真实信源库和谣言库,实现了对虚假内容的实时拦截和批量回扫。
1、内容信息量模型,主要帮助区分出哪些内容是需要进行真实性判断的,这个模型会过滤掉一些个人观点内容。
2、笔记摘要提取模型,该模型会基于一条内容,快速提取出时间、地点、人物、事件等重要信息,为后续的真实性比对提升效。
3、AI谣言诊断模型,这会基于AIGC的技术手段,收集全网信息辅助判断谣言信息。
4、小红书建立了信源库和谣言库。信源库中会会收录真实的内容,谣言库中会收录虚假内容,关于内容的真实性判断,有一部分来源于权威媒体发言。
一条笔记发布后会先过到内容信息量模型去判断是否需要真实性判断,如果需要就会走到笔记摘要提取模型环节进行摘要拆解,然后会到信源库中进行比对,如果有不匹配的情况则大概率会被认定为虚假内容。
蒂法在分享中指出,其实也有很多内容是不具备和信源库进行匹配的能力的,因为信源库中大多收录的是国家大事或重大事件,一些例如某地新开某店的事件一般不会记录。这类内容主要是依赖用户的举报,用户会在帖子下留言是虚假或者是举报笔记,这样就会进入到人工审核环节,人审的同学最后会结合AI模型进行一个最终的判断。
图源:官方提供
针对企业伙伴,小红书也上线了“争议性标签”和“限时加私”功能,有效保护企业降低虚假信息的影响。
在虚假人设治理方面,小红书采用了四大步骤:
1、完善账号准入制度,对可能涉及虚假人设的重点领域账号,要求提供更详细的身份信息和资质证明。
2、内容前置审核,识别可能存在虚假人设的线索,如内容中是否存在夸大、虚构身份或经历的表述,是否与已有真实信息存在矛盾等。
3、上线多个识别模型,检测内容中是否存在伪造场景、合成图片、虚假特效等问题。
4、算法挖掘账号网关系,通过算法,挖掘账号之间的关联关系,进一步印证身份是否真实。
活动现场,小红书黑灰产治理负责人必行为大家分享了小红书黑灰产治理的应对策略,针对黑灰产生产内容同质化严重的特点,小红书上线了50多种模型,强化账号、笔记、评论文本三维相似度识别。同时也实施了实名认证解冻策略,对高危账号先冻结,完成验证后解冻,极大程度提升了作恶成本。
图源:官方提供
在线上治理的同时,小红书案件调查团队还向多地警方和市场监督部门积极提供线索,对黑灰产团伙进行线下打击。目前有7起案件在侦办中,后续警方和市场监督部门将根据调查结果采取各种处罚措施,涉及犯罪行为的还将进一步追究刑事责任。
截至目前,小红书黑灰产治理行动累计封禁账号1000万+,实现了黑灰产账号曝光次数减少80%。
现场的问答环节,财视传媒进行了提问:“接到虚假和灰产举报后,小红书的处理流程是怎样的?”
蒂法介绍:接到虚假举报后,首先是机审流程,因为举报量比较大所以由模型先判断,随后部分内容会进入人审环节,会对内容进行针对性判断。这种判断也不是纯个人判断,因为每个人有自己的局限性,所以在举报环节也借助了AI,AI先去搜集笔记有关的内容,审核会相应去了解可供参考的信息源,也会用AI关键信息提取来帮助工作,最终做出判断。”
斑马消费 杨伟 超千亿的体量上“大象起舞”,殊为不易。 4月29日晚,贵州茅台发布2025年一季报,实现营业收入514.43亿元,同比增长10.67%;归母净利润268.47亿元,同比增长11.56%...
突然彻底爆发! 5月2日,离岸人民币兑美元暴涨近1%。今天开盘,再度飙升。两个交易日最大涨幅接近900点。与此同时,A50表现亦非常突出,最近两个交易日上涨一度超过1.5%。那么,究竟有何利好驱动?...
6月9日,一边是新消费、创新药的集体大涨,一边是李蓓的深刻反思:我做错了什么?反思之后,依然坚持自己的观点:不会用较大的仓位投资医药和新消费,依然将仓位集中在顺周期、高股息。所以,当你问我,她到底是反...
本文首发于虎嗅年轻内容公众号“那個NG”(ID:huxiu4youth)。在这里,我们呈现当下年轻人的面貌、故事和态度。 “你醒啦,现在是2008年的午后。你刚刚好像做噩梦了,一直在说着什么房贷加班这...
作 者:张奥平 经济学家、新质未来研究院院长 来 源:正和岛(ID:zhenghedao) 本文八大重点 1. 下阶段经济工作总基调:坚持稳中求进工作总基调,着力稳就业、稳企业、稳市场、稳预期; 2...
刀刃向内,剑指行业痼疾。 文/每日财报 林岚 保险个人营销体制面临重大变革,六大改革方向将会对行业及代理人产生怎样的影响? 就在近期,国家金融监督管理总局下发了一份重磅文件—《关于推动深化人身保险...