本文首发于微信公众号:航通社(ID:lifeissohappy)| 微博:@lishuhang 原创文章未经授权请勿转载
人们对AI大数据应用曾有多项美好的憧憬,其中一个就是利用AI实现自动审核,预警和甄别不良信息。然而国内外多起事件证明,算法尚无足够本领,全面接管对信息的审核任务。
人工审核信息不可替代,而除了加派专门人手之外,更要注重动用志愿者力量“群防群治”。如何从产品设计层面充分调动志愿者的积极性?让我们从那个不起眼的“举报”按钮开始说起。
1
你可能很难注意到隐藏在微博帖子、微信菜单、知乎文章等地的“举报”按钮,但实际上“举报”无处不在。
《中华人民共和国网络安全法》第四十九条规定:“网络运营者应当建立网络信息安全投诉、举报制度,公布投诉、举报方式等信息,及时受理并处理有关网络信息安全的投诉和举报。”所以,设立举报途径是网站、App运营者必须要做的。
航通社(微信:lifeissohappy)检查了微博、微信、QQ、头条、知乎、豆瓣等国内多款用户数较高的主流产品的“举报”按钮交互,发现这些产品基本都在“举报理由”中,提供包括广告、暴力色情、其他违法信息、人身攻击、以及版权保护有关的选项。
而从不同网站举报功能的微妙区别中,我们也能看出产品设计和运营的导向。一般而言,在举报选项中出现最多的项目,都体现了平台对相关问题的重视。例如,头条的“悟空问答”特意将错别字和格式问题放入了举报理由当中,希望借群众的力量优化问答质量。
对比之下,腾讯QQ内针对QQ群的举报选项最为复杂,和其他产品相比,其中含有“非法售卖野生物及制品”,“侵犯公民个人信息”,“诱导自杀自残”, “侵犯未成年人权益”等数个独一无二的选项。
据腾讯QQ负责该功能的项目经理向航通社(微信:lifeissohappy)介绍,“侵犯未成年人权益”举报标签是其中最新上线的一个。2017年侵犯未成年人的恶劣事件比较多,影响很大。QQ希望通过上线该标签,吸引公众重视和打击这种行为。
在刚刚过去的一年,虐童、儿童色情等案件都陆续成为舆论焦点。去年初,部分大学生、中专生拍摄的“裸条”不雅视频在网上疯传。去年7月,有网红大V被爆料恋童并开设色情网站,还有所谓的”原味交易”。年底,则有携程亲子园和红黄蓝幼儿园等恶劣的虐童事件,激发了社会极大回响。
上述部分违法犯罪行为通过QQ聊天和群组进行,但由于聊天内容属于用户隐私,平台直接出手打击时遇到诸多困难,需要鼓励有社会责任感的用户积极举报。据介绍,过去对同类内容的举报入口藏得比较深,专属标签上线是为了更好、更快速识别举报内容,缩短流程,提高效率,如果有重大案件会向警方报案。
近期根据用户举报,QQ安全团队封停QQ群组超过350个,关闭QQ帐号290余个,全年协助公安机关侦破的相关案件有10起,如发生在浙江和广东的传播儿童色情视频案件等。
2
QQ举报窗口的其他选项也各有其来历。2015年起,腾讯联合国际野生物贸易研究组织(TRAFFIC)等NGO启动了“企鹅爱地球”公益行动,运行一年后处置相关违规帐号700余个,涉及违法信息30万余条,约65宗重大账号线索移交国家森林公安。
2016年,腾讯在PC和手机QQ开通“非法售卖野生物及制品”专属举报标签,便于用户直接将相关证据与情况通过后台举报,每个举报都会得到一对一的处理结果通知。
2017年3月,身为全国人大代表的马化腾带来了针对“个人信息安全保护”的两会建议案。QQ配合此建议,推出了"侵犯公民个人信息"的专属举报标签,通过丰富大数据模型更好地识别、处置违规行为。
去年,腾讯"守护者计划"协助公安机关破获网络黑产大案160件,抓捕犯罪嫌疑人3800余人,涉案金额32亿元,涉及非法获取公民个人信息超过100亿条。
2017年4月7日世界卫生日起,腾讯为帮助抑郁症患者,在QQ客户端内加入"诱导自杀自残"专属举报标签,当用户在QQ中发现有诱导自杀自残的行为,可立即进行举报和获得反馈。
在QQ环境中清理整治有害信息,以涉嫌未成年色情和侵犯公民个人信息作为重点。去年2-4月的专项行动中,QQ安全团队共关停违法违规QQ群600余个,关停违法违规帐号500余个,涉及其他违法违规行为的QQ群1500余个,共关停违规帐号1300个。
3
用AI算法替代人力做枯燥的内容审核工作是各大互联网公司努力的方向,然而效果一直不好。从2016年美国大选至今,Facebook和谷歌多次将来源不明的假新闻当作头条推送。在国内,以今日头条为代表的新闻客户端,也因算法纠偏不力,被有关部门强制下架“社会”频道。
不过,针对成人的假新闻始终不如荼毒孩子心灵的内容影响恶劣。去年开始,在YouTube爆发了名为Elsagate的事件:众多“邪典”视频占领了YouTube的少儿专区,该区域可绕过设备的“家长控制”检查。这些片段展现血腥、暴力、软色情甚至虐童内容,却以知名卡通人物作主角,配上亮丽的色彩和欢快的音乐,难以被算法识别。
YouTube删除超过15万个视频,封禁相关频道,但并未让Elsagate绝迹。更糟的是,因为YouTube采取算法推荐,孩子只要看过几段视频,今后他的首页可能就会被此类视频填满。
采用机器学习的算法,只是通过海量训练无限接近人类规定的正确答案,本身无法理解其处理内容的含义,因此有些算法缺陷几乎是无解的。谷歌曾将黑色人种的图片自动添加“大猩猩”的标签,舆论要求谷歌改正。然而算法都是“黑箱作业”,哪是那么快就能解决的?为平息争议,谷歌干脆隐藏了所有灵长类动物的识别结果。
社交网络越来越被现代人依赖,其上不良信息的破坏性越来越大,业界面对日益增长的压力,可以想到的最好办法就是增派人手做人工审核。今日头条正新招聘6000余位审核人员,和此前的微博、网易等一样把审核团队安在天津,实际上天津已经成为国内互联网公司的“审核基地”。
但值得注意的是,人工审核毕竟是把无价值、辣眼睛的东西贴在人的眼前看,可以说是一种“精神污染”,其造成的身心损害已经可以纳入职业病的范畴。即使已经配备了专门的审核人员,企业也要将原始内容进行初步过滤,以最大限度延长审核员的工作寿命。
既然算法不太靠得住,这个初步筛选过程必须依赖更多普通人参与进来,以众包形式完成审核流程。举报行为就是这样的一种众包形式,它可以看作是一种高效的人工筛选器,通过用户标记寻找违规内容、行为的规律,为将来技术成熟时训练AI介入积累条件。
4
举报行为能起到多大作用?谁会特意去点“举报”按钮?这些问题让人们心存疑虑。比如说,有问题的QQ群内,成员绝大多数可能都是“同好”,何谈举报?
不过,特意为公众利益而志愿发现、卧底和举报违法行为的人其实并不少见。他们当中有媒体记者,社会工作者,也有你我一样的普通人。去年多起儿童色情和其他性侵犯事件的揭发,正是因为几位锲而不舍的关键网友的努力。
普通人帮助平台发现和审核不良信息的过程,就是从这小小的“举报”按钮开始的。因此,在产品设置上就要尽可能减轻举报人的心理障碍,简化举报流程,产生催化作用。
在QQ群举报页面中的“侵犯未成年人权益”等多个细致的分类,尽可能地消除了举报时不知选什么理由等潜在的心理障碍,并通过专门的分类,让事件判断更精准,同时方便了审核人员的操作。
这种产品设置是鼓励大众与网络不良行为对抗的第一步。接下来,在激励举报行为方面,平台还有更多可以做的事,比如让消息件件有回音,同时保证举报人的信息安全。
像举报这样动员用户参与的行动,需要对平台信赖,至少不抱有敌意的人们做志愿者。“对平台不抱有敌意”是非常重要的。一个单纯的志愿者可能本来只是为了解决问题。而如果其诉求未被有效答复,他就可能会转向媒体和舆论,随之曝光平台的问题,让平台陷入公关风波之中。
要让更多人消除对平台的敌意,转而与平台本身合作,至少要让路见不平者感受到平台解决问题的诚意和决心。至少我们可以从最简单的方面做起——优化产品内的“举报”功能,应该被提上产品经理的议事日程了。
而从长远来看,打击假新闻、违法犯罪等网络不良信息,不能仅靠一两家企业在技术层面的努力,而是要从立法和执法、对公众的教育、更多商业公司的参与等方面,期待全社会的共同行动。返回搜狐,查看更多
(此文不代表本网站观点,仅代表作者言论,由此文引发的各种争议,本网站声明免责,也不承担连带责任。)