一个悲伤的故事，英国14岁少女 Molly Russell 在2017年令人意外的选择了自杀，我们可能很难想象究竟会是什么样的事情能让一个涉世未深的小女孩走上绝路。
之后的发现，在Molly自杀之前曾在网上搜寻关于自杀和自残的图片，这些图片甚至通过一些她喜欢的社交平台被推荐出来。即便是在 Molly 去世之后的几个月里，Pinterest 依然在自动推送给她一些电子邮件，内容也是关于自残相关的图片，甚至打开Molly 的Instagram，Feed流中也充斥着大量相关的内容。
悲剧发生之后，Molly 的父亲认为Instagram和Pinterest 是杀害他女儿的帮凶。
我始终坚持，技术无罪。但当算法认为你想死的时候，我们又该怎么办?
Molly 的悲剧让人有一种说不出来的无奈，甚至有些气愤。据此衍生出一个新的论点——Instagram和Pinterest等社交平台正在加剧年轻人“ 精神健康危机 ” 。英国青少年的自杀率是八年前的两倍，社交媒体被认为是英国“自杀一代”崛起的一个原因。
Molly的去世，让很多人注意到了所谓大数据、算法的问题。英国卫生部长 Matt Hancock 表示，社交媒体需要清除这些极其负面的内容，而不这样做将会面临重大诉讼。在此之前，Instagram的规则只是反对“美化”自杀和自残，而现在已经直接禁止。
但简单的禁令并不能解决这些问题，社交平台不仅仅会托管这些负面内容，而且在推荐算法的指引下，这些内容也最终会呈现给最容易受到影响的人。推荐是一种更主动的行为，而不只是单纯的可获得性。越来越多的学术文献证实了这一点：无论是自残、谣言、招募恐怖分子还是某种阴谋论，平台所做的不仅仅是让这些内容容易被找到，因为算法的存在，社交平台一定程度上有助于扩大这些内容的传播。
我们试图去探索Instagram，Pinterest和Tumblr等如何向用户推荐这些负面内容，发现这些社交平台针对自杀、自残类的内容有一些限定规则，通过屏蔽一些关键词或者标签来使用户更难找到，但这些内容仍然能是存在的，而且算法也会根据某种规则推荐出来。在Pinterest上被称为“你可能喜欢的东西”，这些都是在算法驱动下根据用户浏览习惯判断用户感兴趣的内容。对于企业来说，更喜欢称之为“智能化推荐”、“个人化服务”等等，被视为是一种使用体验的提升。
例如，当你搜索家装灵感，很快在信息流中你会看到各种油漆样本相关的图片，还会进一步推荐业余室内设计师。这意味着，当用户越频繁搜索自杀或者自残等负面内容时，算法更加会判断你所喜欢的是这类东西，然后通过不同方式推荐给你。
正如Molly的父亲发现的，社交平台的推荐算法并没有区别对待。社交平台所展示“你可能喜欢的”内容，可能它本身就违反了自己的预定的规则。
试想一下，如果你是那个试图在社交平台寻找自残类型负面内容的人，系统推荐算法在得知这种趋势之后，反而为你推荐的是阳光积极的内容，教你重塑健康的心理状态，算法建议的可能并不是你当时所想看到的内容，但它会引导你走向一个比较正确的状态，或许这就是算法真正应该做的事情吧。
在现在的互联网世界，很多人更愿意在社交平台去倾诉或者发泄内心的想法。社交媒体就会成为一个摆在他们面前的镜子，这面镜子能够直接反映用户的心理状态，还可以放大或者扭曲它。而这两种截然不同的导向均取决于算法如何去引导，当算法觉得你想死，我们能更希望算法能做一个思想的引导者，而不是继续把用户带到死神面前。
算法应当具备价值观底线。
当然，这样的前提是，社交平台所设定的禁令规则是***的，那么算法建议所展示的仅仅提供用户最可接受的内容，而实际情况却并非如此。
内容审核非常困难，可接受和令人反感这两种规则之间的界限可能很多时候都是模糊不清的。即便设立人工审核机制，大型社交平台每天新发布的内容有成千上万条，审核者需要在几秒钟甚至更短的时间里判断出是否影响用户心理健康的，这样的内容实在太多，不仅仅是自残类型，日复一日，总会有遗漏的内容。
以Molly的悲剧为例，社交平台的禁令不仅不够完善，甚至还可能间接造成更多悲剧发生。很多试图自残或者有自杀倾向的人通过网络找到了巨大的情感支持以及继续生活下去的动力。通过建立小范围的社交圈来互相抱团取暖，甚至最终走出阴霾。对于这些人来说，社交平台更是唯一发出求助呼声的渠道。一味的禁止会挤压这些群体的存在，在缺乏同类之间的交流和接纳感时，则会深陷自己的消极精神世界无法自拔最终导致悲剧发生。
所以，现在的问题不只是简单的让这些内容消失。而是平台需要更好地识别哪些内容在什么时候更适合呈现给哪些群体，当搜索的内容和算法推荐的内容不同时，平台还需判断这些内容是否对某个人有利的同时却对整个公众有潜在威胁。
我们没有充分讨论推荐系统，也许是因为这些现在已经非常普遍，也可能是因为大多数用户不了解其工作方式。我们可能会嘲笑Facebook 推荐给我们已经购买的亚马逊产品，也许不喜欢Spotify 觉得我们喜欢悲伤的音乐，因为即便你只是有过一次特定的行为，算法就已经开始以此为依据判断你的兴趣推荐更多的东西。
在《压迫算法》中，Safiya Umoja Noble 批评谷歌在其搜索结果中放大了种族刻板印象;《Twitter and Tear Gas》的作者Zeynep Tufekci 强调了YouTube 放大阴谋理论和极端主义内容的倾向，认为其推荐算法“以不断增加风险的方式宣传、推荐和传播视频”。
类似的探讨越多越好，这些推荐内容会对心理不那么健康的人带来什么影响，人们看法有所不同。有人认为自残的图很容易看到，有人却觉得很难遇到，而多次看到更是难上加难。
现在经营者Instagram的Adam Mosseri承认，该平台不是单纯地“需要处理自杀和自残问题”。Pinterest发言人表示：“我们现有规则已经不允许任何鼓励自我伤害的内容。但是，我们知道这些政策是不够的。我们刚刚进行了重大改进，以防止我们的算法在用户的主页Feed中推荐敏感内容。我们将很快采用更主动的方式来检测和删除它，并为寻找它的人提供更多富有情感的支持。单靠我们自己不可能做到这一点，这就是我们与心理健康专家合作使我们的方法更有效的原因。“
但是，这些改变会变的越来越难。算法推荐已成为社交媒体将用户留在自己平台的的主要手段，它不太可能消失。这些算法经过优化以满足个人用户的需求，为集体利益优化它们要困难得多。社交媒体公司还需要更多关于心理健康的知识，以更好地区分令人反感和有价值的内容，并更好地认识到这些平台可能对精神疾病患者造成的影响。这是Instagram 承诺的举措，他们必须坚持到底。
人们不只是在寻找内容，可能还在等一个答案甚至在寻找一个生活下去的动力。当算法认为一个人想死的时候，它至少应该学会告诉他：不，你不想。
