2017年，《经济学人》宣布，数据已成为世界上最有价值的资源，而不是石油。从那以后，各个行业的企业一直并将继续在数据和分析方面投入巨资，但与石油一样，数据和分析也有其阴暗面。
《2023年CIO状况报告》的数据显示，34%的IT领导者表示，数据和业务分析将推动其企业今年的最大IT投资。26%的IT领导者表示，ML/AI将推动最大的IT投资。从ML算法驱动的分析和行动中获得的见解可以为企业带来竞争优势，但错误可能会给声誉、收入甚至生命带来代价。
了解你的数据及其告诉你的信息很重要，同时，了解你的工具、了解你的数据并牢记你企业的价值观也很重要。
以下是过去十年的几个备受瞩目的数据分析和AI领域中发生的错误，以说明可能会出什么问题。
Gannett利用AI撰写的体育方面的文章出现错误
2023年8月，报业连锁店Gannett宣布将暂停使用一种名为LedeAI的AI工具，此前AI撰写的几篇新闻稿因重复、糟糕和缺乏关键细节而在网上疯传。
美国有线电视新闻网举了一个例子，由互联网档案馆的Wayback Machine保存，它的开头是：“沃辛顿基督徒在周六的一场俄亥俄州男孩足球比赛中以2：1击败了韦斯特维尔北部。”
CNN在其他Gannett当地报纸上发现了LedeAI写的类似故事，包括路易斯维尔信使日报、今日佛罗里达州亚利桑那州中心和密尔沃基日报哨兵报。
在这些故事在社交媒体上遭到严厉嘲讽后，Gannett选择暂停在所有使用LedeAI服务的当地市场使用LedeAI。
在给CNN的一份声明中，LedeAI的CEO杰伊·奥尔雷德表达了歉意，并承诺将全天候努力纠正这些问题。
ITutorGroup利用AI进行招聘时AI因年龄原因拒绝申请者
2023年8月，辅导公司iTutorGroup同意支付36.5万美元了结美国平等就业机会委员会(EEOC)提起的诉讼。联邦机构表示，该公司为中国的学生提供远程辅导服务，使用AI招聘软件，自动拒绝55岁及以上的女性申请者和60岁及以上的男性申请者。
平等就业机会委员会表示，该软件已自动拒绝了200多名符合条件的申请者。
“年龄歧视是不公正和非法的，”平等就业机会委员会主席夏洛特·A·伯罗斯在一份声明中说。“即使技术使歧视行为自动化，雇主仍负有责任。”
ITutorGroup否认有任何不当行为，但确实决定了结这起诉讼。作为和解和同意法令的一部分，它同意采取新的反歧视政策。
ChatGPT让法庭案件产生幻觉
大型语言模型在2023年取得的进展，引发了人们对AIGC在几乎每个行业的变革潜力的广泛兴趣。OpenAI的ChatGPT一直处于这股兴趣激增的中心，预示着富于创造力的AI将如何在几乎商业的每一个角落颠覆工作性质。
但这项技术在能够可靠地接管大多数业务流程之前还有很长的路要走，律师史蒂文·A·施瓦茨在2023年发现自己在使用ChatGPT研究哥伦比亚航空公司Avianca诉讼的先例后，遇到了美国地区法官P.Kevin Castel的麻烦。
施瓦茨是Levidow，Levidow&Oberman律师事务所的律师，他使用OpenAIAIGC聊天机器人找到了之前的案例，以支持Avianca员工罗伯托·马塔在2019年因受伤而提起的诉讼。唯一的问题是?在案情摘要中提交的案件中，至少有六起不存在。在5月份提交的一份文件中，卡斯特尔法官指出，施瓦茨提交的案件包括假姓名和案卷编号，以及虚假的内部引用和引用。施瓦茨的伴侣彼得·洛杜卡是马塔的记录律师，并在案情摘要上签字，这让他自己也处于危险之中。
在一份宣誓书中，施瓦茨向法庭表示，这是他第一次使用ChatGPT作为法律研究来源，他“没有意识到其内容可能是虚假的。”他承认，他没有证实AI聊天机器人提供的消息来源。他还表示，他“非常后悔利用产生式AI来补充本文所进行的法律研究，在没有对其真实性进行绝对核实的情况下，今后永远不会这样做。”
2023年6月，卡斯特尔法官对施瓦茨和洛杜卡处以5000美元的罚款。在6月份的另一项裁决中，卡斯特尔法官驳回了马塔对Avianca的诉讼。
AI算法可以识别除新冠肺炎以外的所有东西
自新冠肺炎疫情爆发以来，许多企业寻求应用机器学习(ML)算法来帮助医院更快地诊断或分流患者。但根据英国国家数据科学和AI中心图灵研究所的说法，预测工具几乎没有作用。
《麻省理工学院技术评论》记录了一系列的失败，其中大部分源于工具训练或测试方式的错误。使用错误标签的数据或来自未知来源的数据是常见的罪魁祸首。
剑桥大学的机器学习研究员Derek Driggs和他的同事在《自然机器智能》杂志上发表了一篇论文，探索了深度学习模型在诊断病毒方面的使用。本文认为该技术不适合临床应用。例如，Driggs的团队发现他们自己的模型是有缺陷的，因为它是在一个数据集上训练的，该数据集包括扫描时躺着的患者和站着的患者的扫描结果。躺着的患者更有可能患上重病，所以算法学会了根据扫描中人的位置来识别冠状病毒感染的风险。
一个类似的例子包括一个用数据集训练的算法，该数据集包括对健康儿童的胸部扫描。该算法学会了识别儿童，而不是高危患者。
Zillow减记数百万美元，因利用算法购房造成的灾难而大幅裁员
2021年11月，在线房地产市场Zillow告诉股东，将在未来几个季度结束Zillow提供的业务，并裁员25%-约2000名员工。房屋翻转单元的困境是它用来预测房价的机器学习算法错误率的结果。
Zillow Offers是一个项目，通过该项目，该公司根据从机器学习算法得出的房屋价值的“Z估计”，对房产进行现金报价。他们的想法是对房产进行翻新，并迅速将其转手。但Zillow的一位发言人告诉CNN，该算法的错误率中值为1.9%，对于非市场房屋来说，错误率可能要高得多，高达6.9%。
美国有线电视新闻网报道，自2018年4月推出以来，Zillow通过Zillow优惠购买了2.7万套住房，但截至2021年9月底仅售出1.7万套。新冠肺炎疫情和房屋翻修劳动力短缺等黑天鹅事件导致了该算法的准确性问题。
Zillow表示，该算法导致其无意中以高于目前对未来售价的估计的价格购买了房屋，导致2021年第三季度的库存减记3.04亿美元。
在宣布这一消息后与投资者举行的电话会议上，Zillow联合创始人兼首席执行官里奇·巴顿表示，或许可以调整算法，但最终风险太大。
医疗保健算法未能标记黑人患者
2019年，发表在《科学》杂志上的一项研究显示，全美医院和保险公司用来识别需要高风险护理管理计划的患者的医疗保健预测算法，挑出黑人患者的可能性要小得多。
高风险护理管理方案为慢性病患者提供训练有素的护理人员和初级保健监测，以努力预防严重并发症。但该算法更有可能推荐白人患者参加这些项目，而不是黑人患者。
研究发现，该算法使用医疗支出作为确定个人医疗需求的指标。但根据科学美国人的数据，病情较重的黑人患者的医疗成本与较健康的白人患者的成本持平，这意味着即使他们的需求更大，他们获得的风险分数也更低。
这项研究的研究人员表示，可能有几个因素起到了作用。首先，有色人种更有可能收入较低，即使在有保险的情况下，这也可能使他们更难获得医疗保健。隐含的偏见也可能导致有色人种接受质量较低的护理。
虽然这项研究没有透露算法或开发者的名字，但研究人员告诉《科学美国人》，他们正在与开发者合作解决这种情况。
DataSet训练微软聊天机器人发出种族主义推文
2016年3月，微软了解到，使用Twitter互动作为机器学习算法的训练数据可能会产生令人沮丧的结果。
微软在社交媒体平台上发布了AI聊天机器人Tay。该公司将其描述为“对话理解”的一次实验。当时的想法是，聊天机器人将扮演少女的角色，并通过机器学习和自然语言处理相结合的方式通过Twitter与个人互动。微软为它播种了匿名的公共数据和一些喜剧演员预先编写的材料，然后让它自由发挥，从它在社交网络上的互动中学习和进化。
在16个小时内，聊天机器人发布了超过9.5万条推文，这些推文迅速变成了公开的种族主义、厌女者和反犹太主义者。微软很快暂停了这项服务，进行了调整，并最终取消了这项服务。
事件发生后，微软研究与孵化公司副总裁(时任微软医疗保健公司副总裁)彼得·李在微软官方博客上发帖称：“我们对泰的无意识冒犯和伤害性推文深表歉意，这些推文并不代表我们是谁，我们代表的是什么，也不代表我们是如何设计泰伊的。”
Lee指出，Tay的前任小冰，由微软于2014年在中国发布，在Tay发布之前的两年里，已经成功地与4000多万人进行了对话。微软没有考虑到的是，一群Twitter用户会立即开始向Tay发布种族主义和厌恶女性的言论。机器人很快就从这些材料中吸取了教训，并将其纳入了自己的推文。
尽管我们已经为许多类型的滥用系统做好了准备，但我们对这次特定的攻击进行了严重的疏忽。因此，泰在推特上发布了极其不恰当和应受谴责的文字和图片。
亚马逊AI招聘工具仅推荐男性
像许多大公司一样，亚马逊渴望能够帮助其人力资源部门筛选出最佳应聘者的工具。2014年，亚马逊开始研发AI招聘软件来实现这一目标。只有一个问题：这一制度大大偏爱男性候选人。2018年，路透社爆出亚马逊放弃该项目的消息。
亚马逊的系统给应聘者打出了从1到5的星级。但系统核心的机器学习模型是根据提交给亚马逊的10年简历进行训练的，其中大部分是男性简历。作为培训数据的结果，该系统开始惩罚简历中包含“女性”一词的短语，甚至降低了全女子大学的候选人的等级。
当时，亚马逊表示，亚马逊招聘人员从未使用过该工具来评估应聘者。
该公司试图对该工具进行编辑，使其保持中立，但最终决定不能保证不会学习其他一些歧视性的排序候选人的方法，并终止了该项目。
Target的分析侵犯了隐私
2012年，零售业巨头塔吉特(Target)的一个分析项目展示了公司可以从数据中了解到多少客户信息。据《纽约时报》报道，塔吉特的市场部在2002年开始考虑如何确定客户是否怀孕。这一系列调查导致了一个预测性分析项目，众所周知，该项目将导致这家零售商无意中向一名十几岁女孩的家人透露她怀孕了。这反过来会导致各种文章和营销博客将这一事件作为避免“令人毛骨悚然的因素”的建议的一部分。
塔吉特的市场部想要识别怀孕的人，因为在生活中的某些时期--尤其是怀孕--人们最有可能从根本上改变他们的购买习惯。例如，如果塔吉特能够在这段时间接触到客户，它就可以培养这些客户的新行为，让他们转向塔吉特购买食品杂货、服装或其他商品。
像所有其他大型零售商一样，塔吉特一直在通过购物者代码、信用卡、调查等方式收集客户数据。它将这些数据与人口统计数据和它购买的第三方数据混合在一起。通过对所有这些数据的分析，Target的分析团队确定了Target销售的大约25种产品，这些产品可以一起分析，以生成“怀孕预测”分数。然后，营销部门可以通过优惠券和营销信息瞄准得分较高的客户。
进一步的研究将揭示，研究客户的生殖状况可能会让其中一些客户感到毛骨悚然。根据《泰晤士报》的报道，该公司并没有放弃定向营销，但确实开始在他们知道孕妇不会购买的东西的广告中加入——包括割草机广告和尿布广告——让消费者感觉广告组合是随机的。
