“不靠谱的 AI 检测器，毁掉了我的生计！”
想象一下：假如你根本没有在工作中作弊，却被指控作弊，甚至还因此被解雇了，你会作何感想？
这种看起来不可思议又细思极恐的情况，真切发生在了作家 Michael Berben（化名）的身上。在过去的三年里，Michael 一直是一名自由撰稿人，为许多不同的出版物供稿，共撰写了大约 200 篇文章。
由于这个经历，Michael 联系到了我，我也想将他的故事进行分享，因为发生在他身上的事情现在可能也在发生很多创意工作者身上，未来还会发生在更多人身上——不靠谱的 AI 检测器正在摧毁人们的生计。
当作家成为 AI 热潮下的“附带损害”
和许多作家一样，Michael 一方面怀着好奇心，另一方面又担心地关注着 ChatGPT 的出现。好奇，是因为 ChatGPT 可能会帮助作家创作出更好的文章；担心，是怕万一将来 ChatGPT 完全取代了作家怎么办？
而他万万没想到的是，ChatGPT 会成为他被指控作弊的理由——然而，事情就是这样发生了。
有一天，Michael 的主要客户突然告诉他，他们开始对投稿文章使用 AI 检测器了，但他的检测结果很不好。他最近发表的文章被 AI 检测器标记为：有 95% 的可能性是 AI 生成的。
于是该客户开始查看 Michael 以前写的所有文章，其中很多都是在 ChatGPT 爆火之前写的，但 AI 检测器显示他的文章都有 65-95% 的可能是由 AI 生成的。结果，就因为 AI 检测器显示的这个数字，这位客户立即终止了与 Michael 的合同。
Michael 想尽一切办法来证明他的文章不是 AI 生成的，还给客户提供了他完整的谷歌文档历史记录，并向他们展示了自己的写作过程和进展，包括所有的编辑记录。但 AI 检测器播下的这颗怀疑种子实在太强大了，Michael 最终还是失去了他的主要客户，也因此失去了大部分收入。
对于这个事情，我认为有很多问题，接下来我将逐一进行分析。
问题一：一般 AI 检测器的准确性值得怀疑
一般的 AI 检测器是有缺陷的，也就是说这种检测不是一直有效，误判甚至是一般 AI 检测器的常态。而 Michael 的案例可能是少数非常不幸的异常值之一。
出于这个原因，连 OpenAI 自己都不再提供他们的检测器了：“由于准确率较低，AI 检测器已不再可用。”
异常值的出现，是因为文本的写作风格很难解释，但最终也不能明确说明文本是否是 AI/LLM 写的。同时，作者可能只是碰巧拥有与 ChatGPT 相似的写作风格，尽管他们的所有工作都是手动完成的。仅就这些原因而言，试图根据单个作品检测 AI 撰写的内容是徒劳的。
问题二：AI 检测器正在用精心挑选的数字打广告
鉴于一般的 AI 检测器效果不佳，你可能会认为在该领域提供服务的公司会很谨慎，但事实似乎恰恰相反。以下是 AI 检测器网站上的各种说法：
“99% 的准确率”
“准确率 99.1%”
“98% 的准确率”
他们是如何得出这些数字的？为什么他们会自信满满地提到“99% 的准确率”呢？好吧，就像生活中经常发生的那样，这取决于你到底在看什么。
如果你的数据集足够小，比如只有 2000 篇文章，那么其中包含的数据可能很容易与 AI 编写的内容区分开来。这可能是因为主题，也可能是因为数据集中的写作风格非常独特。总之，基于如此小的数据集所得出的准确度，基本上是没有意义的。
我相信你一定看过类似的护肤品广告，其中声称“83%的人觉得他们的皮肤更光滑了”。听起来不错，对吧？但广告细则通常会说“基于 40 名受访者的样本”。在如此小的样本量下，要让受访者告诉你涂抹面霜后皮肤感觉有多光滑相当容易。如果这个数字变成 1000 名，可信度会高很多。
问题三：面对 AI 黑盒，作家无从自保
根据 Michael 客户使用的 AI 检测器，结果显示其文章有 65%-95% 的可能性是 AI 生成的。但每一位经验丰富的作家都会告诉你，这种指控很伤人，而且伤得很重。可是又要如何证明 AI 检测器的结果是错的呢？
你可以展示你对作品的研究，可以突出你的写作风格，可以解释你的写作过程。经历这一切是非常痛苦的，但 Michael 都去做了。他甚至还联系了提供 AI 检测器的公司，但依旧无济于事。他们只是告诉 Michael 可以去 AI 检测器平台建立一个账户，买一些积分，然后自己再测试一次他的文章。
最后，一切都无法改变这样一个事实，那就是有一个指标一直在对他说：“你就是在作弊。”
故事的悲惨结局
我当然希望 Michael 的故事终究有一个圆满结局，但事实并非如此。他的客户并没有改变主意，他们害怕谷歌将任何 AI 生成的内容降级，而且由于 AI 检查器的结果很明显，Michael 也无法说服他们——因为 AI 检测器的误判，Michael 永远失去了他的客户。
原文链接：https://authory.com/blog/how-ai-detectors-are-destroying-livelihoods
推荐阅读：
▶ 23 年老开源项目 OpenCV 发起 50 万美元众筹：让 OpenCV 5 活下去！
▶雷军亲自回应小米 14 发烫问题；Office AI 开启预购！微软定价：30美元/月；Kotlin 1.9.20发布｜极客头条