机器之心报道
编辑：陈萍、小舟
狂欢之后，事情的走向开始进入封杀这一过程。
要问近段时间 AI 界最出圈的模型是哪个，十人中得有九个人会投 ChatGPT 一票，没办法，这个模型实在是太火，只因它会的东西太多了。很多人形容它是一个真正的「六边形战士」：不仅能拿来聊天、搜索、做翻译，还能写故事、写代码、debug，甚至开发小游戏、参加美国高考…… 有人戏称，从此以后人工智能模型只有两类 —— ChatGPT 和其他。
一方面 ChatGPT 能力过于惊艳深受大众喜欢，另一方面，也是麻烦事不断，遭到不同机构的封禁。前段时间就有 Stack Overflow 封禁 ChatGPT 的消息满天飞，原因无他，官方表示暂时封禁 ChatGPT 是因为它生成的答案正确率太低，发布由 ChatGPT 创建的答案对网站和查询正确答案的用户来说是非常有害的。
这一次风波过去没多久，顶级人工智能会议也开始禁止使用 ChatGPT 和 AI 工具撰写的学术论文。具体是怎么回事，我们往下看。
ICML 禁止使用大型语言模型写论文
前几天，国际机器学习会议 ICML 宣布：禁止征稿使用大型语言模型（LLM，如 ChatGPT）生成的论文，除非生成的文本是作为论文实验分析的一部分呈现。
文件地址：https://icml.cc/Conferences/2023/llm-policy
根据 ICML 的说法，ChatGPT 等这类语言模型虽然代表了一种未来发展趋势，但随之而来的是一些意想不到的后果以及难以解决的问题。ICML 表示，ChatGPT 接受公共数据的训练，这些数据通常是在未经同意的情况下收集的，出了问题谁负责。
还有就是作者身份问题，是谁「写」的论文：机器还是人类？考虑到 ICML 仅禁止 AI 完全生成的文本，这一点尤为重要。会议组织者表示，他们并不禁止使用 ChatGPT 等工具编辑或润色作者撰写的文本，并指出许多作者已经使用语法校正软件 Grammarly 等半自动编辑工具来润色文章。
不过此消息一出，在社交媒体上还是引发了一次大讨论，Yann LeCun 转发并评论道：「大型语言模型不能用，那么中型和小型语言模型是不是还可以用。」
微软研究院 ML 基础团队的负责人 Sebastian Bubeck 则称该规则是「目光短浅」 ，并在推特上写道：「ChatGPT 及其变体是未来技术发展的一部分。禁止绝对不是最优的答案。」
ICML 表示，明年将重新评估对 AI 生成文本的禁令。
一直以来，人们对人工智能生成文本的有害影响都有不同的担忧。最常见的问题之一是这些系统的输出结果根本不可靠。
人工智能模型经过训练可以预测任何给定句子中的下一个单词，但它们没有硬编码的「事实」数据库可供借鉴，因此模型的生成结果经常出现似是而非的情况。很多时候，生成的语句符合语法逻辑，却不符合客观现实。
还有一个问题也非常棘手 —— 我们难以区分文本是由 AI「润色编辑」的，还是完全由 AI 生成的。这个问题对于论文来说就非常严重，如果作者用 AI 模型基于论文生成简洁的摘要，这算是编辑文本还是从头生成文本？
当然，使用 ChatGPT 这样的 AI 工具并非只有弊端。例如在同行评审中，流畅的英文表达往往会收获更高的评价，AI 模型就可以帮助非英语母语的论文作者生成更流畅的英文文本。这将为研究人员节省时间，并为学术领域创造更公平的竞争环境。
但需要注意的是，ChatGPT 是大型语言模型（LLM），和 Grammarly 等简单的语法校正软件有很大的区别。LLM 本身的主要功能也不是调整已编写文本的结构和语言，而是生成一些新的文本。
实际上，几乎不会有论文作者会真的使用 AI 语言模型来生成学术论文。因为学术论文的要求是非常严谨的，一般在发表前作者都会反复核对论文内容。如果使用 AI 生成的论文出现错误，所有署名的论文作者的声誉都会受到严重影响，关系到论文作者的整个职业生涯。
从论文评审的角度讲，人们需要一个快速有效的检测工具，以分辨一篇文章是 AI 生成的还是人工撰写的。近期就有开发者发布了一个名为 GPTZero 的新应用程序，具备这种检测功能。
GPTZero 是由普林斯顿大学计算机科学专业学生 Edward Tian 开发的，其中使用两种不同的指标来评估文本是否由 AI 模型编写：困惑度（perplexity）和突发性（burstiness）。这可能就是用「模型」打败「模型」吧。
纽约市学校禁止访问 ChatGPT
几乎同一时间，ChatGPT 遭到学校的封禁。由于担心 AI 工具会破坏教育，纽约市教育部已经在其网络和设备上阻止对 ChatGPT 的访问。
该部门的发言人 Jenna Lyle 表示：此条禁令主要是担心 ChatGPT 对学生的学习产生潜在负面影响，以及对 ChatGPT 生成内容的安全性和准确性有所担忧。虽然该工具可以提供快速简单的答案，但它无法培养批判性思维和解决问题的能力，而这对于学生的学业和终身成功至关重要。
除此以外，ChatGPT 也存在其他语言模型所存在的问题。因为其训练数据来自互联网，所以它经常在答案中重复和放大性别歧视和种族偏见等。这类语言模型还倾向于编造信息，从历史日期到科学规律，但别人一般发现不了它在胡编乱造。
正是这些事实性错误，让教育工作者特别担心这个工具。许多老师表示，像 ChatGPT 这样的软件基本上不可能起到测试学生写论文的能力。如果 ChatGPT 可以在几秒钟内帮助学生完成写作，他们就不愿花心思去写了。
然而，另一些人认为，教育系统将不得不适应这种技术的出现 —— 就像它适应早期的颠覆性技术，如谷歌搜索和维基百科一样。但大家对 ChatGPT 适应，显然还需要点时间。
无论是人为制定和执行文本编写规范，还是使用一些方法分辨文本是否为 AI 生成，都说明人们意识到急需规范 ChatGPT 等文本生成模型的使用。ChatGPT 的使用场景和价值仍有待定义。
参考链接：
https://www.theverge.com/2023/1/5/23540263/chatgpt-education-fears-banned-new-york-city-safety-accuracy
https://www.theverge.com/2023/1/5/23540291/chatgpt-ai-writing-tool-banned-writing-academic-icml-paper
https://twitter.com/edward_the6/status/1610067688449007618?s=20&t=KcWXRmQ0sNLMWKgZFIivrw
https://www.thedailybeast.com/princeton-student-edward-tian-built-gptzero-to-detect-ai-written-essays