Echo's blog
Echo's blog
· 1 min read · AI应用

ChatGPT摘要编出假证人,律师被罚5000美元

美国律师称用ChatGPT整理庭审记录,却在上诉文书中提交虚构证人证言,被罚5000美元。了解处罚时间、未决上诉,以及办公摘要如何对照原文核实。

把长材料交给 ChatGPT 做摘要,结果里却多出了根本不存在的证人。美国新墨西哥州一名律师因提交含虚构证言的上诉文书,被州最高法院罚款 5000 美元,并认定藐视法庭。9 月 11 日的报道披露了这起事件,处罚发生在当地时间 9 月 9 日,案件上诉仍未结束。

摘要里的假证人进入了上诉文书#

受罚律师斯蒂芬·阿伦斯(Stephen Aarons)在圣菲私人执业。他为奥斯卡·雷内·桑多瓦尔(Oscar Renee Sandoval)处理刑事上诉。桑多瓦尔被控杀害其孩子的母亲,曾作无罪答辩,去年被定罪并判处终身监禁。

法院称,阿伦斯提交的文书包含完全虚构的证人及其虚假证言,涉及捏造的警方证词。法院上月要求他解释这些材料如何进入主要上诉文书,其中包括关于枪手穿深色裤子、白色衬衫的虚构说法。这些衣着描述是被法院指出的问题内容,不能当作案情事实引用。

阿伦斯说,自己去年接手上诉时,用 OpenAI 的 ChatGPT 整理庭审过程。在 8 月 21 日的听证会上,他解释,输入的是电脑生成的庭审文字记录和其他案件材料,原以为工具会给出可靠的摘要。他称自己不了解 AI 会在多大程度上“幻觉”,也就是生成看起来像事实、实际没有根据的内容。

法官香农·培根(Shannon Bacon)当庭质疑他为何没有意识到风险,并提到律师依赖 AI 虚构内容的事件已经反复见诸报道。已核验报道没有披露所用模型版本、完整提示词或对话记录,因此无法据此还原是哪一步产生了错误。

AI摘要核查编辑插画1 摘要出现的新人物与新细节,必须回到原始材料核对。

律师受到处罚,原案仍在等待上诉结果#

州最高法院认定阿伦斯没有核实提交材料的准确性,判其藐视法庭,罚款 5000 美元,并表示将转交律师纪律委员会调查。法院还批评他缺乏悔意,对当事人不够关心。阿伦斯则表示自己感到懊悔,希望纪律委员会将此视为一次无心之失。

这两种表态需要分开看:前者是法院对其行为和态度的评价,后者是律师本人的回应。把错误归因于 AI,并未免除提交人的核实责任。报道没有给出纪律调查的结论,也没有说明他已被吊销执业资格。

桑多瓦尔的上诉在 9 月 2 日已改由新墨西哥州公设辩护律师金·查韦斯·库克(Kim Chavez Cook)接手,报道发布时仍未决。库克和多尼亚安娜县地方检察官办公室均拒绝置评,OpenAI 当时未立即回应置评请求。处罚律师与决定当事人的上诉结果,是两件需要分别确认的事。

报道将此案放在美国法院处理 AI 文书错误的背景下:已有数十名律师因提交虚构判例引用或错误法律引述而受罚。此次问题涉及刑事上诉中的证人证言,错误触及了案件事实材料。现有信息支持对这次文书失实的警惕,不能用来推算 ChatGPT 日常摘要的整体出错率。

AI摘要核查编辑插画2 律师受罚与当事人的上诉结果,需要分别确认。

办公摘要可以先用,关键句仍要回到原文#

对普通上班族,这起案件最贴近日常的地方是“只想整理已有材料”。以下是办公使用建议。把一份会议记录缩短时,即使没有要求 AI 创作,也要留意它是否把讨论写成决定,把建议写成承诺。文字通顺并不能证明这些变化符合原意。

可以让工具在每条结论后附上对应原句和页码,再由人打开原文件核对。页码和引文也可能出错,不能只看它是否列出了出处。核对会议纪要时,还要留意“可以考虑”“尚待确认”这样的限定词。假设同事只提出下周交付的可能性,摘要若写成已经承诺下周交付,就应退回修改;这是检查方法的示例,并非本案细节。姓名、金额、时间、责任归属,以及客户是否已经同意,都值得逐项检查;找不到依据的句子先删去或标为待确认。

对没有 IT 团队的小企业,保留原文件、把摘要与原文并排看就能开始做这件事,不必先采购新系统。摘要可以用于内部浏览和草稿整理;涉及合同承诺、付款安排或对外正式发送,负责人应在核对原始材料后确认。客户资料和未公开经营信息也不要随意上传,先确认公司允许使用的工具和数据范围。

若原文很短,逐条核对的时间已经接近直接阅读,自己整理可能更省事。保留原稿、修改记录和最终确认人,发现错误后才能知道哪些版本发给了谁,并及时更正。这些做法不能保证 AI 不再编造,却能减少未经核实的摘要直接变成业务决定的机会。

AI摘要核查编辑插画3 办公摘要保留原文对照,正式发送前由负责人复核。

消息参考来源

Comments

Copied
Copied to clipboard