AI 聊天机器人会写文章、分析来龙去脉，还会下结论，威胁许多仰赖文字为生的职业，其中含金量最高的文字商人就是律师，被视为是 AI 最可能取代的职业之一，但最近一名美国律师使用 ChatGPT 撰写类似诉讼案的判决案例，结果被证实这些案件全都是假的。
ChatGPT 基于一个统计模型，从网路上提取数十亿个文本，猜测哪些文本片段应该跟在其他序列之后来生成文章。由于许多职业都需要经过大量的信息收集与文本撰写工作，尤其是律师，许多律师已经在使用 AI 工具节省大量精力与时间，甚至研发更精进的 AI 工具专供律师使用。
普林斯顿大学、宾州大学和纽约大学研究人员研究就直指最容易接触到新 AI 工具的产业是法律服务。高盛经济学家估计，44% 的法律工作可以实现自动化，仅次于办公室和行政支持工作。
但过度仰赖技术只会让自己成为笑柄。今年一名美国人起诉一家航空公司，称他在飞往纽约机场的航班上被一辆推车撞到膝盖而受伤，原告的律师提交一份长达10页的摘要，其中引用六项以上的相关法院判决。
结果被告航空公司的律师发现案例有问题，写信给该案法官，表示案例中签发的法院和法官、案卷编号和日期资料不齐全，怀疑原告律师使用聊天机器人，最后也证实案例是假的，该案法官称此事件是前所未有的情况，下令在 6 月 8 日举行听证会，讨论可能对该名律师的制裁措施。
该律师也承认使用聊天机器人，还强调他有向聊天机器人再三确认案例是真的，据他提供的对话视窗，聊天机器人还向他保证这些案例可以在信誉良好的法律数据库中找到。
律师也表示非常后悔依赖 ChatGPT，说「如果没有绝对验证其真实性，未来在法律研究工作中不会再使用聊天机器人」。
虽然 AI 肯定会越来越好，但可能不会像某些人预测的那么快，白领职业不会那么快就被机器人接管，这一事件凸显法律领域对 AI 技术盲目信任的潜在风险。
AI 会自我生成幻觉
许多人担忧，AI 工具可能已经失控，最近一名美国法学教授要求 ChatGPT 提出美国法学院教授的五起性骚扰事件，还要求 ChatGPT 引用报纸文章中的引述。
结果ChatGPT 错误地将另一名法学教授 Jonathan Turley 视为性骚扰者，甚至引用一篇从来没出现过的新闻文章做为消息来源，结果证实这篇文章完全是由聊天机器人编造。
今年 2 月 Google 搜索负责人 Prabhakar Raghavan 在与一家德国出版物的对话中警告，AI 有时会产生幻觉并提供令人信服但完全虚构的答案。
今年 3 月 Elon Musk 马斯克签署一封公开信要求暂停六个月的 AI 开发，信中列举对人类和社会的潜在风险，其中就包括错误讯息传播和工作自动化。最近 ChatGPT 开发商 OpenAI 也呼吁对 AI 进行监管，认为需要类似于国际原子能机构的机构来保护人类免受 AI 威胁。
