孙常龙：阿里云人工智能技术发展以及在法律行业内的探索与应用
随着数智经济的发展，一场属于法律科技的深刻变革正悄然发生。如何把握机遇、应对挑战，已成为当前法律科技领域从业者深入思考、积极探索及实践的时代之问。
2024年1月12日，第六届“中国法研杯”颁奖典礼暨司法数智创新峰会于厦门成功举办。在分论坛三——“数智时代法律科技的创新与展望”首届法律科技论坛上，阿里巴巴通义实验室NLP应用算法负责人孙常龙围绕数智科技对法律行业的变革性影响，发表了题为“阿里云人工智能技术发展以及在法律行业内的探索与应用”的主旨演讲。阿里云作为中国领先的云计算服务提供商，也在积极布局AI应用生态，推出了多个基于人工智能技术的服务和产品。以下为演讲主要内容实录。
▲ 阿里巴巴通义实验室NLP应用算法负责人 孙常龙
从初创时期的技术探索，到大模型时代的突破，再到如今的前沿布局，阿里云作为人工智能领域的重要领头人与开拓者，始终保持着对技术开放式创新的热情和追求，通过不断优化算法、提升计算能力，在人工智能领域取得了丰硕的成果。作为以云计算起家的团队，阿里云早期在云计算方面做了很多工作，旨在提升效率和质量。随着大数据和云计算的发展，团队开始构建自己的平台，包括机器学习平台和数据管理平台。在预训练大语言模型出现后，阿里云大模型的能力水平和进化速度显著提升，适时提出了“MaaS（Model as a Service）”理念，旨在提供一个开发能力更强的大模型，结合具体行业提供更优质的解决方案。因此，阿里云“以云为基础，以模型为中心”，依托模型深度链接各个行业，构建起覆盖多个细分领域的行业大模型。其可以针对业务需求，提供下游任务的辅助功能，乃至更深层次的解决方案。
回顾阿里云大模型的演进历程，自2018年底，团队便开始构建通用大模型的基础设施，主要涉及多模态相关的大型问题解决方案。从2021年启动M6系列模型，经过数年的不断优化和迭代，阿里云于2023年4月正式推出了通用大模型——“通义千问”；到2023年10月31日正式发布2.0版本，再到2023年12月1日更新至2.1版本的正式产品，阿里云大模型的发展步伐愈发稳健。
在此过程中，“通义千问”Qwen持续开源，有力促进大模型技术进步，呈现出持续创新、不断完善的态势。通过将多个阶段性模型发布至开源社区，包括7B模型、14B模型、72B&1.8B模型以及安全能力框架的建设等，收到了150万+下载量，形成了150+基于Qwen构建的开源模型，取得了显著效果，产生了一定影响力。
在最新发布的成果中，“通义千问”72B&1.8B模型的性能和可靠性进一步提升。“通义千问”72B开源模型在10大权威测评中均取得开源模型最优成绩，被评为业界最强的中文开源模型，能够基于最多32k的长文本进行信息总结和问答，并能够以系统指令设定行为模式，简单实现模型定制，呈现更好的数据效果。“通义千问”1.8B开源模型是一款具有高性能、高效率的小规模开源大模型，其性能远超同等规模模型，且能够大幅降低推理与微调成本：推理方面，推理2048 token最低仅用3G显存，推理所需的最小显存不到1.5GB，并可在手机等消费级终端部署，可为端侧提供更优质的智能化能力；微调方面，相比Qwen-7B，微调速度提升超3倍，最低微调成本不超6GB，兼具速度提升和显存降低优势。
经过长期创新发展，“通义千问”已形成全尺寸、全模态、完整开源模型矩阵，包括多种大语言模型和多模态大模型，在各领域、多行业广泛应用。目前，“通义千问”大模型已经通过网页版和APP版同步对外开放体验。
阿里云团队在法律科技领域持续深入研发，凭借敏锐的洞察力和强大的技术实力，不断拓宽法律科技的应用场景，带来高效、便捷的法律服务体验。
大模型时代来临之前，阿里云已经深耕法律科技行业多年。团队在2018年参与首届法研杯的评测，刑期预期取得第一名；2019—2020年，团队联合浙江高院、浙江大学首创了全流程智能化审判小智，实现了从立案、分案、审理、签章到归档全流程的智能化，大大提高了审判效率；2020年6月，团队举办了国际A类大会SIGIR 2020第一届智能司法Workshop（Legal AI 2020），旨在展示中国在智慧司法领域的工作进展，同时引发了学术圈的高度关注；2020年12月，团队联合浙江大学组织业界首个法律合同审查人机挑战赛。
大模型时代来临后，团队开始探索法律与人工智能在更深层次的结合。2023年8月，团队参与《法律大模型评估指标和测评办法（征求意见稿）》的编撰，为法律大模型的研发和应用提供了重要的参考依据；2023年9月，团队推出的“通义法睿”被工信部评为“智赋百业”领航型典型案例；2023年10月，云栖大会正式发布了“通义法睿”；2023年12月，举办国际A类大会ICDM 2023第一届智能司法Workshop。
2018年12月，浙江省高级人民法院启动“平台化+智能”建设，邀请阿里云、浙江大学重点打造“凤凰智审”，着力解决我国依法治国“案多人少”的痛点，树立司法人工智能全国标杆。历经三年，以金融案件为代表的智能审判当庭宣判率达到90%以上，平均审理时间下降36%。项目设计了包含多模态感知任务的全过程智能化审判系统架构（FITS），涵盖语音交互、视觉理解、司法文书结构化等模块，支持司法要素提取、证据辨认、对话理解、焦点检测和判决文书生成等功能。
2022年，团队设计“小智机器人”，旨在通过统一的交互式AI入口，从法官端延伸至当事人端，能够让法官更好调度法院内部数据和业务系统，也能够帮助当事人完成一些常见的法律咨询，形成了法律知识生产—加工—检索—应用的闭环，有力提升了司法效率。
在探索过程中，团队逐渐意识到：尽管通用大模型效率高，能够解决诸多法律难题，但同样存在一些问题：其一，知识更新问题。大模型知识更新速度较慢，对于一些常见的法律问题或法律常识性问题容易回答错误。其二，业务对齐问题。大模型很难对我国法律业务进行深入理解，例如通用大模型可能会用日本民法回答中国民法问题，价值观完全无法对齐。其三，产品形态问题。中国法院对人工智能的应用较为广泛，然而法院系统难以在新搭建的业务平台上迁入其现有数据并投入使用。因此，团队开始尝试构建法律大模型。
法律大模型在数智经济蓬勃发展的当今可谓机遇无限。当下的法律业务纷繁复杂，创新业务亦层出不穷。过去处理此类业务时，专家需与算法公司进行沟通，讨论解决方案；沟通完成后，需对数据进行标注，并对算法进行验证，随后才可上线。然而，若效果不尽如人意，时间便已逝去。此前的创新很大程度上受限于算法本身的技术壁垒，以及算法人员理解数据所需的时间。相比之下，如今基于法律大模型应用，在开展法律业务时，可以更好地调配法院内部已有的业务系统。
基于法律大模型，一方面可以更好地理解用户的法律问题，并进行问题分发，以提高效率；另一方面，法律大模型可以利用大量数据，例如：若想了解某一类案由在特定时间范围内的数据量，法律大模型可充分挖掘这些数据，并将其转化为可接受的数据库。当然，尚有一些新问题亟待解决；但在目前的法律范围内，法律大模型能够迅速给出初步的回答结果。在训练垂直领域的法律大数据模型时，团队采取了以下建设思路：
训练阶段，在阿里云开源的机组基础上，基于通义基座模型，并进行二次训练。团队基于法律相关数据，构建了法律领域生成式预训练大模型。这个模型对法律任务的理解非常深入，可以理解法条、背诵法条，甚至进行常见法律任务的推理和法律咨询。由于不了解专业法律人士如何回答法律问题，基于司法下游有监督任务，我们使用精标的超过1万条法律有监督数据以及通用有监督数据，进行模型指令微调；共覆盖推理、生成、数据库查询、图谱查询、API调用等类型的近20种司法子任务。经过这些调整后，模型在法律业务和数据表现方面有了显著提升。推理阶段，对于与人类价值观对齐的问题，若模型回答效果不佳，能否快速进行全局优化？这涉及到强化学习方面的能力。团队基于反馈的强化学习训练进行模型指令微调，利用现有的不同模型本身质量差异来构建RM训练数据。为消除法律大模型存在的幻觉类问题，还需与知识库进行链接，例如与法律法规库、案例库以及第三方API等进行链接。模型挂接司法知识库，包括自有知识库（法律法规检索、案例检索、司法图谱检索）以及私有化场景第三方API（如智能送达、智能运维、文书上网）。在链接过程中，我们发现，在回答深层次法律问题时，模型在法条引用方面表现较好，但案例引用存在一定问题。大模型在生成类似案例时，可能生成看似合理但实际上不存在的案例，这需要与第三方库进行更深入的协同。因此，我们注重安全能力建设，以弥补现有维度中的不足。
在对法律问题进行深度理解和分析后，可以确定回答问题的合适方式和流程，因此Agent能力建设更符合真实业务场景。我们通过技术创新，细化到每个业务场景中。例如，在使用法律大模型进行备案检索时，模型理解问题后即可生成备案对应的诸多类似关键词、争议焦点和案情描述。基于此方法，可以找到库中对应的各种维度，将这些信息从检索引擎中筛选出来，再统一提交给大模型；大模型进一步生成结果，并说明引用了哪些案例库和法条，从而使结果具有较好的可解释性。
以争议焦点为例，阿里云团队长期从事争议焦点生成工作。过去，由于标注专业水平要求高、笔录文本长，导致标注周期长、成本高，因此一个案由的成本高达10万元。为提高标注效率，我们尝试采用司法预训练和软监督数据，在不增加标注成本的前提下，将F1值提升至80%，标注成本下降90%。进一步地，通过生成式法律大模型，我们用28条标注数据覆盖了十大业务，标注成本进一步下降90%，且其事实准确性和完整度更优，更符合法官的阅读习惯。此外，在科技发展日新月异的当下，阿里云重视技术迭代。我们每月都会对自有法律大模型进行迭代。以2023年6月至8月的版本为例，我们替换了部分基座，使用了更多法律数据，并调整了训练方法。不仅如此，通过每月在法院进行评审，法官给予的反馈也为我们提供了指引和有针对性的改进思路。法律行业大模型“通义法睿”于2024年1月12日正式公测，欢迎大家体验。
总体而言，阿里云团队在法律领域已具有一定的基础，因此在底层数据层方面有一定程度的积累。然而，这些数据的同质化程度较高，需要进行大量的标签化和分析工作。借助这些数据，我们将其与通用大模型基座相结合，训练出针对特定行业的大模型，并进一步进行微调，以适应特定行业的任务需求。在此基础上，我们对任务进行了多个维度的评测，以期对大模型提供有益的指导。另外，在应用层上，我们始终保持与法院和检察院的协同合作，优化办案办公平台、AI法律助手等用户交互型应用，推动法律大模型的构建。
在我国科技产业蓬勃发展的背景下，阿里云作为领军企业，不断探索和创新法律科技领域。从过去到未来，法律科技潜能无限。在科技创新的道路上，阿里云将继续深耕法律科技行业，以技术创新为驱动力，通过打造更多具有竞争力的高品质产品，携手行业伙伴，助力我国法律科技事业蓬勃发展，共同书写法治中国新篇章。
