大語言模型在法律領(lǐng)域的應(yīng)用探索

大語言模型在法律領(lǐng)域的應(yīng)用探索 02訓(xùn)練和評(píng)估 04 04應(yīng)用案例 03應(yīng)用框架法律大語言模型的相關(guān)背景神經(jīng)語言模型預(yù)訓(xùn)練語言模型大規(guī)模語言模型統(tǒng)計(jì)語言模型神經(jīng)語言模型預(yù)訓(xùn)練語言模型大規(guī)模語言模型統(tǒng)計(jì)語言模型第一階段第一階段20世紀(jì)中葉開始發(fā)展，在七八十年代達(dá)到鼎盛第二階段第二階段20世紀(jì)末自神經(jīng)網(wǎng)絡(luò)發(fā)展以來不斷發(fā)展，包括RNN以及LSTM第三階段第三階段2017年前后，Transformer架構(gòu)的發(fā)布成了BERT、GPT等許多預(yù)訓(xùn)練模型的基礎(chǔ)第四階段第四階段2020年前后，OpenAI發(fā)布了包含1750億參數(shù)的GPT-3模型，展現(xiàn)了卓越的能力神經(jīng)語言模型預(yù)訓(xùn)練語言模型神經(jīng)語言模型預(yù)訓(xùn)練語言模型統(tǒng)計(jì)語言模型統(tǒng)計(jì)語言模型GPTN-gramGPTN-gramGPT-4表現(xiàn)“可與人類相媲美GPT-4表現(xiàn)“可與人類相媲美”，其在律師資格考試（UBE）分?jǐn)?shù)超過90%考生。ChatGPT在兩項(xiàng)試題達(dá)到了合格率，其中一項(xiàng)還跟人類水平持平。2023年8月，浙江大學(xué)、阿里巴巴達(dá)摩院和華院計(jì)算聯(lián)合發(fā)布了法律大模型?？山忉屝郧啡痹诜扇斯ぶ悄苤校Ｐ偷目山忉屝郧啡痹诜扇斯ぶ悄苤?，模型的“幻覺”模型有時(shí)會(huì)生成不真實(shí)或虛知識(shí)融合不足法律任務(wù)通常需要數(shù)據(jù)驅(qū)動(dòng)和知識(shí)指導(dǎo)相結(jié)合，通用的大模型在這方面的能力尚顯知識(shí)圖譜關(guān)聯(lián)知識(shí)檢索增強(qiáng)領(lǐng)域知識(shí)融合知識(shí)圖譜關(guān)聯(lián)知識(shí)檢索增強(qiáng)領(lǐng)域知識(shí)融合法律大語言模型的訓(xùn)練和評(píng)估?收集了多源異構(gòu)知識(shí)數(shù)據(jù)，不僅包含6種類型的知識(shí)：法條類、案例類、模板類、書籍類、法律考試類、法律日常問答類，我們還以法條和案件為中心節(jié)點(diǎn)構(gòu)建了它們的關(guān)系圖譜數(shù)據(jù)。領(lǐng)域數(shù)據(jù)清洗2.訓(xùn)練與評(píng)估|領(lǐng)域數(shù)據(jù)清洗罪名法條規(guī)則去重刑期預(yù)測(cè)語義去重01法考題解釋0101法院意見案件事實(shí)摘要法院意見案件事實(shí)摘要02數(shù)據(jù)篩選數(shù)據(jù)改造敏感信息02數(shù)據(jù)篩選數(shù)據(jù)改造02人工審查庭審問答庭審問答03角色扮演文本抽取角色扮演標(biāo)準(zhǔn)規(guī)范化上下文信息標(biāo)準(zhǔn)規(guī)范化2.訓(xùn)練與評(píng)估|領(lǐng)域知識(shí)融入模型訓(xùn)練2.訓(xùn)練與評(píng)估|參數(shù)調(diào)優(yōu)和資源需求高效參數(shù)微調(diào)資源需求分析資源需求平衡高效參數(shù)微調(diào)資源需求分析資源需求平衡?找到資源需求的平衡點(diǎn)?獲得最佳模型性能和資源利用效率??找到資源需求的平衡點(diǎn)?獲得最佳模型性能和資源利用效率?微調(diào)訓(xùn)練需要大量計(jì)算資源?合理規(guī)劃資源提升訓(xùn)練效率?提升模型性能和泛化能力?緩解模型的災(zāi)難性遺忘2.訓(xùn)練與評(píng)估|法律大語言模型評(píng)測(cè)指標(biāo)體系法律大模型評(píng)估指標(biāo)體系質(zhì)量指標(biāo)F1首字響應(yīng)時(shí)間處理效率并發(fā)路數(shù)正確性相關(guān)度有效性可靠性法律文書檢查法律要素抽取法律文書摘要法律文書生成辦案報(bào)告生成結(jié)構(gòu)化文書生成可維護(hù)性法律法規(guī)問答案件咨詢問答司法程序問答證據(jù)鏈分析案情分析司法決策推理安全性指標(biāo)禁止項(xiàng)質(zhì)量指標(biāo)F1首字響應(yīng)時(shí)間處理效率并發(fā)路數(shù)正確性相關(guān)度有效性可靠性法律文書檢查法律要素抽取法律文書摘要法律文書生成辦案報(bào)告生成結(jié)構(gòu)化文書生成可維護(hù)性法律法規(guī)問答案件咨詢問答司法程序問答證據(jù)鏈分析案情分析司法決策推理安全性指標(biāo)禁止項(xiàng)2.訓(xùn)練與評(píng)估|法律大語言模型能力體系法律咨詢法律咨詢04邏輯推理04邏輯推理法律大語言模型的應(yīng)用框架服務(wù)中心-社會(huì)服務(wù)中心-社會(huì)業(yè)務(wù)全流程智慧賦能助手法院應(yīng)用場(chǎng)景關(guān)鍵詞檢索語義檢索意圖識(shí)別調(diào)度編排知識(shí)庫(kù)配置模型配置響應(yīng)策略設(shè)定多模態(tài)圖片檢索層次檢索agent插件NL2SQLprompt場(chǎng)景設(shè)定關(guān)鍵詞檢索語義檢索意圖識(shí)別調(diào)度編排知識(shí)庫(kù)配置模型配置響應(yīng)策略設(shè)定多模態(tài)圖片檢索層次檢索agent插件NL2SQLprompt場(chǎng)景設(shè)定場(chǎng)景適配復(fù)雜表格處理問答對(duì)自動(dòng)抽取問答對(duì)問法拓展40種格式解析法條法規(guī)政策文件知識(shí)圖譜解讀層次化知識(shí)管理圖片摘要匯總法律書籍語義文本切分司法案件知識(shí)管理復(fù)雜表格處理問答對(duì)自動(dòng)抽取問答對(duì)問法拓展40種格式解析法條法規(guī)政策文件知識(shí)圖譜解讀層次化知識(shí)管理圖片摘要匯總法律書籍語義文本切分司法案件知識(shí)管理-特定領(lǐng)域UniLaw大模型6-72B大模型BGE向量模型關(guān)鍵詞召回模型-特定領(lǐng)域UniLaw大模型6-72B大模型BGE向量模型關(guān)鍵詞召回模型版面分析文字識(shí)別國(guó)內(nèi)主流大模型GPT4-API多模態(tài)理解模型ReRank模型表格識(shí)別圖文多模態(tài)摘要模型協(xié)同推理設(shè)計(jì)認(rèn)知推理引擎認(rèn)知推理引擎可解釋性分布式交互反饋交互反饋40種格式wordexcelpdf40種格式固定大小文字識(shí)別固定大小文字識(shí)別語法特征版面分析語法特征版面分析內(nèi)容意義表格解析內(nèi)容意義表格解析多向量語義檢索多向量語義檢索關(guān)鍵詞檢索混合檢索?將法條庫(kù)、案例庫(kù)、工作條例、相關(guān)政策等本地多源數(shù)據(jù)導(dǎo)入知識(shí)庫(kù)，自動(dòng)理解學(xué)習(xí)沉淀為知識(shí)，借助混合知識(shí)檢索和大模型總結(jié)歸納的能力，精準(zhǔn)回答特定業(yè)務(wù)場(chǎng)景的問題。法律大模型法律大模型 答案生成知識(shí)檢索知識(shí)導(dǎo)入知識(shí)融合?利用認(rèn)知智能引擎支撐檢索知識(shí)增強(qiáng)（RAG）模塊化、流程化，實(shí)現(xiàn)模型的快速迭代優(yōu)化，對(duì)本地知識(shí)進(jìn)行導(dǎo)入，理解，沉淀和管理，借助大模型總結(jié)歸納的能力，精準(zhǔn)回答特定業(yè)務(wù)場(chǎng)景的問題。?常用問答?常用問答FAQ庫(kù)編排?主流通用大模型接口編排?本地專有大模型?文檔知識(shí)庫(kù)?文檔知識(shí)庫(kù)?語義向量模型知識(shí)選擇模型選擇?二次重排序模型知識(shí)選擇模型選擇RAG平臺(tái)1s超快響應(yīng)1s超快響應(yīng)?結(jié)構(gòu)化知識(shí)圖譜?結(jié)構(gòu)化知識(shí)圖譜終端APP?智能文檔解析模型應(yīng)用發(fā)布API?專屬微調(diào)定制模型?MySQL數(shù)據(jù)庫(kù)API?專屬微調(diào)定制模型?在線網(wǎng)絡(luò)數(shù)據(jù)3.應(yīng)用框架|華院法律大語言模型拴繩遛狗時(shí)拴繩遛狗時(shí)，其他人逗狗，結(jié)果傷了人，狗主人該賠償嗎？型拴繩遛狗時(shí)，如果其他人逗狗導(dǎo)致狗傷人，狗主人是否需要賠償，需要根據(jù)具體情況分析。以下是一般情況下可能涉及的法律問題和責(zé)任劃分：1.狗主人的管理責(zé)任...2.第三方的過錯(cuò)...3.責(zé)任比例劃分...一般情況下仍需承擔(dān)一定的賠償責(zé)任，但具體責(zé)任比例可能因第三方過錯(cuò)的存在而減輕。法律大語言模型的應(yīng)用案例術(shù)推動(dòng)區(qū)域司法行政效率與公共法律服務(wù)智慧信訪智慧審判基層矛盾預(yù)警基層矛盾預(yù)警全域法治監(jiān)督智慧矛調(diào)法律數(shù)字服務(wù)審判問題研判社會(huì)問題研判術(shù)推動(dòng)法治運(yùn)行態(tài)勢(shì)可測(cè)，賦能區(qū)域法治智慧矛調(diào)法律數(shù)字服務(wù)審判問題研判社會(huì)問題研判問題的發(fā)現(xiàn)與施策4.應(yīng)用案例介紹|賦能社會(huì)治理法律大語言模型賦能案情分析根據(jù)案件描述案情分析根據(jù)案件描述，結(jié)合知識(shí)庫(kù)進(jìn)行案情分析根據(jù)案件描述，快速生成準(zhǔn)確的法律文書法律問答滿足法律咨詢等日常場(chǎng)景法律問答滿足法律咨詢等日常場(chǎng)景根據(jù)案件描述，推薦相關(guān)的法條相似案例作為參考依據(jù)，并利用大模型分析總結(jié)當(dāng)前案例和推送案例的異同點(diǎn)，提高工作處理的判決文書法院案多人少，案件審理周期長(zhǎng)，每個(gè)法官都有多個(gè)案件并行審理，法官庭審結(jié)束不能及時(shí)制作判決書，容易遺漏庭審細(xì)節(jié)。判決文書華院法律大模型華院法律大模型助文本抽取算法理解材料內(nèi)容，最終通過大模型總結(jié)歸納的能力，生成判決書。只需小幅修改，即可發(fā)布正式判決書，在提升精度的同時(shí)，大幅提升工作人員效率。4.應(yīng)用案例介紹|法條推薦基層工作人員在辦理過程中相對(duì)缺乏全面的法律知識(shí)，存在事項(xiàng)責(zé)任不清，辦理效果不佳的情況，法律大模型可基于案件辦理登記的案件細(xì)節(jié)，進(jìn)行深度法律分析推理，給予相關(guān)智能法條推薦，同時(shí)也支持工作人員進(jìn)行自定義法條檢索，增強(qiáng)辦理人員的權(quán)威性。?以法律大模型為大腦，數(shù)字人為載體，構(gòu)建普及法律、化解矛盾、答疑解惑的法律AI助手。垂直大模型底座數(shù)字人智能對(duì)話請(qǐng)問違章搭建去哪里反映？如果您發(fā)現(xiàn)存在違章搭建行為，可以向以下相關(guān)部門反垂直大模型底座數(shù)字人智能對(duì)話請(qǐng)問違章搭建去哪里反映？如果您發(fā)現(xiàn)存在違章搭建行為，可以向以下相關(guān)部門反1.城市管理部門（城管局）...2.城鄉(xiāng)規(guī)劃部門...3.國(guó)土資源部門（自然資源局）4....舉報(bào)后，相關(guān)部門會(huì)根據(jù)舉報(bào)內(nèi)容進(jìn)行調(diào)查核實(shí)，如確華院法律大模型屬違章搭建，將依法進(jìn)行處理。習(xí)熱點(diǎn)問答熱點(diǎn)問答e.g.“請(qǐng)問違章搭建去哪里反映？”知識(shí)圖譜/表知識(shí)圖譜/表e.g.辦理事項(xiàng)與窗口關(guān)系表.xlsx非結(jié)構(gòu)化文檔非結(jié)構(gòu)化文檔e.g.當(dāng)?shù)卣呶募?docx針對(duì)性：借助RAG能力，輕松讓大模權(quán)威性：法律大模型全面收錄了3189針對(duì)性：借助RAG能力，輕松讓大模權(quán)威性：法律大模型全面收錄了3189部法律、50504部法規(guī)，并在20個(gè)司4.應(yīng)用案例介紹|小雪人法律智能助手總結(jié)展望技術(shù)發(fā)展提高法律服務(wù)的效率。隱私安全在訓(xùn)練和使用大語言模型過程中，如何保護(hù)用戶數(shù)據(jù)的隱私和安算法實(shí)驗(yàn)室