《大語言模型基礎(chǔ)》課程簡介

《大語言模型基礎(chǔ)》課程簡介課程名稱： 大語言模型基礎(chǔ) Foundationoflargelanguagemodels課程編號：CS-301學(xué)分：2學(xué)分課程簡介：本課程旨在介紹大語言模型的基本概念、核心技術(shù)、應(yīng)用場景以及開發(fā)流程。通過本課程的學(xué)習(xí)，學(xué)生將能夠理解大語言模型的工作原理，掌握大語言模型的基本概念、核心技術(shù)、應(yīng)用場景以及開發(fā)流程,掌握模型的訓(xùn)練、微調(diào)和應(yīng)用方法，并能夠獨立設(shè)計和實現(xiàn)基于大語言模型的應(yīng)用系統(tǒng)，為未來的學(xué)術(shù)研究和實際應(yīng)用打下堅實的基礎(chǔ)。課程目標(biāo)：1.知識目標(biāo)：掌握大語言模型的基本概念、發(fā)展歷程和技術(shù)原理。2.技能目標(biāo)：能夠使用開源大模型進(jìn)行微調(diào)和應(yīng)用開發(fā)。3.應(yīng)用目標(biāo)：能夠在實際項目中設(shè)計和實現(xiàn)基于大語言模型的解決方案。4.倫理目標(biāo)：了解大語言模型倫理和法律問題，具備負(fù)責(zé)任的技術(shù)應(yīng)用能力。課程內(nèi)容：1.大模型基礎(chǔ)?1.1人工智能基礎(chǔ)?1.2大模型定義?1.3大模型技術(shù)的形成?1.4通用人工智能2.大模型與生成式AI?2.1什么是語言模型?2.2大模型發(fā)展三階段?2.3Transformer模型?2.4生成式人工智能3.大模型架構(gòu)?3.1大模型生成原理?3.2多模態(tài)語言模型?3.3大模型的結(jié)構(gòu)?3.4應(yīng)用技術(shù)架構(gòu)?3.5OpenAI的Sora大模型4.人工數(shù)據(jù)標(biāo)注?4.1知識表示方法?4.2什么是數(shù)據(jù)標(biāo)注?4.3數(shù)據(jù)標(biāo)注分類?4.4制定標(biāo)注規(guī)則?4.5執(zhí)行數(shù)據(jù)標(biāo)注?4.6標(biāo)注團隊管理5.大模型預(yù)訓(xùn)練數(shù)據(jù)?5.1數(shù)據(jù)來源?5.2數(shù)據(jù)處理?5.3數(shù)據(jù)影響分析?5.4典型的開源數(shù)據(jù)集?5.5訓(xùn)練集、測試集、驗證集的異同?5.6數(shù)據(jù)集面臨的挑戰(zhàn)6.大模型開發(fā)組織?6.1大模型開發(fā)流程?6.2大模型的數(shù)據(jù)組織?6.3分而治之的思想?6.3.1分布式計算?6.3.2消息傳遞接口MPI?6.3.3MapReduce模型?6.3.4批處理和流處理?6.4分布式訓(xùn)練與策略7.提示工程與微調(diào)?7.1什么是提示工程?7.2大模型為什么要微調(diào)?7.3提示學(xué)習(xí)和語境學(xué)習(xí)?7.4上下文窗口擴展?7.5指令數(shù)據(jù)的構(gòu)建?7.6微調(diào)及其PEFT流行方案8.強化學(xué)習(xí)方法?8.1強化學(xué)習(xí)的概念?8.2強化學(xué)習(xí)基礎(chǔ)?8.3強化學(xué)習(xí)分類?8.4深度強化學(xué)習(xí)9.大模型智能體?9.1智能體和環(huán)境?9.2智能體的良好行為?9.3環(huán)境的本質(zhì)?9.4智能體的結(jié)構(gòu)?9.5構(gòu)建大模型智能體?9.6人工智能內(nèi)容生成（AIGC）10.大模型應(yīng)用框架?10.1大模型哲學(xué)問題?10.2大模型應(yīng)用流程?10.3大模型應(yīng)用場景?10.4案例：Magic突破Q算法11.技術(shù)倫理與限制?11.1人工智能面臨的倫理挑戰(zhàn)?11.2數(shù)據(jù)隱私保護(hù)對策?11.3人工智能倫理原則?11.4大模型的知識產(chǎn)權(quán)保護(hù)12.大模型產(chǎn)品評估?12.1模型評估概述?12.2大模型評估體系?12.3大模型評估實踐?12.4大模型產(chǎn)品對比?12.5大模型的大趨勢教學(xué)方法：?課堂講授：通過多媒體課件和案例講解，系統(tǒng)介紹大語言模型的基礎(chǔ)知識和技術(shù)原理。?實驗實訓(xùn)：通過實驗室實踐，讓學(xué)生動手操作，掌握大語言模型的訓(xùn)練、微調(diào)和應(yīng)用方法。?小組討論：組織學(xué)生進(jìn)行小組討論，探討大語言模型的實際應(yīng)用和倫理問題。?項目作業(yè)：布置實際項目作業(yè)，要求學(xué)生獨立設(shè)計和實現(xiàn)基于大語言模型的應(yīng)用系統(tǒng)?？己朔绞剑?平時成績（30%）：包括課堂表現(xiàn)、實驗報告和小組討論。?期中考試（30%）：考察學(xué)生對大語言模型基礎(chǔ)知識的理解和掌握。?期末項目（40%）：要求學(xué)生獨立