人工智能技術(shù)概覽專題培訓(xùn)課件

目錄北京久其軟件股份有限公司2024年2月2日1、人工智能定義、關(guān)聯(lián)2、人工智能主要應(yīng)用領(lǐng)域3、機器學(xué)習(xí)算法及分類4、主流神經(jīng)網(wǎng)絡(luò)簡介5、NLP的主要技術(shù)與方法人工智能定義用機器，通常為電子儀器、電腦等，對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。數(shù)據(jù)：預(yù)測、挖掘語音：語音識別、語音合成、聲紋檢測文字：分類、翻譯、對話、NLP、NLU、NLG視覺：圖像識別、生成作畫、視頻理解運動：智能控制、仿真機器人、自動駕駛思考：簡單推理、機器人寫稿、AlphaGo北京久其軟件股份有限公司2024年2月2日涉及面最廣的交叉學(xué)科人工智能自動化控制計算機數(shù)學(xué)統(tǒng)計學(xué)邏輯學(xué)歸納學(xué)系統(tǒng)學(xué)概率論哲學(xué)心理學(xué)生物學(xué)經(jīng)濟學(xué)語言學(xué)工程學(xué)認知學(xué)仿生學(xué)人工智能教育要從娃娃抓起有望成為一級學(xué)科2024年2月2日工業(yè)4.0，自動化生產(chǎn)線旨在提升制造業(yè)的智能化水平，建立具有適應(yīng)性、資源效率及基因工程學(xué)的智慧工廠，在商業(yè)流程及價值流程中整合客戶及商業(yè)伙伴其技術(shù)基礎(chǔ)是網(wǎng)絡(luò)實體系統(tǒng)及物聯(lián)網(wǎng)北京久其軟件股份有限公司2024年2月2日特斯拉工廠曝光，整個工廠只有150個機器人，超震撼機器人，好幫手北京久其軟件股份有限公司2024年2月2日奔跑跳躍搬東西，這種機器人平衡能力比人類還強自動駕駛谷歌、特斯拉、百度、蘋果……集各類人工智能技術(shù)一身北京久其軟件股份有限公司2024年2月2日機器學(xué)習(xí)數(shù)據(jù)爆炸式增長催熱機器學(xué)習(xí)統(tǒng)計學(xué)、概率模型（貝葉斯）、神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)主要區(qū)別在于人工投入的比例無監(jiān)督學(xué)習(xí)只有極少數(shù)應(yīng)用投多少人工，有多少智能？北京久其軟件股份有限公司2024年2月2日強化學(xué)習(xí)reinforcementlearning，RL又稱再勵學(xué)習(xí)、評價學(xué)習(xí)智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí)，以使獎勵信號(強化信號)函數(shù)值最大處于研究階段無人機，自動化控制，電子游戲北京久其軟件股份有限公司2024年2月2日NLP？遷移學(xué)習(xí)TransferLearning,TL收集數(shù)據(jù)成本高；訓(xùn)練耗時；重復(fù)利用已有知識樣本遷移、特征遷移、模型遷移、關(guān)系遷移北京久其軟件股份有限公司2024年2月2日用于精準營銷人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模仿動物神經(jīng)網(wǎng)絡(luò)特征，進行分布式并行信息處理的算法數(shù)學(xué)模型。網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達到處理信息的目的。優(yōu)勢并行分布處理高度魯棒性和容錯能力分布存儲及學(xué)習(xí)能力能充分逼近復(fù)雜的非線性關(guān)系激活函數(shù)、損失函數(shù)、梯度下降北京久其軟件股份有限公司2024年2月2日深度學(xué)習(xí)深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)，多個隱含層感知器。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。各層設(shè)計、圖形化調(diào)參、學(xué)習(xí)速率北京久其軟件股份有限公司2024年2月2日端到端優(yōu)勢？劣勢？CNN–卷積神經(jīng)網(wǎng)絡(luò)ConvolutionalNeuralNetwork圖像領(lǐng)域應(yīng)用非常成功，人臉識別超99.5%全連接

局部連接，權(quán)值共享圖像識別、OCR、語音識別（DBN+CNN+RNN最好）特征數(shù)量卷積核大小2024年2月2日RNN–循環(huán)神經(jīng)網(wǎng)絡(luò)RecurrentNeuralNetwork（t+1）時刻網(wǎng)絡(luò)的最終結(jié)果O(t+1)是該時刻輸入和所有歷史共同作用的結(jié)果語音識別、NLPBidirectionalRNNs、DeepRNNs、GRURNN北京久其軟件股份有限公司2024年2月2日LSTM-長短期記憶網(wǎng)絡(luò)LongShort-TermMemoryNeuralNetworkRNN時間上傳遞的神經(jīng)網(wǎng)絡(luò)，可能“梯度消失”通過門的開關(guān)實現(xiàn)時間上記憶功能，防止梯度消失遺忘門輸入門輸出門Seq2Seq機器翻譯AttentionModel對話2024年2月2日GAN-生成性對抗生成網(wǎng)絡(luò)GenerativeAdversarialNetworks它有兩個模型：一個生成器，一個判別器沒有損失函數(shù)，優(yōu)化過程是“二元極小極大博”北京久其軟件股份有限公司2024年2月2日深度學(xué)習(xí)框架庫名稱開發(fā)語言速度靈活性文檔適合模型平臺上手難易Caffec++/cuda快一般全面CNN所有系統(tǒng)中等TensorFlowc++/cuda/Python中等好中等CNN/RNNLinux,OSX難MXNetc++/cuda快好全面CNN所有系統(tǒng)中等Torchc/lua/cuda快好全面CNN/RNNLinux,OSX中等Theanopython/c++/cuda中等好中等CNN/RNNLinux,OSX易Caffe2013年底,由UCBerkely的YangqingJia開發(fā)計算機視覺領(lǐng)域首選CaffeTensorFlowGoogle主推的開源學(xué)習(xí)框架有眾多預(yù)先訓(xùn)練好的模型，開發(fā)簡單速度慢，內(nèi)存占用較大TorchFacebook力推的深度學(xué)習(xí)框架，主要開發(fā)語言是C和Lua有較好的靈活性和速度，開發(fā)也比較簡單缺點是接口為lua語言，不支持PythonPython首選語言Ubuntu首選平臺2024年2月2日機器學(xué)習(xí)中的問題與應(yīng)對欠擬合添加其他特征，減少正則化過擬合L1、L2正則化不收斂復(fù)審輸入數(shù)據(jù)、修改模型設(shè)計、改變參數(shù)初始化方法、調(diào)整學(xué)習(xí)速率數(shù)據(jù)集過小轉(zhuǎn)換擴增運算過慢分布式運算，換用GPU或?qū)Ｓ蒙窠?jīng)網(wǎng)絡(luò)處理器調(diào)參復(fù)雜分開訓(xùn)練、參數(shù)各種圖形化展示北京久其軟件股份有限公司2024年2月2日NLP-自然語言處理自然語言是人類智慧的結(jié)晶，自然語言處理是人工智能中最為困難的問題之一廣義的NLP包含NLU、NLG用到統(tǒng)計、概率、神經(jīng)網(wǎng)絡(luò)等各種算法文本分類信息抽取人機對話領(lǐng)域知識圖譜自動寫稿北京久其軟件股份有限公司2024年2月2日中文分詞11款開放中文分詞引擎大比拼目前主流分詞包均采用復(fù)雜的統(tǒng)計模型，HMM、CRF、SP（結(jié)構(gòu)化感知）首先統(tǒng)計大量已切分文本特征訓(xùn)練模型，然后針對輸入文本搜索最佳切分方式目前哈工大語言云、Boson云效果最佳THULAC（清華）是開源包中效果最佳，也非常快結(jié)巴分詞用的很廣（Python），效果也不錯沒有完美方案，90%以后每提升1點都要巨大代價北京久其軟件股份有限公司2024年2月2日詞性標注中文詞類活用現(xiàn)象非常多沒有英文的變形：ing、ed、er、ly詞性命名標準出自北大，基本統(tǒng)一目前都只提供靜態(tài)詞性，非準確標注在關(guān)鍵詞計算、事件發(fā)現(xiàn)、情感判斷有價值句法分析、語義理解的前提詞法分析、句法分析、語義理解相互交織依賴，制約了詞法技術(shù)提升北京久其軟件股份有限公司2024年2月2日NER命名實體識別NamedEntityRecognition又稱作“專名識別”，是指識別文本中具有特定意義的實體三大類：實體類、時間類和數(shù)字類七小類：人名、機構(gòu)名、地名、時間、日期、貨幣和百分比基于規(guī)則和詞典的方法采用語言學(xué)專家手工構(gòu)造規(guī)則模板,選用特征包括統(tǒng)計信息、標點符號、關(guān)鍵字、指示詞和方向詞、位置詞(如尾字)、中心詞等方法，以模式和字符串相匹配為主要手段基于統(tǒng)計的方法HMM、ME、SVM、條件隨機場(CRF)神經(jīng)網(wǎng)絡(luò)識別NN、CNN-CRF、RNN-CRF、Attention機制目前缺少成熟可以API，少數(shù)付費效果尚可訓(xùn)練的CRF模型，人名、時間、數(shù)字識別還行，有提升空間北京久其軟件股份有限公司2024年2月2日語言模型、詞向量N-Grams：二元組、三元組、五元組……大量分詞后語料進行統(tǒng)計正則化、平滑可用于拼寫和語法檢查，也可協(xié)助分詞Word2Vec：將詞組轉(zhuǎn)換成多維向量表示CBOW、Skip-Gram、GloVe神經(jīng)網(wǎng)絡(luò)輸入需要Embedding，50,100,300維特性相似近鄰?fù)ㄟ^向量距離查找關(guān)聯(lián)詞線性加減w2v(中國)-w2v(北京)=w2v(法國)-w2v(巴黎)只是一種高階近似，同一含義在同一維表達，盡量分散2024年2月2日關(guān)鍵詞、摘要提取PageRank算法原理整個www可以看作一張有向圖圖，節(jié)點是網(wǎng)頁。如果網(wǎng)頁A存在到網(wǎng)頁B的鏈接，那么有一條從網(wǎng)頁A指向網(wǎng)頁B的有向邊。導(dǎo)入的鏈接越多，頁面的重要程度越高復(fù)雜的迭代優(yōu)化精確權(quán)重關(guān)鍵詞距離較近的詞，視同有鏈接可根據(jù)詞性、統(tǒng)計規(guī)律調(diào)整權(quán)重，TF-IDF是最常用算法摘要句子初始權(quán)重為各詞TF-IDF權(quán)重合計權(quán)重最高的句子（必要修剪）作為摘要自上而下的摘要用模板/知識庫生存（事件、球賽）2024年2月2日文本分類、聚類、情感傾向文本分類屬于有監(jiān)督學(xué)習(xí)，需要訓(xùn)練貝葉斯、SVM、神經(jīng)網(wǎng)絡(luò)文本聚類屬于無監(jiān)督學(xué)習(xí)劃分法（K-Means）、層次法、密度法、網(wǎng)格法文本傾向性分析，主要用于輿情監(jiān)控，評價挖掘貝葉斯理論為基礎(chǔ)褒義詞、貶義詞、中性詞否定謂詞、副詞的識別與地域、主體識別結(jié)合運用難點在于各門類數(shù)據(jù)抓取、行業(yè)模型訓(xùn)練北京久其軟件股份有限公司2024年2月2日句法分析上下文無關(guān)文法ContextFreeGrammar依存文法分析(DependencyParsing)通過分析語言單位內(nèi)成分之間的依存關(guān)系揭示其句法結(jié)構(gòu)識別“主謂賓”、“定狀補”算法：CYK、PCFG、CRF、神經(jīng)網(wǎng)絡(luò)（？）目前中文句法分析短句可用，長句較差哈工大LTP語言云、Boson云（較好）StanfordParser、HanLP（稍差）北京久其軟件股份有限公司2024年2月2日語義分析/理解知識工程：語義樹可用于句子語義理解、數(shù)據(jù)抽取、句式轉(zhuǎn)換需要強大的知識庫配合，知識圖譜（？）今天晚上吃金屬吧（

╳）法國一位老人以吃金屬為生（√）還難以理解文章，進行摘要或推理神經(jīng)網(wǎng)絡(luò)：訓(xùn)練超級模型詞向量（稀疏）比較成熟，生成較快Synonymy、Antonymy、Hyponym短句可用向量相加近似表示，長句、文章尚在研究北京久其軟件股份有限公司2024年2月2日知識圖譜(KnowledgeGraph)由知識點相互連接而成的語義網(wǎng)絡(luò)用可視化技術(shù)描述知識資源及其載體，挖掘、分析、構(gòu)建、繪制和顯示知識及它們之間的相互聯(lián)系，并進行查詢推理RDF(資源描述框架)、OWL(Web本體語言)、SparQL建立：數(shù)據(jù)源整理、實體消歧、schema(本體、關(guān)系等)構(gòu)建、查詢與推理、優(yōu)化存儲、更新維護WordNet、Yago、DbpediaCN-Dbpedia、Zhishi.Me、PKU-PIE搜索引擎、金融分析、輔助診斷目前似乎難以表達行為動作、限定修飾北京久其軟件股份有限公司2024年2月2日QA-機