人工智能技術概覽

2023年1月11日人工智能技術概覽久其軟件-李坤奇目錄2023年1月11日1、人工智能定義、關聯2、人工智能主要應用領域3、機器學習算法及分類4、主流神經網絡簡介5、NLP的主要技術與方法人工智能定義用機器，通常為電子儀器、電腦等，對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。數據：預測、挖掘語音：語音識別、語音合成、聲紋檢測文字：分類、翻譯、對話、NLP、NLU、NLG視覺：圖像識別、生成作畫、視頻理解運動：智能控制、仿真機器人、自動駕駛思考：簡單推理、機器人寫稿、AlphaGo2023年1月11日涉及面最廣的交叉學科2023年1月11日人工智能自動化控制計算機數學統(tǒng)計學邏輯學歸納學系統(tǒng)學概率論哲學心理學生物學經濟學語言學工程學認知學仿生學人工智能教育要從娃娃抓起有望成為一級學科工業(yè)4.0，自動化生產線旨在提升制造業(yè)的智能化水平，建立具有適應性、資源效率及基因工程學的智慧工廠，在商業(yè)流程及價值流程中整合客戶及商業(yè)伙伴其技術基礎是網絡實體系統(tǒng)及物聯網2023年1月11日特斯拉工廠曝光，整個工廠只有150個機器人，超震撼機器人，好幫手2023年1月11日奔跑跳躍搬東西，這種機器人平衡能力比人類還強自動駕駛谷歌、特斯拉、百度、蘋果……集各類人工智能技術一身2023年1月11日機器學習數據爆炸式增長催熱機器學習統(tǒng)計學、概率模型（貝葉斯）、神經網絡有監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習主要區(qū)別在于人工投入的比例無監(jiān)督學習只有極少數應用投多少人工，有多少智能？2023年1月11日強化學習reinforcementlearning，RL又稱再勵學習、評價學習智能系統(tǒng)從環(huán)境到行為映射的學習，以使獎勵信號(強化信號)函數值最大處于研究階段無人機，自動化控制，電子游戲2023年1月11日NLP？遷移學習TransferLearning,TL收集數據成本高；訓練耗時；重復利用已有知識樣本遷移、特征遷移、模型遷移、關系遷移2023年1月11日用于精準營銷人工神經經網絡人工神經經網絡模模仿動物物神經網網絡特征征，進行行分布式式并行信信息處理理的算法法數學模模型。網絡依靠靠系統(tǒng)的的復雜程程度，通通過調整整內部大大量節(jié)點點之間相相互連接接的關系系，從而而達到處處理信息息的目的的。優(yōu)勢并行分布布處理高度魯棒棒性和容容錯能力力分布存儲儲及學習習能力能充分逼逼近復雜雜的非線線性關系系激活函數數、損失失函數、、梯度下下降2022年12月31日深度學習習深度學習習源于人人工神經經網絡，，多個隱隱含層感感知器。。深度學習習通過組組合低層層特征形形成更加加抽象的的高層表表示屬性性類別或或特征，，以發(fā)現現數據的的分布式式特征表表示。各層設計計、圖形形化調參參、學習習速率2022年12月31日端到端優(yōu)勢？劣劣勢？CNN––卷卷積神經經網絡ConvolutionalNeuralNetwork圖像領域域應用非非常成功功，人臉臉識別超超99.5%全連接局部連接接，權值值共享圖像識別別、OCR、語音識識別（DBN+CNN+RNN最好）2022年12月31日特征數量量卷積核大大小RNN––循循環(huán)神經經網絡RecurrentNeuralNetwork（t+1）時刻網網絡的最最終結果果O(t+1)是該時刻刻輸入和和所有歷歷史共同同作用的的結果語音識別別、NLPBidirectionalRNNs、DeepRNNs、GRURNN2022年12月31日日LSTM-長短期記憶憶網絡LongShort-TermMemoryNeuralNetworkRNN時間上傳遞的的神經網絡，，可能“梯度度消失”通過門的開關關實現時間上上記憶功能，，防止梯度消消失遺忘門輸入門輸出門Seq2Seq機器翻譯AttentionModel對話2022年12月31日日GAN-生生成性對抗生生成網絡GenerativeAdversarialNetworks它有兩個模型型：一個生成成器，一個判判別器沒有損失函數數，優(yōu)化過程程是“二元極極小極大博””2022年12月31日日深度學習框架架庫名稱開發(fā)語言速度靈活性文檔適合模型平臺上手難易Caffec++/cuda快一般全面CNN所有系統(tǒng)中等TensorFlowc++/cuda/Python中等好中等CNN/RNNLinux,OSX難MXNetc++/cuda快好全面CNN所有系統(tǒng)中等Torchc/lua/cuda快好全面CNN/RNNLinux,OSX中等Theanopython/c++/cuda中等好中等CNN/RNNLinux,OSX易2022年年12月31日Caffe2013年底,由UCBerkely的YangqingJia開發(fā)計算機視覺覺領域首選選CaffeTensorFlowGoogle主推的開源源學習框架架有眾多預先先訓練好的的模型，開開發(fā)簡單速度慢，內內存占用較較大TorchFacebook力推的深度度學習框架架，主要開開發(fā)語言是是C和Lua有較好的靈靈活性和速速度，開發(fā)發(fā)也比較簡簡單缺點是接口口為lua語言，不支支持PythonPython首選語言Ubuntu首選平臺機器學習中中的問題與與應對欠擬合添加其他特特征，減少少正則化過擬合L1、L2正則化不收斂復審輸入數數據、修改改模型設計計、改變參參數初始化化方法、調調整學習速速率數據集過小小轉換擴增運算過慢分布式運算算，換用GPU或專用神經經網絡處理理器調參復雜分開訓練、、參數各種種圖形化展展示2022年年12月31日NLP-自然語語言處理自然語言是是人類智慧慧的結晶，，自然語言言處理是人人工智能中中最為困難難的問題之之一廣義的NLP包含NLU、NLG用到統(tǒng)計、、概率、神神經網絡等等各種算法法文本分類信息抽取人機對話領域知識圖圖譜自動寫稿2022年年12月31日中文分詞11款開放中文文分詞引擎擎大比拼目前主流分分詞包均采采用復雜的的統(tǒng)計模型型，HMM、CRF、SP（結構化感感知）首先統(tǒng)計大大量已切分分文本特征征訓練模型型，然后針針對輸入文文本搜索最最佳切分方方式目前哈工大大語言云、、Boson云效果最佳佳THULAC（清華）是是開源包中中效果最佳佳，也非常?？旖Y巴分詞用用的很廣（（Python），效果也也不錯沒有完美方方案，90%以后每提升升1點都要巨大大代價2022年年12月31日詞性標注中文詞類活活用現象非非常多沒有英文的的變形：ing、ed、er、ly詞性命名標標準出自北北大，基本本統(tǒng)一目前都只提提供靜態(tài)詞詞性，非準準確標注在關鍵詞計計算、事件件發(fā)現、情情感判斷有有價值句法分析、、語義理解解的前提詞法分析、、句法分析析、語義理理解相互交交織依賴，，制約了詞詞法技術提提升2022年年12月月31日日NER命命名名實實體體識識別別NamedEntityRecognition又稱稱作作““專專名名識識別別””，，是是指指識識別別文文本本中中具具有有特特定定意意義義的的實實體體三大大類類：：實實體體類類、、時時間間類類和和數數字字類類七小小類類：：人人名名、、機機構構名名、、地地名名、、時時間間、、日日期期、、貨貨幣幣和和百百分分比比基于于規(guī)規(guī)則則和和詞詞典典的的方方法法采用用語語言言學學專專家家手手工工構構造造規(guī)規(guī)則則模模板板,選用用特特征征包包括括統(tǒng)統(tǒng)計計信信息息、、標標點點符符號號、、關關鍵鍵字字、、指指示示詞詞和和方方向向詞詞、、位位置置詞詞(如尾尾字字)、中中心心詞詞等等方方法法，，以以模模式式和和字字符符串串相相匹匹配配為為主主要要手手段段基于于統(tǒng)統(tǒng)計計的的方方法法HMM、ME、SVM、條條件件隨隨機機場場(CRF)神經經網網絡絡識識別別NN、CNN-CRF、RNN-CRF、Attention機制制目前前缺缺少少成成熟熟可可以以API，少少數數付付費費效效果果尚尚可可訓練練的的CRF模型型，，人人名名、、時時間間、、數數字字識識別別還還行行，，有有提提升升空空間間2022年12月31日語言模型型、詞向向量N-Grams：二元組組、三元元組、五五元組……大量分詞詞后語料料進行統(tǒng)統(tǒng)計正則化、、平滑可用于拼拼寫和語語法檢查查，也可可協(xié)助分分詞Word2Vec：將詞組組轉換成成多維向向量表示示CBOW、Skip-Gram、GloVe神經網絡絡輸入需需要Embedding，50,100,300維特性相似近鄰鄰通過向量量距離查查找關聯聯詞線性加減減w2v(中國)-w2v(北京)=w2v(法國)-w2v(巴黎)只是一種種高階近近似，同同一含義義在同一一維表達達，盡量量分散2022年12月31日關鍵詞、、摘要提提取2022年12月31日文本分類類、聚類類、情感感傾向文本分類類屬于有有監(jiān)督學學習，需需要訓練練貝葉斯、、SVM、神經網網絡文本聚類類屬于無無監(jiān)督學學習劃分法（（K-Means）、層次次法、密密度法、、網格法法文本傾向向性分析析，主要要用于輿輿情監(jiān)控控，評價價挖掘貝葉斯理理論為基基礎褒義詞、、貶義詞詞、中性性詞否定謂詞詞、副詞詞的識別別與地域、、主體識識別結合合運用難點在于于各門類類數據抓抓取、行行業(yè)模型型訓練2022年12月31日句法分析析上下文無無關文法法ContextFreeGrammar依存文法法分析(DependencyParsing)通過分析析語言單單位內成成分之間間的依存存關系揭揭示其句句法結構構識別“主主謂賓””、“定定狀補””算法：CYK、PCFG、CRF、神經網網絡（？？）目前中文文句法分分析短句句可用，，長句較較差哈工大LTP語言云、、Boson云（較好））StanfordParser、HanLP（稍差差）2022年年12月31日日語義分分析/理解解知識工工程：：語義義樹可用于于句子子語義義理解解、數數據抽抽取、、句式式轉換換需要強強大的的知識識庫配配合，，知識圖圖譜（？））今天晚晚上吃吃金屬屬吧（（╳╳））法國一一位老老人以以吃金金屬為為生（（√√））還難以以理解解文章章，進進行摘摘要或或推理理神經網網絡：：訓練練超級級模型型詞向量量（稀稀疏））比較較成熟熟，生生成較較快Synonymy、Antonymy、Hyponym短句可可用向向量相相加近近似表表示，，長句句、文文章尚尚在研研究2022年年12月31日日知識圖譜(KnowledgeGraph)由知識點相相互連接