紅亞科技-人工智能建設方案

PAGEPAGE1人工智能教學實訓建設方案北京紅亞華宇科技有限公司二〇二〇年第一章 發(fā)展背景 4第二章 方案優(yōu)勢 62.1. 方案優(yōu)勢 62.2. 系統(tǒng)優(yōu)勢 7第三章 教學實訓 83.1. 學習模式 93.1.1. 實驗平臺 93.2. 練習算法 103.2.1. 算法集 103.2.2. 數(shù)據(jù)集 103.3. 在線考試 113.3.1. 理論考核 113.3.2. 實踐測評 113.4. 智能教務 123.4.1. 教學進度分析 123.4.2. 教學計劃管理 123.4.3. 實驗報告管理 123.5. 平臺管理 133.5.1. 用戶管理 133.5.2. 資源管理 133.5.3. 系統(tǒng)管理 13第四章 紅亞教學資源 144.1. 人工智能基礎課程資源 144.1.1. Linux基礎 144.1.2. 編程基礎 164.1.3. 數(shù)學基礎 204.1.4. 數(shù)據(jù)庫基礎 224.1.5. Python數(shù)據(jù)處理 244.2. 人工智能課程資源 294.2.1. 機器學習 294.2.2. 數(shù)據(jù)分析 324.2.3. 數(shù)據(jù)挖掘 334.2.4. 深度學習 354.2.5. 自然語言處理 374.2.6. 計算機視覺 38數(shù)據(jù)安全科研保障箱 39

發(fā)展背景當今，世界無時無刻不在發(fā)生著變化。對于技術領域而言，普遍存在的一個巨大變化就是為大數(shù)據(jù)（Bigdata）打開了大門。隨著國家大數(shù)據(jù)戰(zhàn)略推進實施以及配套政策的貫徹落實，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展環(huán)境進一步優(yōu)化，社會經(jīng)濟各領域?qū)Υ髷?shù)據(jù)服務需求進一步增強，大數(shù)據(jù)的新技術、新業(yè)態(tài)、新模式不斷涌現(xiàn)，產(chǎn)業(yè)規(guī)模持續(xù)保持高速增長態(tài)勢。并且，隨著高校獲準開設“數(shù)據(jù)科學與大數(shù)據(jù)技術”專業(yè)，大數(shù)據(jù)需要的復合型人才將源源不斷形成。加之海外和傳統(tǒng)行業(yè)跨界人才不斷加入大數(shù)據(jù)行業(yè)，大數(shù)據(jù)產(chǎn)業(yè)將迎來創(chuàng)新發(fā)展。大數(shù)據(jù)時代的來臨加快了人工智能應用的發(fā)展，隨著大數(shù)據(jù)的應用，以及計算機算力的大幅提升，深度學習進一步提升和完善的需要得到了滿足，數(shù)據(jù)驅(qū)動的人工智能時代已經(jīng)到來，人工智能發(fā)展進入新階段。當前，新一代人工智能相關學科發(fā)展、理論建模、技術創(chuàng)新、軟硬件升級等整體推進，正在引發(fā)鏈式突破，推動經(jīng)濟社會各領域從數(shù)字化、網(wǎng)絡化向智能化加速躍升，數(shù)據(jù)科學與人工智能的結合越來越緊密。大數(shù)據(jù)及人工智能成為國際競爭的新焦點，是引領未來的戰(zhàn)略性技術，世界主要發(fā)達國家把大數(shù)據(jù)、人工智能的發(fā)展作為提升國家競爭力、維護國家安全的重大戰(zhàn)略，加緊出臺規(guī)劃和政策，圍繞核心技術、頂尖人才、標準規(guī)范等強化部署，力圖在新一輪國際科技競爭中掌握主導權。當前，我國國家安全和國際競爭形勢更加復雜，必須放眼全球，把大數(shù)據(jù)及人工智能發(fā)展放在國家戰(zhàn)略層面系統(tǒng)布局、主動謀劃，牢牢把握新階段大數(shù)據(jù)及人工智能國際競爭的戰(zhàn)略主動，打造競爭新優(yōu)勢、開拓發(fā)展新空間，有效保障國家安全。

方案優(yōu)勢方案優(yōu)勢基于云模式的智慧教育人工智能教學實訓平臺的設計全面落實“產(chǎn)、學、用、監(jiān)、評”一體化的思想和模式，從教學、實踐、使用、監(jiān)控、評估等多方面注重專業(yè)人才和特色人才的培養(yǎng)。學生可以通過在教學平臺的學習熟練掌握人工智能的基礎知識,通過掌握的知識在人工智能課程實驗中進行動手實踐。本實訓系統(tǒng)平臺方案融合操作系統(tǒng)、數(shù)據(jù)庫、編程語言、Python數(shù)據(jù)處理、人工智能等課程，人工智能領域涉及深度學習、機器學習、深度學習、自然語言處理、計算機視覺等諸多方面，課程類型包括基礎實訓、關鍵技術掌握、應用創(chuàng)新等等各層次實踐教學。從面向人工智能行業(yè)的需求、促進學生職業(yè)發(fā)展的角度，規(guī)劃建設基于云模式的人工智能教學實訓平臺，真正在產(chǎn)業(yè)、學校及實際項目中相互配合，發(fā)揮優(yōu)勢，形成生產(chǎn)、學習、實踐、運用、監(jiān)控、評估的系統(tǒng)運作模式，從而建設大數(shù)據(jù)及人工智能特色專業(yè)。利用虛擬化教學資源，搭建實訓實戰(zhàn)平臺，將理論學習、實踐教學和大數(shù)據(jù)及人工智能搭建、挖掘、存儲、分析實戰(zhàn)融為一體，從易到難、循序漸進，逐步提升學生的學習技能和實踐水平，提高“學”的質(zhì)量和成效。定制專業(yè)化技能評估與教學監(jiān)控功能，將學生的學習情況、專業(yè)喜好、適用崗位形成報告模版。秉承著“精準、先進、創(chuàng)新”的原則，實時監(jiān)控學生操作，分析學習情況，評估學生知識水平，從而減輕學校及教師的壓力。系統(tǒng)優(yōu)勢人工智能教學實訓平臺基于開源的Docker環(huán)境，構建硬件虛擬化設備，并基于同樣開源的Kubernetes架構，實現(xiàn)GPU集群設備的自動管理和調(diào)度，以Yarn為核心，構建了資源管理系統(tǒng)，實現(xiàn)計算任務的智能調(diào)度與沖突協(xié)調(diào)。一個基礎平臺的生命力，有賴于系統(tǒng)的基礎支撐能力與對外服務能力。在面向人工智能計算需求的建設開發(fā)上，必須要考慮如何開發(fā)組織系統(tǒng)對外服務的能力。而人工智能研發(fā)需求的兩個基本要素就是計算和數(shù)據(jù)。因此，本系統(tǒng)也著眼于組建基礎計算能力和基礎數(shù)據(jù)處理能力。在計算能力建設中，系統(tǒng)將傳統(tǒng)人工智能計算方法與計算模型、當前流行的人工智能計算模型與框架，完美地融入了整個系統(tǒng)的計算模塊中，并且與底層的硬件管理與計算資源的調(diào)度，完美地結合在一起。在數(shù)據(jù)能力的建設中，系統(tǒng)將自建一套以非結構化數(shù)據(jù)的標記清洗，結構化數(shù)據(jù)的清洗為主要內(nèi)容的數(shù)據(jù)處理系統(tǒng)。在系統(tǒng)底層硬件管理上，支持CPU、GPU、FPGA、ASIC等通用或?qū)Ｓ糜嬎阌布?，實現(xiàn)對主流計算硬件的即插即用。在計算集群的設置上，往往也是分布式的，計算集群可以分布在不同機房中，不受空間限制，是人工智能教學實訓平臺在底層硬件管理上的特點。在系統(tǒng)最核心的調(diào)度算法上，通過系統(tǒng)自身構建的智能化調(diào)度策略，針對不同的計算框架和機器學習方法，系統(tǒng)自動分配相應的計算資源，包括處理器數(shù)量、內(nèi)存數(shù)量，使計算請求與計算資源的使用達到最優(yōu)匹配，提高計算資源的利用效率，降低單位時間的運行成本。同時，當用戶發(fā)起計算請求時，系統(tǒng)會根據(jù)用戶距離計算中心的“距離”,自動將用戶的請求適配到距離用戶最近的計算集群上，以便用戶可以更快速地獲取計算結果，提升用戶的計算體驗。在教學管理方面，平臺自帶人工智能課程推薦功能，可為學生提供個性化課程推薦及AI課程助手，助力學生定向就業(yè)。還可以通過大數(shù)據(jù)分析，自動生成學業(yè)報告，為學生就業(yè)提供橋梁，并作為教師教學的得力助手，為高校的學生能力培養(yǎng)及教師的工作提供強有力的支持。教學實訓人工智能教學實訓平臺的建設采用B/S架構，用戶通過瀏覽器進行訪問，且支持內(nèi)網(wǎng)與外網(wǎng)同時訪問。平臺的管理功能是針對前端系統(tǒng)設置的對應的管理功能，便于教學過程中對前端系統(tǒng)的自定義管理。系統(tǒng)課程學習模式包括實驗平臺、項目路徑和職業(yè)路徑，滿足不同場景的教學需求。在教學管理方面，平臺自帶人工智能課程推薦功能，可為學生提供個性化課程推薦及AI課程助手，助力學生定向就業(yè)。還可以通過大數(shù)據(jù)分析，自動生成學業(yè)報告，為學生就業(yè)提供橋梁，并作為教師教學的得力助手，為高校的學生能力培養(yǎng)及教師的工作提供強有力的支持。實訓平臺采用私有云模式，所有課程均在云端進行，自主研發(fā)設計的教學平臺可將硬件資源進行集中調(diào)度分配，可管理大規(guī)模CPU、GPU、FPGA等高性能分布式計算集群，利用容器技術對計算資源進行虛擬化，以智能調(diào)度的方式對外提供計算服務，并依托開源分布式計算框架和深度學習框架，支持訓練、推理，支持CNN、RNN等各種類型的網(wǎng)絡模型，支持Xgboost等傳統(tǒng)機器學習模型，適合大數(shù)據(jù)、人工智能、深度計算；課程內(nèi)容涵蓋操作系統(tǒng)、編程語言、Python數(shù)據(jù)處理、機器學習、數(shù)據(jù)分析、數(shù)據(jù)挖掘、深度學習、計算機視覺、自然語言處理等諸多方面，課程類型包括基礎實訓、關鍵技術掌握、應用創(chuàng)新等，是一個綜合性的學習研究平臺；平臺配合專用的資源監(jiān)控系統(tǒng)、課程監(jiān)控系統(tǒng)，可實時的監(jiān)控整個平臺的硬件資源負載以及學生學習的狀態(tài)，可幫助教師合理的安排課程及對應資源。學習模式實驗平臺該模式以知識體系為核心，將人工智能內(nèi)容按照不同類型的知識模塊進行分類。體系下包含了：操作系統(tǒng)、編程語言、Python數(shù)據(jù)處理、機器學習、數(shù)據(jù)分析、數(shù)據(jù)挖掘、深度學習、計算機視覺、自然語言處理等諸多方面，該模式圍繞一個內(nèi)容展開了多方面知識的學習，與現(xiàn)在教育方式一致，保留了師生們傳統(tǒng)的學習授課方法。不僅如此，為滿足學校的已有的課程教學資源，老師可以自定義實驗內(nèi)容及實驗鏡像，將文本類、實操類、視頻類課程上傳到教學平臺上滿足教學需求。練習算法算法集算法集提供了一個環(huán)境，用戶可以在里面寫代碼、運行代碼、查看結果，并在其中可視化數(shù)據(jù)，并與平臺中的數(shù)據(jù)集功能進行交互式使用，可直接調(diào)用平臺當中的數(shù)據(jù)集用于算法在實際數(shù)據(jù)中的實踐測試。鑒于這些優(yōu)點，它能幫助他們便捷地執(zhí)行各種端到端任務，如數(shù)據(jù)清洗、統(tǒng)計建模、構建/訓練機器學習模型等。算法集的一個特色是允許把代碼寫入獨立的cell中，然后單獨執(zhí)行。這樣做意味著用戶可以在測試項目時單獨測試特定代碼塊，無需從頭開始執(zhí)行代碼。雖然其他的IDE環(huán)境（如RStudio）也提供了這種功能，但就個人使用情況來看，算法集的單元結構是設計的最好的。算法集的優(yōu)勢還體現(xiàn)在靈活性和交互性上，除了最基礎的Python，它還允許用戶在上面運行R語言。由于它比IDE平臺更具交互性，教師也更樂于在各種教程中用它來展示代碼。數(shù)據(jù)集數(shù)據(jù)集功能提供數(shù)量眾多的數(shù)據(jù)集，包括互聯(lián)網(wǎng)、零售、電商、醫(yī)療等相關數(shù)據(jù)集，數(shù)據(jù)集中的數(shù)據(jù)可直接與算法集中的算法進行交互使用，為算法提供所需數(shù)據(jù)的調(diào)用支撐。教師可根據(jù)數(shù)據(jù)集的內(nèi)容、格式、數(shù)量等為學生設定開放式課題，使用真實的數(shù)據(jù)集進行大數(shù)據(jù)、人工智能項目案例處理分析，深度理解掌握如何處理這些數(shù)據(jù)，例如，教師給定一份數(shù)據(jù)讓學生進行預測實驗，學生需設計算法進行清洗與預測等。平臺提供開放式上傳功能，支持用戶將自己的數(shù)據(jù)上傳至平臺當中，并可設定是否與他人共用，可幫助用戶解決數(shù)據(jù)存放管理問題，實現(xiàn)用戶數(shù)據(jù)的開放式共享。在線考試理論考核理論考核采用在線考核模式，將單選題、多選題、判斷題、填空題、簡答題添加在試卷上，每一道題的題目、正選、分值等內(nèi)容可由管理員自行設置，簡答題題采用關鍵詞進行自動判分，同時也可以由教師手動判分。實踐測評實踐測評考核模式是以實驗操作過程為考核點，也稱之為實操題考核模式，由教師在管理端設置考核步驟、分值權重，平臺提供配套的實驗考試環(huán)境。學生在實際操作過程中遇到的考核點，需要根據(jù)實際結果去填寫，到最后統(tǒng)一匯總分數(shù)。該模式突破了傳統(tǒng)的考核模式，通過實操的方式來加深印象，鞏固知識。智能教務教學進度分析課程實驗具有核全局開關功能，打開全局考核后，進行所有實驗時都必須完成實驗當中設定的每一步考核才能查看下一步。接著，系統(tǒng)不僅自動檢測到正在進行實驗，也可以手動設定實驗狀態(tài)分析（也可以手動設置分析目標）。查看分析結果時可查看每個班級的學生在進行每個實驗時完成度，查看每個實驗的每個步驟的通過率、完成率、完成進度、實驗總結信息等。教學進度分析功能可通過智能化的手段，有效幫助教師分析并掌握整個班級的學習情況，根據(jù)學生完成實驗的進度過程進行授課，選擇重點難點部分進行針對性講解，有效降低教師授課壓力，高效完成授課任務。教學計劃管理管理員在后臺可以一次性布置全部的教學計劃，規(guī)定上課時間與學習課程，隨后學生通過在前端查看，即可了解到每一天的課程安排。實驗報告管理教師通過此功能查看學生的實驗報告，支持預覽和批閱等功能，后臺自動統(tǒng)計學生學習數(shù)據(jù)，展示出每個步驟的學習通過時間、成績正確率、班級排名等信息，并將實驗數(shù)據(jù)與學生的實驗報告有機結合，形成完成的實驗報告。此功能相較于傳統(tǒng)的實驗報告，增加了學生的學習數(shù)據(jù)統(tǒng)計功能，可大大的減輕教師的負擔，同時為教師了解班級整體的學習狀況提供的有力的支持。平臺管理用戶管理為滿足教師方便的管理班級學院，平臺提供用戶組織管理功能。其中用戶管理顯示平臺用戶的信息列表，管理端可對平臺用戶信息進行編輯與刪除，包含根據(jù)組織、專業(yè)、班級、姓名等信息進行用戶模糊篩選，便于管理平臺用戶；角色管理顯示平臺現(xiàn)有角色，用戶可編輯新的角色并賦予角色權限；組織結構管理顯示平臺現(xiàn)有的組織機構，管理端可以也可根據(jù)層級分步添加組織、學院、系別、專業(yè)、班級，對同級別下的機構進行排序。資源管理用戶可以在此查看版本信息、用戶數(shù)量、實驗數(shù)量，資源監(jiān)控及用戶虛擬機監(jiān)控。同時后臺資源監(jiān)控中心可查看平臺的用戶數(shù)量、實驗數(shù)量、職業(yè)路徑數(shù)量、項目路徑數(shù)量、算法集數(shù)量、數(shù)據(jù)集數(shù)量、用戶分布、活躍用戶等數(shù)據(jù)；實時的CPU、內(nèi)存、硬盤、實例的使用情況和該時刻學生實驗進行的狀態(tài)；可對虛擬機進行監(jiān)控所處的實驗環(huán)境、創(chuàng)建位置、用戶姓名、創(chuàng)建時間時間以及開啟和關閉的狀態(tài)。該功能的實現(xiàn)可便捷精準的反應出學生的問題所在，可對實驗平臺進行實時狀態(tài)的查看，又同時提高了老師的教學質(zhì)量和效率。系統(tǒng)管理郵件系統(tǒng)配置是為了減輕管理端的任務負擔，配置好郵件系統(tǒng)之后，學生在忘記登陸密碼之后可以通過郵件找回密碼。紅亞教學資源人工智能基礎課程資源Linux基礎Linux系統(tǒng)是開源軟件，其可靠性得到肯定，是當今舉世矚目、發(fā)展最快、應用最廣的主流軟件之一。在服務器平臺、嵌入式系統(tǒng)和云計算系統(tǒng)所運行的操作系統(tǒng)中，Linux占很大比重。大數(shù)據(jù)主流框架Hadoop、Spark都架設在Linux系統(tǒng)上，所以現(xiàn)在學習和應用Linux成為眾多用戶和學生的首選。Linux基礎Linux基礎Linux系統(tǒng)概述Linux簡介Linux應用領域Linux優(yōu)勢字符操作環(huán)境使用Shell字符編輯器VILinux文件系統(tǒng)Linux文件ext3文件系統(tǒng)安裝和卸載文件系統(tǒng)進程管理Linux進程概述進程控制命令常用命令介紹目錄操作文件操作磁盤操作文本編輯幫助命令用戶管理Linux用戶賬戶概述管理用戶和群組命令行配置用戶管理器配置系統(tǒng)監(jiān)控與備份顯示系統(tǒng)進程查看硬件信息查看日志文件數(shù)據(jù)備份與恢復軟件包管理RPM概述RPM包的命令介紹查看軟件包（檢查軟件包簽名）軟件包管理工具管理網(wǎng)絡服務守護進程服務配置FTP服務配置郵件服務器Apache服務器編程基礎編程基礎包含Python基礎、R語言基礎、Scala基礎和Java基礎四大模塊共計82個實驗項目。針對每一個所講解的知識點都進行了深入分析，并使用生動形象的情境化舉例，將原本復雜的、難于理解的知識點和問題進行簡化，針對每個知識點，精心設計了相應的問題，讓學習者不但能掌握和理解這些知識點，并且還可以清楚地知道在實際工作中如何去運用。編程基礎Python基礎Python基礎Python介紹Python開發(fā)環(huán)境搭建Python基本數(shù)據(jù)類型Python變量Python基本輸入輸出Python模塊Python運算符與表達式Python選擇與循環(huán)結構Python序列操作Python列表常用方法Python元組Python列表解析式與生成器表達式Python字符編碼Python字符串基本操作Python字符串格式化Python字符串方法Python正則表達式與re模塊Python字典創(chuàng)建與使用Python字典方法Python集合創(chuàng)建與使用Python集合常用運算Python文件基本概念Python打開與關閉文件Python文件對象基本方法Python數(shù)據(jù)序列化與反序列化Python文件與文件夾基本操作Python函數(shù)的定義和調(diào)用Python函數(shù)參數(shù)Python變量作用域Python函數(shù)返回值Python函數(shù)嵌套定義、閉包、裝飾器Python類的定義和使用Python構造方法與析構方法Python成員訪問權限Python繼承Python異常概念與常見表現(xiàn)形式Python常見異常處理結構Python的raise語句R語言基礎R語言基礎R語言開發(fā)環(huán)境搭建R語言對象與屬性R語言向量R語言矩陣和數(shù)組R語言列表R語言數(shù)據(jù)框R語言構建子集lapply函數(shù)apply函數(shù)mapply函數(shù)split函數(shù)tapply函數(shù)R語言重復值處理R語言排序Scala基礎Scala基礎Scala開發(fā)環(huán)境搭建Scala控制結構和函數(shù)Scala數(shù)組相關操作Scala映射與元組Scala類與對象Scala包管理Scala繼承Scala文件和正則表達式Scala特質(zhì)Scala運算符(原本為scala操作符)Scala高階函數(shù)Scala集合Scala模式匹配和樣例類Scala類型參數(shù)Scala高級類型Scala隱式轉換和隱式參數(shù)Java基礎Java基礎Java開發(fā)環(huán)境搭建Java的類和對象Java標識符、關鍵字與運算符Java基本數(shù)據(jù)類型Java流程控制Java繼承與多態(tài)Java抽象類與接口Java內(nèi)部類Java異常處理Java集合類Java基礎類庫Java泛型Java的輸入與輸出Java數(shù)據(jù)庫操作數(shù)學基礎數(shù)字在數(shù)學體系中穩(wěn)固的位置，而大數(shù)據(jù)技術也和數(shù)學緊緊地結合在一起。數(shù)學基礎共計信息論、線性代數(shù)、概率論與數(shù)理統(tǒng)計、數(shù)值計算和最優(yōu)化方法五大模塊30個教學項目。大數(shù)據(jù)技術本身是一門交叉性學科，統(tǒng)計方法為核心，所以學習數(shù)學基礎就顯得尤為重要。數(shù)學基礎信息論信息論熵聯(lián)合熵條件熵相對熵互信息最大熵模型線性代數(shù)線性代數(shù)標量向量張量范數(shù)矩陣特征分解幾種常用距離計算概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計隨機變量概率分布貝葉斯公式期望方差協(xié)方差常見分布函數(shù)最大似然估計數(shù)值計算數(shù)值計算數(shù)值計算概述上溢和下溢計算復雜性與NP問題最優(yōu)化方法最優(yōu)化方法最優(yōu)化理論概述最優(yōu)化問題的數(shù)學描述凸集與凸集分離方法梯度下降算法啟發(fā)式優(yōu)化方法牛頓法和擬牛頓法數(shù)據(jù)庫基礎數(shù)據(jù)庫已是當今信息社會須臾不可脫離的重要工具，數(shù)據(jù)庫的教學也就成為計算機科學與技術專業(yè)的一門必修課程。在大數(shù)據(jù)技術中，數(shù)據(jù)倉庫的搭建離不開傳統(tǒng)數(shù)據(jù)庫的支持，所以，學習數(shù)據(jù)庫基礎是為大數(shù)據(jù)的存儲做準備。數(shù)據(jù)庫基礎excelExcleExcel函數(shù)與公式Excel數(shù)據(jù)統(tǒng)計與匯總VBA程序基礎VBA數(shù)據(jù)類型VBA流程控制VBA綜合應用mysqlMysqlMySQL簡介與安裝MySQL創(chuàng)建連接MySQL操作數(shù)據(jù)庫MySQL操作數(shù)據(jù)表MySQL操作數(shù)據(jù)MySQL條件限定與正則表達式MySQL表的連接MySQL排序、分組與過濾MySQL結果合并MySQL函數(shù)MySQL導入與導出oracleOracleOracle安裝與卸載Oracle數(shù)據(jù)類型（文本）表的創(chuàng)建與管理簡單查詢單行函數(shù)分組統(tǒng)計查詢多表查詢SybasePowerDesigner設計工具mongodbMongoDBMongoDB簡介與安裝MongoDB創(chuàng)建連接MongoDB操作數(shù)據(jù)庫MongoDB操作集合MongoDB操作文檔MongoDB條件操作符與正則表達式MongoDB之Limit與Skip方法MongoDB排序與聚合Redis+MemcacheRedis+MemcacheRedis簡介、安裝與配置Redis命令（包括Redis鍵）Redis數(shù)據(jù)類型Redis基數(shù)統(tǒng)計Redis服務器與連接memcached簡介與安裝memcached連接memcached存儲memcached查找memcached統(tǒng)計SQLiteSQLiteSQLite簡介與安裝SQLite操作數(shù)據(jù)庫SQLite操作數(shù)據(jù)表SQLite操作數(shù)據(jù)SQLite條件限定與通配符SQLite表的連接SQLite排序、分組與過濾SQLite結果合并SQLite之Explain細節(jié)描述SQLite函數(shù)Python數(shù)據(jù)處理隨著大數(shù)據(jù)瘋狂的浪潮，新生代的工具Python得到了前所未有的爆發(fā)。簡潔、開源是這款工具吸引了眾多客戶的原因。通過Python的實訓練習，掌握數(shù)據(jù)采集、數(shù)據(jù)分析、模型調(diào)優(yōu)等技術，實現(xiàn)人工智能與Python的完美融合。Python基礎知識Python基礎簡介Python語言概述為何學習Python語言Python主要應用領域Python開發(fā)環(huán)境搭建初識PythonPython基本數(shù)據(jù)類型Python變量Python基本輸入輸出Python模塊Python運算符與表達式Python選擇與循環(huán)結構Python猜數(shù)字游戲列表與元組Python序列操作Python列表常用方法Python元組Python列表解析式與生成器表達式字符串與正則表達式Python字符編碼Python字符串基本操作Python字符串格式化Python字符串方法Python正則表達式與re模塊字典Python字典創(chuàng)建與使用Python字典方法集合Python集合創(chuàng)建與使用Python集合常用運算文件操作Python文件基本概念Python打開與關閉文件Python文件對象基本方法Python數(shù)據(jù)序列化與反序列化Python文件與文件夾基本操作函數(shù)Python函數(shù)的定義和調(diào)用Python函數(shù)參數(shù)Python變量作用域Python函數(shù)返回值Python函數(shù)嵌套定義、閉包、裝飾器面向?qū)ο驪ython類的定義和使用Python構造方法與析構方法Python成員訪問權限Python繼承異常處理結構Python異常概念與常見表現(xiàn)形式Python常見異常處理結構Python的raise語句Python數(shù)據(jù)采集爬蟲初識爬蟲簡介爬蟲應用場景爬蟲基本工作原理網(wǎng)絡請求基礎TCP/IP協(xié)議HTTP請求格式HTTP常用請求頭響應狀態(tài)碼瀏覽器發(fā)送HTTP請求的過程cookie和session使用Python發(fā)送網(wǎng)絡請求Requests模塊介紹使用Requests發(fā)送post請求使用Requests發(fā)送get請求使用Requests發(fā)送帶Header請求使用Requests發(fā)送帶參數(shù)請求Python爬蟲實戰(zhàn)XPATH介紹及節(jié)點選擇LXML介紹及使用對抗反爬蟲措施網(wǎng)站數(shù)據(jù)爬取實驗IP代理數(shù)據(jù)爬取Python數(shù)據(jù)分析分類與預測決策樹K近鄰分類算法支持向量機Python隨機森林Logistic回歸分析人工智能網(wǎng)絡常用聚類分析算法K-Means聚類算法系統(tǒng)聚類算法DBSCAN聚類算法關聯(lián)規(guī)則算法Apriori算法簡介Apriori算法應用協(xié)同過濾算法基于用戶的協(xié)同過濾算法基于物品的協(xié)同過濾算法時間序列數(shù)據(jù)分析時間序列預處理平穩(wěn)時間序列分析非平穩(wěn)時間序列分析Python主要時序模式算法離群點檢測方法離群點檢測概述基于密度的離群點檢測方法基于聚類的離群點檢測方法基于距離的離群點檢測方法數(shù)據(jù)降維數(shù)據(jù)降維概述常用降維方法-1.機器學習簡介常用降維方法-2.機器學習數(shù)學預備知識常用降維方法-3.常用降維方法的目的常用降維方法-4.常用降維方法解讀模型調(diào)優(yōu)與實戰(zhàn)模型評估與調(diào)優(yōu)模型評估和調(diào)優(yōu)的意義評估指標模型調(diào)優(yōu)建議與注意事項數(shù)據(jù)分析與挖掘?qū)崙?zhàn)電子商務的智能推薦財政收入分析電商產(chǎn)品評價分析電力竊漏識別分析電器使用情況分析人工智能課程資源機器學習機器學習是人工智能中發(fā)展最快的分支之一，是人工智能的主要技術途徑。在本課程體系中，機器學習處于基礎地位，是學好后續(xù)課程的基礎。本課程講授機器學習的基本原理和方法，涵蓋了線性回歸實驗分析、Python從零實現(xiàn)線性回歸方程、機器學習模型評估方法對比分析、邏輯回歸實驗分析等課程的主要方法。機器學習線性回歸線性回歸實驗分析Python從零實現(xiàn)線性回歸方程機器學習模型評估方法對比分析邏輯回歸邏輯回歸實驗分析Python從零實現(xiàn)邏輯回歸方程項目實戰(zhàn)-信用卡交易數(shù)據(jù)欺詐檢測決策樹與集成實例決策樹算法實驗分析Python從零實現(xiàn)決策樹模型集成算法實驗分析集成模型搭建實例項目實戰(zhàn)-基于隨機森林的氣溫預測貝葉斯算法Python從零實現(xiàn)貝葉斯算法項目實戰(zhàn)-基于貝葉斯的新聞數(shù)據(jù)分類貝葉斯優(yōu)化及其工具包使用實戰(zhàn)貝葉斯分析實例聚類算法分析Python從零實現(xiàn)Kmeans算法聚類算法實驗分析支持向量機基于SVM的簡易人臉識別案例支持向量機實驗分析降維算法線性判別分析實驗主成分分析提升算法Xgboost建模調(diào)參實戰(zhàn)xgboost-gbdt-lightgbm算法對比分析項目實戰(zhàn)-使用lightgbm進行飯店流量預測隱馬爾科夫模型HMM實現(xiàn)中文分詞機器學習綜合項目制作自己常用工具包特征工程試驗分析項目實戰(zhàn)-從零開始打造音樂推薦系統(tǒng)推薦系統(tǒng)實驗分析關聯(lián)規(guī)則工具包實戰(zhàn)Python從零實現(xiàn)關聯(lián)規(guī)則科比職業(yè)生涯數(shù)據(jù)分析建模Python時間序列分析實戰(zhàn)ARIMA模型實戰(zhàn)項目實戰(zhàn)-人口普查數(shù)據(jù)集項目實戰(zhàn)-收入預測模型學習曲線分析基于統(tǒng)計分析的電影推薦項目實戰(zhàn)-貸款申請最大利潤分析NLP-文本特征方法對比項目實戰(zhàn)-用戶流失預警機器學習項目建模模板數(shù)據(jù)分析數(shù)據(jù)分析指用適當?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進行分析，將它們加以匯總和理解并消化，以求最大化地開發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。數(shù)據(jù)分析是為了提取有用信息和形成結論而對數(shù)據(jù)加以詳細研究和概括總結的過程。本課程涵蓋了數(shù)據(jù)分析的主要知識內(nèi)容。數(shù)據(jù)分析統(tǒng)計分析方法假設檢驗分析相關分析方差分析科學計算庫-Numpy數(shù)據(jù)分析處理庫-Pandas可視化庫-Matplotlib可視化庫-Seaborn數(shù)據(jù)降維常用策略數(shù)據(jù)降維分析鳶尾花數(shù)據(jù)集分析數(shù)據(jù)預處理與缺失值分析數(shù)據(jù)科學你得知道的幾種分布實例商品可視化展示與文本處理數(shù)據(jù)分析經(jīng)典案例多變量分析實例紐約出租車運行情況分析建?；诮y(tǒng)計分析的電影推薦任務商品訂單數(shù)據(jù)集分析KIVA貸款數(shù)據(jù)分析汽車價格回歸分析手寫字體識別對比分析員工離職預測基于NLP的股價預測借貸公司數(shù)據(jù)分析數(shù)據(jù)挖掘數(shù)據(jù)挖掘是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息的非平凡過程。數(shù)據(jù)挖掘是一種決策支持過程，它主要基于人工智能、機器學習、模式識別、統(tǒng)計學、數(shù)據(jù)庫、可視化技術等，高度自動化地分析企業(yè)的數(shù)據(jù)，作出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場策略，減少風險，作出正確的決策。本課程涵蓋了數(shù)據(jù)挖掘的主要知識內(nèi)容。數(shù)據(jù)挖掘數(shù)據(jù)挖掘經(jīng)典實例解讀數(shù)據(jù)特征預處理實驗文本特征處理方法對比項目實戰(zhàn)-愛彼迎數(shù)據(jù)集分析與建模項目實戰(zhàn)-基于相似度的酒店推薦系統(tǒng)項目實戰(zhàn)-商品銷售額回歸分析項目實戰(zhàn)-絕地求生數(shù)據(jù)集探索分析與建模項目實戰(zhàn)-銀行客戶還款可能性預測圖像特征聚類分析實踐競賽優(yōu)勝解決方案項目實戰(zhàn)-快手短視頻用戶活躍度分析項目實戰(zhàn)-工業(yè)化工生產(chǎn)預測項目實戰(zhàn)-智慧城市-道路通行時間預測特征工程建?？山忉尮ぞ甙椖繉崙?zhàn)-醫(yī)學糖尿病數(shù)據(jù)命名實體識別貸款平臺風控模型-特征工程項目實戰(zhàn)-新聞關鍵詞抽取模型數(shù)據(jù)特征常用構建方法項目實戰(zhàn)-用電敏感客戶分類項目實戰(zhàn)-京東購買意向預測項目實戰(zhàn)-泰坦尼克號獲救預測數(shù)據(jù)挖掘常用策略實戰(zhàn)用戶畫像分析數(shù)據(jù)特征常用構建方法集成策略實例模型解釋方法實戰(zhàn)kaggle數(shù)據(jù)科學調(diào)查分析項目實戰(zhàn)-房價預測項目實戰(zhàn)-fbprophet時間序列預測自然語言處理常用工具包實戰(zhàn)Pandas數(shù)據(jù)處理實戰(zhàn)深度學習深度學習是人工智能第三次浪潮的核心技術，廣泛應用于圖像識別、語音識別、機器翻譯、醫(yī)療影像處理、自然語言處理、人機博弈等眾多領域，使得這些領域取得了突破性進展。本課程是AI課程系列中的核心，講授深度學習的原理、技巧和前沿技術。深度學習神經(jīng)網(wǎng)絡算法神經(jīng)網(wǎng)絡算法實驗分析word2vec詞向量模型實驗基于word2vec的文本分類實戰(zhàn)維基百科數(shù)據(jù)集訓練詞向量模型Python從零實現(xiàn)神經(jīng)網(wǎng)絡PyTorch框架與實戰(zhàn)PyTorch框架基本處理操作神經(jīng)網(wǎng)絡實戰(zhàn)分類與回歸任務圖像識別核心模塊實戰(zhàn)解讀遷移學習的作用與應用實例遞歸神經(jīng)網(wǎng)絡與詞向量原理解讀新聞數(shù)據(jù)集文本分類實戰(zhàn)對抗生成網(wǎng)絡架構