鯤鵬原生開(kāi)發(fā)技術(shù)白皮書(shū) 2024

3 19 22 23 26 26 45 53 53 58 61 63 65 70 71 76技術(shù)白皮書(shū)1鯤鵬原生開(kāi)發(fā)的機(jī)遇和挑戰(zhàn)鯤鵬計(jì)算產(chǎn)業(yè)聚焦計(jì)算架構(gòu)創(chuàng)新和開(kāi)源基礎(chǔ)軟件的研發(fā)，以及華為云服動(dòng)鯤鵬生態(tài)發(fā)展。通過(guò)戰(zhàn)略性、長(zhǎng)期性的研發(fā)投入，吸納全球計(jì)算產(chǎn)業(yè)先進(jìn)技術(shù)，持續(xù)推進(jìn)全棧計(jì)算技術(shù)的創(chuàng)新發(fā)展，加快構(gòu)筑面向多樣化計(jì)體系與產(chǎn)業(yè)標(biāo)準(zhǔn)?；凇坝布_(kāi)放、軟件開(kāi)源、使能伙伴、發(fā)展人才”何保證伙伴應(yīng)用鯤鵬版本的持續(xù)發(fā)布，是鯤鵬計(jì)算產(chǎn)業(yè)面臨的一大問(wèn)題支撐高效率地持續(xù)開(kāi)發(fā)高性能、多平臺(tái)兼容的應(yīng)用的用戶(hù)訴求，也是目●伙伴期望一套流水線(xiàn)支持多套架構(gòu)，但流水線(xiàn)改造繁瑣、工作量大?！袢绾问鼓荟H鵬微架構(gòu)等優(yōu)化，獲得性能提升；使能安全合規(guī)掃描，提升多算力版技術(shù)白皮書(shū)2鯤鵬原生開(kāi)發(fā)的核心2鯤鵬原生開(kāi)發(fā)的核心技術(shù)理念技術(shù)白皮書(shū)3鯤鵬原生開(kāi)發(fā)能力介紹加速庫(kù)函數(shù)字典、智能提示、高亮、聯(lián)想字典中可以替換的庫(kù)和函數(shù)。技術(shù)白皮書(shū)●鯤鵬應(yīng)用工程：只需要在創(chuàng)建鯤鵬應(yīng)用工程頁(yè)面進(jìn)行簡(jiǎn)單的輸入和選擇，便可以實(shí)現(xiàn)自動(dòng)化構(gòu)建鯤鵬應(yīng)用工程，包括空工程、通用計(jì)算應(yīng)●字典管理：支持加速庫(kù)函數(shù)字典管理，可線(xiàn)上（自動(dòng)）和線(xiàn)下更新。提供場(chǎng)景化的鯤鵬應(yīng)用工程模板，快速輔助工程環(huán)境構(gòu)建、配置檢查、技術(shù)白皮書(shū)技術(shù)白皮書(shū)步驟2開(kāi)啟加速庫(kù)提示，開(kāi)啟后，用戶(hù)編碼過(guò)程中將會(huì)步驟3開(kāi)啟編譯選項(xiàng)智能聯(lián)想，開(kāi)啟后，工具將會(huì)根步驟4設(shè)置跳過(guò)證書(shū)驗(yàn)證的網(wǎng)站，設(shè)置后的網(wǎng)站無(wú)需進(jìn)行證支持鯤鵬加速庫(kù)函數(shù)的懸浮提示、函數(shù)搜索，支持編碼時(shí)智能聯(lián)），性能開(kāi)源組件、基礎(chǔ)加速軟件包和應(yīng)用加速軟件包，使能應(yīng)用極致性能芯片級(jí)特性，如內(nèi)存管理、計(jì)算調(diào)度等方面的技術(shù)優(yōu)勢(shì)，通過(guò)預(yù)置的架，賦能開(kāi)發(fā)者輕松構(gòu)建適應(yīng)鯤鵬架構(gòu)的高性能應(yīng)用。在同一個(gè)構(gòu)建技術(shù)白皮書(shū)技術(shù)白皮書(shū)），（以托管場(chǎng)景為例，云手機(jī)并發(fā)密度取決于客戶(hù)云手機(jī)實(shí)際應(yīng)用），具有高密視頻流云手機(jī)方案基于視頻流的端云協(xié)同引擎，提供了低時(shí)延的云的畫(huà)面，并進(jìn)行視頻的壓縮流化后，發(fā)送到終端播放顯示。視頻流編碼能力、視頻解碼播放能力、云手機(jī)圖像截屏等核心功能，客戶(hù)可以基于這些引擎進(jìn)行二次開(kāi)發(fā)，實(shí)現(xiàn)在移動(dòng)終技術(shù)白皮書(shū)現(xiàn)云端復(fù)制應(yīng)用和游戲的渲染指令，并進(jìn)行渲染指令和紋理數(shù)據(jù)壓渲染、紋理數(shù)據(jù)視頻流化、觸控和音頻抓取/放些引擎進(jìn)行二次開(kāi)發(fā)，實(shí)現(xiàn)在移動(dòng)終端上進(jìn)行操控應(yīng)用和游戲等操流引擎技術(shù)，可以支持云手機(jī)全系統(tǒng)渲染，并提供近乎無(wú)在通過(guò)插件化的形式，端到端提升數(shù)據(jù)加載、數(shù)據(jù)計(jì)算和數(shù)據(jù)交換技術(shù)白皮書(shū)），法原理和芯片特征針對(duì)機(jī)器學(xué)習(xí)和圖分析算法進(jìn)行深入優(yōu)化，從技術(shù)白皮書(shū)適用于塊存儲(chǔ)服務(wù)數(shù)據(jù)壓縮和對(duì)象存儲(chǔ)服務(wù)數(shù)據(jù)壓縮，與主流開(kāi)統(tǒng)標(biāo)量編碼的高階有限域乘法，配合編碼調(diào)度，復(fù)用中間計(jì)算通過(guò)大數(shù)求余算法和配合鯤鵬向量化指令實(shí)現(xiàn)編碼加速，與主），技術(shù)白皮書(shū)通過(guò)消除補(bǔ)零對(duì)齊操作帶來(lái)的數(shù)據(jù)浪費(fèi)問(wèn)題，結(jié)合壓緊封裝、空間成本性能雙收益。數(shù)據(jù)壓緊可將數(shù)據(jù)壓縮率再提高務(wù)寫(xiě)性能，提高數(shù)據(jù)可靠性；讀緩存通過(guò)數(shù)據(jù)預(yù)取提前將熱點(diǎn)數(shù)據(jù)更便捷地為行業(yè)客戶(hù)構(gòu)建機(jī)密計(jì)算解決方案，從而為用戶(hù)的關(guān)鍵數(shù)據(jù)提技術(shù)白皮書(shū)●TEEOS：華為自研安全操作系統(tǒng)，為可信應(yīng)用案通過(guò)隊(duì)列方式管理任務(wù)，所有的任務(wù)先放入等待執(zhí)行隊(duì)列，按系技術(shù)白皮書(shū)優(yōu)的加速庫(kù)，自動(dòng)配置全棧最佳參數(shù)。通過(guò)收集應(yīng)用負(fù)載信息自動(dòng)升流表的查找速度，提高虛擬化網(wǎng)絡(luò)的處理能力，可實(shí)現(xiàn)虛擬化網(wǎng)技術(shù)白皮書(shū)自研、基礎(chǔ)軟件優(yōu)化和行業(yè)應(yīng)用性能調(diào)優(yōu)等技術(shù)構(gòu)建全棧高性能計(jì)算源管理功能，串聯(lián)整個(gè)工作流程，幫助用戶(hù)合理地進(jìn)行作業(yè)調(diào)度和資源分加速庫(kù)，為大數(shù)據(jù)加解密、分布式存儲(chǔ)壓縮、視頻技術(shù)白皮書(shū)），此分配器分為單線(xiàn)程和多線(xiàn)程應(yīng)用場(chǎng)景，最大限度地減少內(nèi)部緩用戶(hù)級(jí)線(xiàn)程庫(kù)。用于解決內(nèi)核級(jí)線(xiàn)程大量使用時(shí)，應(yīng)用性能下降、的問(wèn)題，尤其解決嵌套并行場(chǎng)景下性能極低的問(wèn)題。在保障減少資形式的一套標(biāo)準(zhǔn)，是描述數(shù)據(jù)的表示、編碼、技術(shù)白皮書(shū)其在鯤鵬計(jì)算平臺(tái)上的壓縮和解壓縮速率，尤其對(duì)文本類(lèi)型文件的網(wǎng)絡(luò)傳輸和實(shí)時(shí)數(shù)據(jù)處理等領(lǐng)域，為用戶(hù)提供包括向量緩沖區(qū)的分配與釋放、向量初始化、向量數(shù)學(xué)運(yùn)算與統(tǒng)計(jì)），能數(shù)學(xué)函數(shù)庫(kù)，主要完成標(biāo)量、矢量、矩陣上的數(shù)學(xué)計(jì)算，包括基本的技術(shù)白皮書(shū)過(guò)使用網(wǎng)絡(luò)技術(shù)、處理技術(shù)和存儲(chǔ)技術(shù)來(lái)提升效率和性能。通過(guò)運(yùn)匹配命中該集成流表，則直接執(zhí)行綜合行為，相比開(kāi)源的處理流程），技術(shù)白皮書(shū)●字節(jié)對(duì)齊檢查：在需要考慮字節(jié)對(duì)齊時(shí)，檢查源碼中結(jié)構(gòu)體類(lèi)型變量的字節(jié)對(duì)齊●計(jì)算精度分析：精度分析工具對(duì)應(yīng)用函數(shù)插樁后，分別在x86平臺(tái)和鯤鵬平臺(tái)運(yùn)技術(shù)白皮書(shū)技術(shù)白皮書(shū)過(guò)上述鯤鵬親和編譯器，在不修改用戶(hù)應(yīng)用源碼的情況下，提供鯤鵬平畢昇編譯器是華為編譯器實(shí)驗(yàn)室針對(duì)通用處理器架構(gòu)構(gòu)建，增強(qiáng)●高性能編譯算法，基于鯤鵬架構(gòu)深度調(diào)優(yōu)，內(nèi)存優(yōu)化、循環(huán)優(yōu)化、自動(dòng)向量化等技術(shù)白皮書(shū)GCCforopenEuler技術(shù)白皮書(shū)通用應(yīng)用調(diào)試提供鯤鵬、飛騰平臺(tái)遠(yuǎn)程調(diào)試能力，提供圖形化界面，大步驟2進(jìn)行通用應(yīng)用調(diào)試，如圖3-28所技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)系統(tǒng)性能分析是針對(duì)基于鯤鵬的服務(wù)器的性能分析工具，能收集服件、操作系統(tǒng)、進(jìn)程/線(xiàn)程、函數(shù)等各層次的性能數(shù)系統(tǒng)瓶頸點(diǎn)及熱點(diǎn)函數(shù)，給出優(yōu)化建議。該工具可以輔助用戶(hù)快速定位調(diào)優(yōu)助手是針對(duì)基于鯤鵬的服務(wù)器的調(diào)優(yōu)工具，能系統(tǒng)化組織性能指調(diào)優(yōu)助手通過(guò)系統(tǒng)化組織和分析性能指標(biāo)、熱置等信息，形成系統(tǒng)資源消耗鏈條，引導(dǎo)用戶(hù)根析性能瓶頸，并針對(duì)每條優(yōu)化路徑給出優(yōu)化建議點(diǎn)間進(jìn)行比較，從而快速獲得不同分析結(jié)果之間集群中各節(jié)點(diǎn)軟硬件配置的一致度報(bào)告。檢查對(duì)維度。對(duì)于不符合鯤鵬平臺(tái)最佳實(shí)踐的配置，工誤次數(shù)等指標(biāo)，以此識(shí)別系統(tǒng)性能瓶頸。針這些信息，用戶(hù)便可以有針對(duì)性地修改自己的訪(fǎng)問(wèn)統(tǒng)計(jì)矩陣，識(shí)別節(jié)點(diǎn)間內(nèi)存訪(fǎng)問(wèn)不平衡狀析性能瓶頸。針對(duì)部分指標(biāo)項(xiàng)，根據(jù)當(dāng)前已有的基驗(yàn)提供優(yōu)化建議。針對(duì)單個(gè)進(jìn)程，還支持分析它數(shù)和全局占比等指標(biāo)，以此識(shí)別性能瓶頸。支持），數(shù)據(jù)庫(kù)和大數(shù)據(jù)場(chǎng)景進(jìn)行自動(dòng)優(yōu)化，自動(dòng)調(diào)優(yōu)后技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)的性能分析，如調(diào)用鏈分析，熱點(diǎn)函數(shù)，鎖分析，引用關(guān)系鏈，幫助定位潛在的內(nèi)存問(wèn)題；對(duì)刻的堆快照，給出堆使用與分配變化，輔助庫(kù)調(diào)用時(shí)間、耗時(shí)和堆棧跟蹤，幫助用戶(hù)定化和當(dāng)前線(xiàn)程轉(zhuǎn)儲(chǔ)，根據(jù)線(xiàn)程轉(zhuǎn)儲(chǔ)圖形化地或數(shù)量分配最多的對(duì)象，發(fā)現(xiàn)潛在問(wèn)題；通技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)系統(tǒng)診斷是針對(duì)基于鯤鵬的服務(wù)器的性能分析工具，通過(guò)分析系統(tǒng)運(yùn)常點(diǎn)，例如：內(nèi)存泄漏、內(nèi)存越界、網(wǎng)絡(luò)丟包等，并給出優(yōu)化建議，分析應(yīng)用程序存在的內(nèi)存泄漏點(diǎn)(包括內(nèi)存未技術(shù)白皮書(shū)分析應(yīng)用程序的內(nèi)存異常訪(fǎng)問(wèn)點(diǎn)，給出異常訪(fǎng)問(wèn)考數(shù)據(jù)；診斷網(wǎng)絡(luò)，定位網(wǎng)絡(luò)疑難問(wèn)題，解決因網(wǎng)絡(luò)配置和異常而導(dǎo)致的網(wǎng)絡(luò)IO性能問(wèn)題。具體包括：網(wǎng)絡(luò)撥測(cè)、丟包診斷同階段數(shù)據(jù)流在不同處理核上執(zhí)行的情況。技術(shù)白皮書(shū)技術(shù)白皮書(shū)技術(shù)白皮書(shū)碼規(guī)范檢查，可攔截不適配鯤鵬服務(wù)器的代碼、提供鯤鵬親和代碼優(yōu)化●軟件遷移評(píng)估：自動(dòng)掃描并分析軟件包（非源碼包）、已安裝的軟件，提供可遷技術(shù)白皮書(shū)技術(shù)白皮書(shū)字節(jié)對(duì)齊檢查就是在需要考慮字節(jié)對(duì)齊時(shí)，檢查源碼中結(jié)構(gòu)體類(lèi)型變矩陣化檢查功能用于對(duì)可矩陣化片段進(jìn)行檢查，并提供矩陣化修改建議技術(shù)白皮書(shū)質(zhì)量的開(kāi)放平臺(tái)，涵蓋了架構(gòu)設(shè)計(jì)、注釋、編碼規(guī)范、潛在缺陷、代碼代碼等多個(gè)維度的質(zhì)量分析。幫助檢查代碼缺陷、改善代碼質(zhì)量以及提高開(kāi)發(fā)速）：）：）：技術(shù)白皮書(shū)鯤鵬原生開(kāi)發(fā)在流水線(xiàn)調(diào)優(yōu)階段提供了自動(dòng)反饋優(yōu)化功能，通過(guò)流水線(xiàn)技術(shù)白皮書(shū)序運(yùn)行時(shí)信息進(jìn)行優(yōu)化決策。編譯器根據(jù)這些運(yùn)行時(shí)信息指導(dǎo)各種編譯技術(shù)白皮書(shū)鯤鵬原生開(kāi)發(fā)提供了一系列兼容測(cè)試用例集，實(shí)現(xiàn)了鯤鵬兼容測(cè)試自動(dòng)試通過(guò)待測(cè)試應(yīng)用軟件在鯤鵬環(huán)境啟動(dòng)前后資源波動(dòng)異常檢軟件啟動(dòng)和停止，自動(dòng)檢測(cè)應(yīng)用軟件在鯤鵬平臺(tái)上的可試在異常終止測(cè)試場(chǎng)景檢測(cè)應(yīng)用運(yùn)行，自動(dòng)評(píng)估應(yīng)用軟件在鯤鯤鵬原生開(kāi)發(fā)兼容性測(cè)試工具安裝部署詳細(xì)內(nèi)容請(qǐng)參見(jiàn)《鯤鵬原生開(kāi)發(fā)用戶(hù)指南鯤鵬原生開(kāi)發(fā)Java性能測(cè)試工具安裝部署詳細(xì)內(nèi)容請(qǐng)參見(jiàn)《鯤鵬原生開(kāi)發(fā)用戶(hù)指南》鯤鵬原生開(kāi)發(fā)在版本發(fā)布階段提供了病毒掃描能力，實(shí)現(xiàn)了版本安全技術(shù)白皮書(shū)3.3OS底座（openEuler系操作系統(tǒng)）3.3.1openEuler簡(jiǎn)介算、嵌入式等應(yīng)用場(chǎng)景，支持多樣性計(jì)算，致力于提供安全、穩(wěn)定、易用技術(shù)白皮書(shū)技術(shù)白皮書(shū)●系統(tǒng)容器：在普通容器的基礎(chǔ)上進(jìn)行功能擴(kuò)展，相比于普通容器，系統(tǒng)容器具備由以及卷。系統(tǒng)容器主要應(yīng)用在重計(jì)算、高性能、大并發(fā)的場(chǎng)●安全容器：安全容器是虛擬化技術(shù)和容器技術(shù)的結(jié)合，相比于普通容器共用同一臺(tái)宿主機(jī)內(nèi)核存在的安全隱患，安全容器通過(guò)虛擬化層實(shí)現(xiàn)容器間個(gè)安全容器都有一個(gè)自己?jiǎn)为?dú)的內(nèi)核和輕量級(jí)虛擬機(jī)運(yùn)行環(huán)境，保統(tǒng)虛擬化的隔離能力和安全能力的同時(shí)，降低了內(nèi)存資源消耗，提高了技術(shù)白皮書(shū)openEulerAI軟件棧行環(huán)境。通過(guò)將不同AI算力平臺(tái)的軟件棧進(jìn)●模型應(yīng)用鏡像：在AI框架鏡像的基礎(chǔ)上，包含完整的工具鏈和模型置，因此無(wú)法充分發(fā)揮系統(tǒng)最佳性能。然而，針對(duì)特定的應(yīng)用場(chǎng)景進(jìn)●每個(gè)應(yīng)用的負(fù)載也復(fù)雜多樣，不同負(fù)載對(duì)應(yīng)的最優(yōu)參數(shù)值也不同。技術(shù)白皮書(shū)●智能決策的基本原理是通過(guò)采集系統(tǒng)數(shù)據(jù)，并通過(guò)AI引擎中的聚類(lèi)和分類(lèi)算法對(duì)采集到的數(shù)據(jù)進(jìn)行負(fù)載識(shí)別，得到系統(tǒng)中當(dāng)前正