英特爾：2023云原生產(chǎn)業(yè)大會(huì)-構(gòu)建可信AIGC云原生應(yīng)用

劉秉偉英特爾軟件與先進(jìn)技術(shù)事業(yè)部系統(tǒng)軟件高級(jí)總監(jiān)2023年12月1日構(gòu)建可信AIGC云原生應(yīng)用機(jī)密容器（ConfidentialContainers)英特爾?平臺(tái)的可信AIGC能力構(gòu)建可信AIGC應(yīng)用容器運(yùn)行時(shí)安全的演進(jìn)CNCF沙箱項(xiàng)目-ConfidentialContainers(CoCo)機(jī)密計(jì)算?利用HardwareTEE保護(hù)應(yīng)用/模型/數(shù)據(jù)?基于遠(yuǎn)程證明構(gòu)建信任?把基礎(chǔ)設(shè)施服務(wù)提供者排除在可信計(jì)算基（TCB）之外?提供安全上云的新范式?廣泛的業(yè)界支持?2022年3月成為CNCF沙箱項(xiàng)目?完整的安全特性?應(yīng)用場(chǎng)景驅(qū)動(dòng)云原生?容器和K8S生態(tài)?聚焦應(yīng)用?彈性?高密?易用無(wú)需應(yīng)用修改?容易部署和運(yùn)維?非常容易和各種云服務(wù)集成?Pod級(jí)TCB，IT運(yùn)維人員天然不可信?端到端零信任覆蓋運(yùn)行時(shí)/存儲(chǔ)/網(wǎng)絡(luò)/secretsCoCo項(xiàng)目的技術(shù)路線圖基于硬件TEE的安全加固/confidential-containers構(gòu)建可信AIGC云原生應(yīng)用機(jī)密容器（ConfidentialContainers)英特爾?平臺(tái)的可信AIGC能力構(gòu)建可信AIGC應(yīng)用英特爾?高級(jí)矩陣擴(kuò)展(AdvancedMatrixeXtensions)第四代英特爾?至強(qiáng)?CPUMaxTorchvisionTorchServeTorchRecPyGTorchvisionTorchServeTorchRecPyGTritonStableDiffusionLlama2GPT-JOPTFalconStableDiffusion?更高效的LLM定制化GEMM內(nèi)核來(lái)充分發(fā)頸?更激進(jìn)的面向LLM典型結(jié)構(gòu)的算子融合?多種低精度數(shù)據(jù)類型支持來(lái)更好的滿足各種應(yīng)用場(chǎng)景SYCLSYCLoneDNNoneCCLoneMKL英特爾?至強(qiáng)?處理器加速大模型推理性能第四代英特爾?至強(qiáng)?可擴(kuò)展處理器很好的支持1B第四代英特爾?至強(qiáng)?可擴(kuò)展處理器很好的支持1B~13B的大模型推理Xeon(TDX)TDConfidentialComputingDevice(GPU,Acceleratoretc.)TDIIntelXeon(TDXConnect)Xeon(TDX)TDConfidentialComputingDevice(GPU,Acceleratoretc.)TDIIntelXeon(TDXConnect)虛擬機(jī)級(jí)別TEETD(TrustDomain)TDTDIntel?TDXConnectTD(TrustDomain)TrafficProtectedbyIDE構(gòu)建可信AIGC云原生應(yīng)用機(jī)密容器（ConfidentialContainers)