基于云端的行業(yè)協(xié)作設(shè)計(jì)平臺(tái)

1、基于云端的行業(yè)協(xié)作設(shè)計(jì)平臺(tái)技術(shù)創(chuàng)新 變革未來(lái)20周年44+ GW28500 臺(tái)風(fēng)機(jī)深港兩地上市國(guó)際第三國(guó)內(nèi)遙遙領(lǐng)先兩次獲得MIT創(chuàng)新TOP50數(shù)字化風(fēng)電場(chǎng)起始點(diǎn)1.5年2.5年20年規(guī)劃設(shè)計(jì)工程建設(shè)后期運(yùn)營(yíng)規(guī)劃可行性研究 設(shè)計(jì)招標(biāo) 建設(shè) 并網(wǎng)維修維護(hù) 備品備件 資產(chǎn)管理 運(yùn)行管理 延壽改造 業(yè)務(wù)優(yōu)化數(shù)字化產(chǎn)品數(shù)據(jù)平臺(tái)智能風(fēng)機(jī)載荷仿真安全性能定制化設(shè)計(jì)備選機(jī)型（共13種）GW115-2.0-HH80, 85, 90GW115-2.1-HH80, 85, 90GW115-2.2-HH80, 85, 90GW121-2.0-HH85, 90GW121-2.5-HH80, 90定制化方案塔架減重提高切

2、出風(fēng)速提高額定功率39種方案業(yè)務(wù)難點(diǎn)HPC每天數(shù)萬(wàn)次仿真大數(shù)據(jù)短時(shí)間產(chǎn)生數(shù)百GB的二進(jìn)制文件在PB級(jí)數(shù)據(jù)中做秒級(jí)查詢分鐘級(jí)完成數(shù)十萬(wàn)小文件統(tǒng)計(jì)ECSRDSS3DynamoDBEC2 AutoscalingLambdaEC2SQSEC2 Spot InstanceEMRS3IAMRDSVPCDirect ConnectElasticacheCloudWatchELBSNSEBSElastic Search業(yè)務(wù)系統(tǒng)HPC數(shù)據(jù)湖后臺(tái)監(jiān)控助力金風(fēng)載荷評(píng)估效率的飛躍201420152016201720183天1輪1天1輪1天3輪1天10+1天20+1 Day2 Days3 Days載荷仿真流程Pre-p

3、rocessingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 對(duì)象關(guān)系型關(guān)系型關(guān)系型二進(jìn)制PB量級(jí)半結(jié)構(gòu)化10TB量級(jí)100 GB/s大規(guī)模并行仿真計(jì)算Pre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 每個(gè)batch = 300020000個(gè)工況基于的典型并行計(jì)

4、算架構(gòu)最高可達(dá)核的性能仿真性能對(duì)比核60301020506070本地48核工作站AWS3040仿真時(shí)間/小時(shí)類似的統(tǒng)一任務(wù)進(jìn)度管理SNSLambdaDynamoDB查詢API提交任務(wù) 通道合并生風(fēng)基于的定時(shí)觸發(fā)任務(wù)LambdaCloudWatchEventCloudWatchCustom MetricAuto-scaling無(wú)服務(wù)架構(gòu)在并行任務(wù)調(diào)度中的優(yōu)點(diǎn)支持自動(dòng)重試（服務(wù)端自己實(shí)現(xiàn)重試機(jī)制）SNS配合Lambda并發(fā)性能高安全(IAM管控)松耦合/無(wú)狀態(tài)開發(fā)工作量小，幾十行代碼幾乎零運(yùn)維成本大幅節(jié)省計(jì)算成本(400萬(wàn)次請(qǐng)求+10萬(wàn)秒的運(yùn)行時(shí)間=35元，1個(gè)月2臺(tái)m4.xlarge=4000元

5、)實(shí)時(shí)監(jiān)控，Cloud Watch記錄SNS轉(zhuǎn)發(fā)狀態(tài)，事件報(bào)警提高并行能力的下一個(gè)關(guān)鍵點(diǎn)吞吐效率100MB(每個(gè)工況) X 1000工況 = 100GB/minPre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 海量小文件的挑戰(zhàn)3000個(gè)工況 =300 GB容量20 萬(wàn)個(gè)二進(jìn)制文件傳統(tǒng)的解決方案部署在上的緊耦合/資源競(jìng)爭(zhēng)不能自動(dòng)擴(kuò)展數(shù)據(jù)湖仿真輸出S3落庫(kù)程序Auto-scaleSQS仿真結(jié)果S3元數(shù)據(jù)RDS分鐘級(jí)延時(shí)處

6、理峰值100GB/s的二進(jìn)制壓縮文件無(wú)限的擴(kuò)展能力每天35 TB從100 TB到900 TB數(shù)億個(gè)小文件請(qǐng)求延遲穩(wěn)定在100 ms量級(jí)可追溯可搜索的集中仿真數(shù)據(jù)管理從級(jí)數(shù)據(jù)中做秒級(jí)查詢基于版本控制的多版本對(duì)比版本管理幾乎不需要額外的代碼文件數(shù)量很大時(shí)，版本信息太過分散，批量查詢效率低并行后處理Pre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 統(tǒng)計(jì)后處理極限載荷疲勞載荷如何針對(duì)幾十萬(wàn)個(gè)文件做快速統(tǒng)計(jì)處理？海量小文件的挑

7、戰(zhàn)3000個(gè)工況 =300 GB容量20 萬(wàn)個(gè)二進(jìn)制文件基于的大規(guī)模并行后處理仿真結(jié)果S3后處理EMRHBase EMRHBase S3從單機(jī)數(shù)據(jù)處理到MR:自動(dòng)處理所有輸出變量單機(jī):有選擇的變量組合后處理性能對(duì)比全部極限載荷240.10510202530本地48核工作站EMR+S315后處理統(tǒng)計(jì)時(shí)間/小時(shí)性能HBase on EMRHBase Region ServerEBSHBase on S3基于S3的無(wú)限存儲(chǔ)S3的高可靠性打散Row Key可以避免S3熱點(diǎn)用EBS可以提高熱數(shù)據(jù)查詢性能使用競(jìng)價(jià)實(shí)例降低成本適合使用Spot的業(yè)務(wù)模塊無(wú)狀態(tài)的應(yīng)用具備失敗重試機(jī)制業(yè)務(wù)在短時(shí)間內(nèi)需求量會(huì)暴增的

8、應(yīng)用80%Jenkins 多架構(gòu)的部署方案以Jenkins為中心對(duì)多種混合架構(gòu)進(jìn)行統(tǒng)一部署S3/ECR存放編譯后代碼或鏡像平均部署時(shí)長(zhǎng)1分鐘，每天80次部署ECRECSS3LambdaEC2Auto-scalingEC2Push鏡像API部署API部署編譯后代碼ECSRDSS3DynamoDBEC2 AutoscalingLambdaEC2SQSEC2 Spot InstanceEMRS3IAMRDSVPCDirect ConnectElasticacheCloudWatchELBSNSEBSElastic Search業(yè)務(wù)系統(tǒng)HPC數(shù)據(jù)湖后臺(tái)監(jiān)控對(duì)流程的關(guān)鍵性支撐Pre-processingBatch SimulationPost-ProcessingResultsModellingTime-Series1. 012_0012. 012_0023. 012_0034. 012_004n. 峰值4000核的并行計(jì)算將仿真時(shí)間縮短20