架構(gòu)原理－架構(gòu)師的修煉-v1.2-艾飛

構(gòu)師大中華區(qū)軟件集團(tuán)合作伙伴技術(shù)支持部2愛互聯(lián)網(wǎng),愛自由,愛歷史,愛思考,愛技術(shù),愛三俗,愛誰誰,愛攝影,愛電影,更愛微博,是IT民工,But和你們一樣還有夢想,年輕時的我是成功人士，我是艾飛,一個勤憤的架構(gòu)師。我來自t8年輕時的我3Agenda注：保密性要求已被刪減5從IT薪酬的角度看位置的年薪SourcesPayscaleRonin007IT行業(yè)早已進(jìn)入“M型態(tài)”6Reference:Reference:本頁圖片摘自互聯(lián)網(wǎng)8面，搞得技術(shù)不像技術(shù)、銷售不是銷售。提升很難，瓶頸超大！的能力提高不大，人一走茶就涼！持續(xù)性在哪里？難道只能4.客戶Y處長：今天又來了幾個架構(gòu)師，講的還不就那些東西，忽9哪兒定位與選擇我們的嘗試－自2010年7月起第一屆BPITA訓(xùn)練戰(zhàn)同成長定位與選擇架構(gòu)師的職級構(gòu)建架構(gòu)師的分類與認(rèn)證流程架構(gòu)原理有方法建立培養(yǎng)體系有方法建立培養(yǎng)體系論支撐行業(yè)知識前瞻性知識管理擁抱開源建立培架構(gòu)師的分類與認(rèn)證流程法論建立培架構(gòu)師的分類與認(rèn)證流程法論管理養(yǎng)體系定位與選擇架構(gòu)師的職級構(gòu)建有有方法論支撐ationitectureIBM架構(gòu)專業(yè)的類別ationitecture專業(yè):ArchitectArchitect)細(xì)分為3大專業(yè)域:itectureitectureitectureitectureArchitectureandEnterpriseArchitecture)itectureitectureitectureitectureomsixtofoursub-specializations)Application1.BusinessArchitect2.Business3.EnterpriseArchitect4.Information5.ArchitectInfrastructure6.Integration7.OperationsArchitect8.Security9.SystemArchitect10.TechnicalSolutionArchitect11.TestApplication1.BusinessArchitect2.Business3.EnterpriseArchitect4.Information5.ArchitectInfrastructure6.Integration7.OperationsArchitect8.Security9.SystemArchitect10.TechnicalSolutionArchitect11.Test12.ArchitectProcessSolutionArchitectArchitectEngineeringProfessionalArchitectAArchitectSENIORCERTIFICATIONRTIFICATIONACCREDITATIONICATIONSOCIATECERTIFICATIONTheITArchitectelsializationsllsTechnicalSkills技能能力力ciateectertifiedArchitectITArchitectintrainingccreditedITArchitectfiedITArchitectectectecttheselevelsTheITArchitectdevelopstheseskillsctdevelopstheseSENIORCERTIFICATIONRTIFICATIONACCREDITATIONICATIONSOCIATECERTIFICATIONTheITArchitectelsializationsllsTechnicalSkills技能能力力ciateectertifiedArchitectITArchitectintrainingccreditedITArchitectfiedITArchitectectectecttheselevelsTheITArchitectdevelopstheseskillsctdevelopstheseskillsandcapabilities心能力力llssializationpmentCheckpointsvalidateentrylevelskillsforthenextlevelAlignmentthValidationStatusAssociateioreAdvisorytecttecttecttect級hitectseskillssintheselevelsorrSmartlevelskillsforthenextmilestone力CriteriaCategoryFoundationExperiencedExpertThoughtLeaderiesiesngzation226723311protégésringprotégésArchitecturalgMethodArchitecturalingMethodontalingto20hoursin重認(rèn)證級別的標(biāo)準(zhǔn)(每3年)CriteriaCategoryExpertThoughtLeaderiestiesionfromlastcertificationoronionfromlastcertificationoronActivitySummaryActivitySummarynlieuofnlieuof1+mentoring3protégés2+mentoring5protégésonlingursinpastyearsopmenttotalingtorencesfexperienceinlieuofexperience程ValidationReviewSummaryFrequency‘Foundation’levelvalidationManager+SMEReviewOndemand‘Experienced’levelvalidation[Accreditation]ManagerReview+3SMEReviewersOndemand‘Expert’and‘ThoughtLeader’levelrevalidation[RecertificationandSeniorRecertification]ManagerReview+BUExecutive+SMEReviewer(s)1Ondemand(Howeveritistypicallyclusteredaroundthecertificationanniversaries)‘Expert’and‘ThoughtLeader’levelvalidation[CertificationandSeniorCertification]ManagerReview+BUExecutive+InitialPackageReview(IPR)+Board[3interviews+consensusmeeting]2-7BoardsperyeardependingonthegeographySMEReviewerisassignedtoreviewthepackageIfdecisionistodeclinetwoadditionalSMEreviewerswillreviewpackagetoreachconsensus.ityKe>ityKe>ecturesCapabilityamentalSkillArchitecturalMethods團(tuán)團(tuán)團(tuán)ApplyMethodologieshitecturalModelingTechniques團(tuán)團(tuán)團(tuán)iquesArchitecturalThinking(New)團(tuán)團(tuán)團(tuán)團(tuán)hitecturalAssetCreationandeusecombinedtwofundamentalskills團(tuán)團(tuán)團(tuán)團(tuán)tOutputforFutureReuseUsetsArchitecturalDecisions團(tuán)團(tuán)團(tuán)團(tuán)uirementsArchitecturalrchitecturalDevelopment團(tuán)團(tuán)團(tuán)團(tuán)rchitecturechitecturalValidationStrategy團(tuán)團(tuán)團(tuán)團(tuán)ategiesPlanssment團(tuán)團(tuán)團(tuán)團(tuán)onAssessmentsrdsforSolutionCreation團(tuán)團(tuán)團(tuán)ApplyITStandardsinCreationofSolutionsArchitecturalRiskManagement團(tuán)團(tuán)團(tuán)團(tuán)lementsofProjectPlanionshipManagement團(tuán)團(tuán)團(tuán)團(tuán)Relationships團(tuán)團(tuán)團(tuán)團(tuán)eholderRequirements團(tuán)團(tuán)團(tuán)團(tuán)uirementsArchitecturalArchitecturalLeadership團(tuán)團(tuán)團(tuán)團(tuán)srchitecturalStrategicDirection團(tuán)團(tuán)團(tuán)團(tuán)echnicalDirectionunication團(tuán)團(tuán)團(tuán)團(tuán)ApplyCommunicationSkillsechniques團(tuán)團(tuán)團(tuán)chniques團(tuán)團(tuán)團(tuán)ationslitiesincludedintheUnderstandingImplementationmpactExperienceRequirement團(tuán)DesignImplementationoftion(Notincludedintheframework)ArchitectSolutionfory定位與選擇定位與選擇構(gòu)建架構(gòu)師分類與認(rèn)證流程建立培養(yǎng)體系有建立培養(yǎng)體系有方法合適的方法論論支撐行業(yè)知識管理擁抱開源架構(gòu)決策流程組件20子系統(tǒng)架構(gòu)決策流程組件20子系統(tǒng)構(gòu)成一個系統(tǒng)的基礎(chǔ)組織結(jié)構(gòu)，包括系統(tǒng)的組件構(gòu)成，組件間的相互關(guān)系、系統(tǒng)和其環(huán)境的關(guān)系、以及指導(dǎo)架構(gòu)設(shè)計(jì)和演進(jìn)的相關(guān)準(zhǔn)則產(chǎn)品線、產(chǎn)品系列、整個企業(yè)和其它利益相關(guān)方的組合關(guān)的個人、團(tuán)隊(duì)或組織系統(tǒng)的開發(fā)、運(yùn)行、政策以及會對系統(tǒng)造成其它影響的環(huán)境和視視角關(guān)注點(diǎn)使命2122系統(tǒng)架構(gòu)包括創(chuàng)建邏輯和物理層面，通常是技術(shù)獨(dú)立的，且依賴于定義了解決方案的主要靜態(tài)和動態(tài)元素的系統(tǒng)結(jié)構(gòu)。系統(tǒng)架構(gòu)決定了系統(tǒng)設(shè)計(jì)的上下文環(huán)境。架(內(nèi)部)(外部)計(jì)設(shè)構(gòu) 系統(tǒng)架構(gòu)包括創(chuàng)建邏輯和物理層面，通常是技術(shù)獨(dú)立的，且依賴于定義了解決方案的主要靜態(tài)和動態(tài)元素的系統(tǒng)結(jié)構(gòu)。系統(tǒng)架構(gòu)決定了系統(tǒng)設(shè)計(jì)的上下文環(huán)境。架(內(nèi)部)(外部)計(jì)設(shè)構(gòu) 所有的架構(gòu)都是設(shè)計(jì)，但不是所有的設(shè)計(jì)都是架構(gòu)。架構(gòu)代表了構(gòu)建一個系統(tǒng)建結(jié)構(gòu)細(xì)化內(nèi)容系統(tǒng)設(shè)計(jì)在系統(tǒng)架構(gòu)的指導(dǎo)下，構(gòu)建描述系統(tǒng)內(nèi)部的行為和結(jié)系統(tǒng)設(shè)計(jì)在系統(tǒng)架構(gòu)的指導(dǎo)下，構(gòu)建描述系統(tǒng)內(nèi)部的行為和結(jié)構(gòu)輯23架構(gòu)抽象解決方案先規(guī)劃抽象的解決方案的半成品再實(shí)現(xiàn)細(xì)節(jié)先構(gòu)建通用框架架構(gòu)抽象解決方案先規(guī)劃抽象的解決方案的半成品再實(shí)現(xiàn)細(xì)節(jié)先構(gòu)建通用框架 (軟件半成品)客戶化特定功能需需求將系統(tǒng)或者子將系統(tǒng)或者子系統(tǒng)架構(gòu)框架化框架也需要設(shè)計(jì)最終完整解決方案最終完整解決方案24的重要元素重要元素?系統(tǒng)的關(guān)鍵功能元素－如事務(wù)處理?系統(tǒng)的重要特性－如大數(shù)據(jù)的處理與存儲?體系結(jié)構(gòu)設(shè)計(jì)和實(shí)現(xiàn)中的難點(diǎn)－分布式計(jì)算，異構(gòu)系統(tǒng)的集成?可能帶來的技術(shù)風(fēng)險(xiǎn)－新技術(shù)(Hadoop商用)、新方法的使用的某部分－不可知的IDC穩(wěn)定性rr2架構(gòu)定義系統(tǒng)的行為和交互要元素4架構(gòu)遵循一種架構(gòu)風(fēng)格反過來也影響它的7架構(gòu)不僅僅要實(shí)現(xiàn)最后產(chǎn)出，還必須保證是理和正確的8大多數(shù)的架構(gòu)難點(diǎn)都和質(zhì)量參數(shù)相關(guān)，而不是功能需求9合適就好2526estingValidationStakeholderGroupCoupDCase關(guān)注點(diǎn)一視角一estingValidationStakeholderGroupCoupDCaseRequirementsRequirementsViewValidationValidationView用用例模型能組件模型系統(tǒng)開發(fā)構(gòu)造運(yùn)行模型性27系列架構(gòu)視角上應(yīng)用技術(shù)系統(tǒng)管理可用性性能安全非功需求可行評估28要解決什題?才要解決什題?才架構(gòu)架構(gòu)定2.功能性3.架構(gòu)概覽4架構(gòu)定2.功能性3.架構(gòu)概覽4.功能層運(yùn)行層8.驗(yàn)證層面可行性評估，7.非功能7.非功能6.架構(gòu)模式，6.架構(gòu)模式，參考架構(gòu)，2930少走彎路，不丟失不遺漏，科學(xué)化、體系化，知識化?1分析需求，23456定義合成和分解規(guī)則可控的決策路徑，使系統(tǒng)隨時間的變化有一個清晰的可23456定義合成和分解規(guī)則可控的決策路徑，使系統(tǒng)隨時間的變化有一個清晰的可路徑和方向分解分解IT系統(tǒng)的復(fù)雜性分析功能性分析功能性需求和非功能性需求規(guī)約規(guī)約系統(tǒng)的物理模型系統(tǒng)元系統(tǒng)元素結(jié)構(gòu)化和相互間連接的指導(dǎo)原則32SPEM2.0其多SPEM2.0UMLUnifiedUnifiedMethodArchitecturevenArchitecture33UMA方法和流程的工程語言，用于表示由方法內(nèi)容與其在流程中的應(yīng)用分離。術(shù)語定義EngineeringMeta方法內(nèi)容描述不受生命周期約束的元素。如角色、任務(wù)和工作產(chǎn)品順序。35EXPLOREDEVELOPUNDERSTANDCONFIRMIMPLEMENTEXPLOREDEVELOPUNDERSTANDCONFIRMIMPLEMENTnPre-SaleSolutionDesignSupportImplementationandConfirmValue36品37群體經(jīng)驗(yàn)和智慧v個人38群體經(jīng)驗(yàn)和智慧v個人39群體經(jīng)驗(yàn)和智慧v個人40群體經(jīng)驗(yàn)和智慧v個人41群體經(jīng)驗(yàn)和智慧v個人42群體經(jīng)驗(yàn)和智慧v個人43群體經(jīng)驗(yàn)和智慧v個人44群體經(jīng)驗(yàn)和智慧v個人45群體經(jīng)驗(yàn)和智慧v個人來來報(bào)名吧·你不會失望學(xué)習(xí)-成長-共享46建立培認(rèn)證流程前瞻性建立培認(rèn)證流程前瞻性知識管理擁抱開源養(yǎng)體系定位與選擇構(gòu)建有有方法論支撐47?技術(shù)是核心，只有好的產(chǎn)品才能成功，不要迷信商業(yè)模式和營銷?跟蹤新的學(xué)術(shù)研究成果?擁抱開源，平臺與云計(jì)算?參加專業(yè)、高質(zhì)量的會議開拓眼界、廣交同道、擴(kuò)圈子?社會化媒體、專業(yè)社區(qū)?向互聯(lián)網(wǎng)企業(yè)學(xué)習(xí)，別被淘汰，移動互聯(lián)的未來?心胸開闊，善于溝通，不偏激?時間管理?知識管理?項(xiàng)目管理?行業(yè)知識的積累48Agenda理49料完成(InPrint,OnTheWebandConference)1.GradyBooch:“HowDoesItWork?TheArchitectureofWatson”,Innovate2011.2.“BuildingWatson”inAIMagazine,vol.31(3).3.“UnstructuredInformationManagementintheIBMJournalofResearchandDevelopment,vol.43(3),2004.4.FinalJeopardy:ManvsMachineandtheQuesttoKnowEverythingbyBaker.5.IBM@/innovation/us/watson/6.Nova@/wgbh/nova/tech/smartest-machine-on-earth.html7.TED@http:///webcast/archive/event/ibmwatson.Wiki/Watson@/wiki/Watson_(computer)5051Missionmakingthecomputersmarterinanalyzingthatcontenttocomputeanswers.”-Dr.DavidFerrucci,PrincipalInvestigatorfortheWatsonproject52?Watson是IBM制造的電腦問答(Q&A)人工智能系統(tǒng)，在比賽中用以挑戰(zhàn)對人類自然語言的處理能力。?是一個集高級自然語言處理、信息檢索、知識表示、自動推理、機(jī)器學(xué)習(xí)等開放式問答技術(shù)的應(yīng)用系統(tǒng)，并且基于為假設(shè)認(rèn)知和大規(guī)模的證據(jù)搜集、分析、評價而開發(fā)的DeepQA技術(shù)。?沃森是一臺專為復(fù)雜分析而優(yōu)化設(shè)計(jì)的系統(tǒng)，整合大規(guī)模并行處理器POWER7和IBMDeepQA軟件使其能在3秒內(nèi)回答危險(xiǎn)邊緣的問題成為可能。53件4年plusotherbits10組90臺IBMPower750TMserversPowercores+TFLOPS5454232法律/倫理154232法律/倫理1WatsoWatson33355?危險(xiǎn)邊緣游戲中，所有選手(也包括沃森)，必須等到主持人將每個完，然后就緒燈亮起，第一個按下?lián)尨鹌靼粹o的人可以獲得回56手。然后它會將這些線索解析為不同的關(guān)鍵這樣做是為了查找統(tǒng)計(jì)相關(guān)詞組。上千的自然語言分析算法來尋找正確的答案。算答案越多，沃森就越肯定答案正確。一旦沃森的解決方法，并且這個解決方法有效，它就會57ontext5859606162alpcombineandAnswerAnsweralpcombineandAnswerAnswerion/CaseAnalysisnce6364沃森也使用如下的數(shù)據(jù)庫、分類學(xué)和本體論。ksTheFreeEncyclopedianowledgeBasefromWikipediadeyagonagaedInformationfromWikipediahttpdbpediaorgttpwordnetprincetoneduexpansionofmanyprimarysources65據(jù)Jeopardy節(jié)目20年來的所有題目661.對用戶的問題進(jìn)行詞法分析，句法分析，問題分類，實(shí)體識別，各種語法語標(biāo)注，答案類型分析等2.判斷問題的多個子問題之間的關(guān)系，是否分解成多個問題并行處理或應(yīng)用其策略3.在對答案庫進(jìn)行搜索后，抽取出可能的答案，替換到問句中組成陳述句類型的假設(shè)集(把答案填充到問題的疑問部分，改為陳述句)4.過濾掉一部分可能性不高的假設(shè)5.以樣例庫為標(biāo)準(zhǔn)，綜合檢驗(yàn)各個假設(shè)的置信度有多高，并給出置信度值67?分析例子問題和特征域.?資源收集,包括數(shù)據(jù)庫,分類標(biāo)準(zhǔn),本體.?擴(kuò)展語料庫.?識別種子文檔并檢索相關(guān)文檔.?抽取自包含的有價值文本.?關(guān)聯(lián)度分析.?合并置信度最高的信息到語料庫.plestores,etc).notationsNLP686970模型7172Sl737475edependent)scoring.7678Asetofgeneralcapabilitiesforachievingscaleout,builtuponUIMA.selopesefficientlyacrossmultipleconfigurableflows.sactionsacrossJMSDeepQAprotocolforaccessinglargein-memorydatasets.Indridistributedsearchprotocol/doc-uimaas-what.html7980ProcessView:High-throughputDevelopmentodeLayeringuejsystemantbluejsystemasemsofbluejtoolssaimatcher/bluej.container/sai.disambiguation/etc)SourceIngestiontoolscorpus_processing/bluecorpusprocessEvidenceInterfaces/ResourceInterfacesbluej.ksp/bluej.rdf/bluej.prismatic/bluejcontentserver/bluej.spatail)ControllercoreDeepQAtilitiestillSystemodelNLPStackrmGraph(sai.logical_form.kr)ejtoolscorpusprocessing/bluej.corpus_processiGeneralUtilitiesesrdpartyJARS8182orage83owerprocessorsserverTBmemoryTBclusteredstorageIBMSONAS20TB.rswitchGbps?220-airconditioningunits(40噸重).pwwwhypeframeworkorgblogcontentibmwatsonandthejeopardychallenge884DeploymentView:Watson(10組機(jī)架)85?應(yīng)用軟件基于Java和C++編寫?使用ApacheHadoop框架做分布式計(jì)算?IBMInforSphereBigInsightsPlatform(Hadoop商用實(shí)現(xiàn))?SUSELinuxEnterpriseServer11?Indri和Lucene搜索引擎多種NLP算法實(shí)現(xiàn)?Nuance的語音識別系統(tǒng)86w86式接收).87Studios.ithAdobeFlashProfessionalCS5usingtheHYPEvisualframework.wwwhypeframeworkorgblogcontentibmwatsonandthejeopardychallenge合成素材.pwwwanythinggoesradiocomInterviewsJeffWoodmanMP888989?Eclipse.?Subversion->RTC.?WatsonErrorAnalysisTool(WEAT查看Watson如何思考).?FeatureAnalysisTool(FAT).?BlueJAutomaticDistributedExecutionEnvironmenttools(BAIDE)?Datarepositorytools.sion90sion90測試.9192?DavidFerrucci處理流程和處理策略圍、93IBMContentAnalyticsPSSApacheIBMContentAnalyticsPSSApacheUIMAInfoSphereBigInsights“BigData”analysis(Hadoop)IBMPowerSystemssofparallelprocessesonsseformixNetezzaringphereStreamslyticsticsonsduleIBMGlobalusinessServicesssets94基于大數(shù)據(jù)的技術(shù)(BigInsights)構(gòu)建了Watson的知識庫Watson使用BigData技術(shù)和產(chǎn)品為商了絕佳利器WatsonWatson使用ApacheHadoop開源框架并行處理海量信息和工作量大約2億頁冊的文本數(shù)據(jù)經(jīng)提煉的洞察力索和分析能力95ookeeperookeeper用據(jù)源與器iveMRizationcsRRticsandVisualizationR,SPSS,Cognos,SystemML,BigsheetsticsandVisualizationR,SPSS,Cognos,SystemML,BigsheetsInfoSphereBigInsightsBreakNothing,EmbraceOpenSource,AugmentForEnterprise,Interoperable,PluggableDeployment,Scheduling,Orchestration,Prioritization,Security,Filesystem(GPFS)nformJAQLPIGHIVEJDBC,PMML,JSON,Metatrackeringande96實(shí)現(xiàn)決策：BigInsignts的優(yōu)勢?優(yōu)勢1：Internet級別的海量存儲和企業(yè)級的高可用高可靠性底層的hadoop技術(shù)是一個被證實(shí)的可以擴(kuò)展到海量數(shù)據(jù)分布存儲的分布式方案，解決了海量數(shù)據(jù)(半結(jié)構(gòu)化和非結(jié)構(gòu)化)的存儲和訪問問題，并且該方案是可以架構(gòu)在低成本的機(jī)器集群上，提高了性價比。BigInsights底層存儲GPFS-SNC基于GPFS發(fā)展而來，其借鑒了HDFS的一些設(shè)計(jì)理念，與HDFS相比，GPFS-SNC在性能、可靠性方面具有巨大優(yōu)勢，消除了HDFS的單點(diǎn)故障問題。?優(yōu)勢2：開放性的接口和集成能力InfoSphereBigInsights可以與IBM數(shù)據(jù)分析軟件深度集成，可以提供更為強(qiáng)大的分析能力，基于Java和開源技術(shù)，不存在技術(shù)壁壘，方便用戶自定義開發(fā)和客戶化該平臺。高度的集成性還體現(xiàn)在可于數(shù)據(jù)倉庫中運(yùn)行第三方的分析模型，并與分析應(yīng)用和分析模型進(jìn)行端對端集成，避免海量數(shù)據(jù)的加載等。這些開放的能力可以繼續(xù)利用客戶現(xiàn)有的分析平臺的投資，降低整體的擁有成本。包括企業(yè)級別的數(shù)據(jù)倉庫集成能力(Netezza,DB2,InfoSphereWarehouse)?優(yōu)勢3：企業(yè)級別管理和易用性增強(qiáng)，數(shù)據(jù)分析能力增強(qiáng)97IBM實(shí)驗(yàn)室前端技術(shù)的結(jié)晶(文本，圖像，視頻分析)簡單但是具有強(qiáng)大的擴(kuò)展能力的JAQL語言統(tǒng)計(jì)分析平臺projectR以及機(jī)器智能學(xué)習(xí)systemML可視化的工具展示挖掘高可用性和性能增強(qiáng)管理與易用性增強(qiáng)安全性增強(qiáng)IBM服務(wù)支持98IBMGPFS-SNC開源HDFS或其他方案健壯性數(shù)據(jù)一致性高能會丟失可擴(kuò)展性0+版本不斷發(fā)展中POSIX兼容數(shù)據(jù)管理能力復(fù)制傳統(tǒng)應(yīng)用性能能安全性支持ACL,容量限制，安全支持99GPFS-SNC與HDFS性能比較注－GPFS-SNC:GeneralParallelFileSystem-SharedNothingCluster00minsxGHzXeonxcoreGBRAMdiskRAIDtmpspaceforbettersortperform