彈性分布式數(shù)據(jù)集spark大廈的地基上

13|彈性分布式數(shù)據(jù)集：Spark的地基（上 一個(gè)可行的想就是在布式內(nèi)存，間計(jì)算的結(jié)，因?yàn)閷?duì)存的讀寫(xiě)作速度快硬盤(pán)。而RD就是一個(gè)基于分布式內(nèi)存的數(shù)據(jù)抽象，它不僅支持基于工作集的應(yīng)用，同時(shí)具有數(shù)據(jù)流模型的特點(diǎn)。不可變性代表每一個(gè)RDD都是只讀的，它所包含的分區(qū)信息不可以被改變。既然已有的RDD不lines=sc.textFile("data.txt")lineLengthslines=sc.textFile("data.txt")lineLengths=lines.map(lambdas:len(s))totalLength=lineLengths.reduce(lambdaa,b:a+在上述的簡(jiǎn)單例子中，我們首先讀入文本文件data.txt，創(chuàng)建了第一個(gè)RDDlines，它的每一個(gè)元素是一行文本。然后調(diào)用map函數(shù)去映射產(chǎn)生第二個(gè)RDDlineLengths，每個(gè)元素代表每一行簡(jiǎn)單文本的字?jǐn)?shù)。最后調(diào)用reduce函數(shù)去得到第三個(gè)RDDtotalLength，它只有一個(gè)元素，信息。感的同學(xué)可以去閱讀的技術(shù)文檔，一些相對(duì)不重要的概念我就不再贅述了Partitioner決定了RDD的分區(qū)方式，目前有兩種主流的分區(qū)方式：Hashpartitioner和Range呢？Spark支持兩種依賴(lài)關(guān)系：窄依賴(lài)（NarrowDependency）和寬依賴(lài)（Wide這很容易理解，因?yàn)閙apgroupyKy目標(biāo)分區(qū)，而每一個(gè)父分區(qū)都可能包含各種Ky窄依賴(lài)可以支持在同一個(gè)節(jié)點(diǎn)上鏈?zhǔn)綀?zhí)行多條命令，例如在執(zhí)行了map后，緊接著執(zhí)行可，而寬依賴(lài)牽涉到RDD各級(jí)的多個(gè)父分區(qū)。區(qū)可以被多個(gè)子RDD的分區(qū)使用。然后Driver就會(huì)調(diào)度運(yùn)行下一個(gè)stage。下一個(gè)stage的task的輸入數(shù)據(jù)就是上一個(gè)stage—看了spark narrowpartition對(duì)應(yīng)的轉(zhuǎn)換例如：mapfilterjoin（子分區(qū)joinkey都在一個(gè)分區(qū)）,union.其中join和union就對(duì)應(yīng)了老師說(shuō)的子分區(qū)來(lái)自于多個(gè)父分區(qū)。操作后會(huì)對(duì)應(yīng)到兩個(gè)不同的子分區(qū)，所以這些操作例如：groupByKey,通常的join?！狶ittle實(shí)現(xiàn)多個(gè)RDD同一塊內(nèi)存的模型和詞典，達(dá)到節(jié)省內(nèi)存的效果？還望老師答復(fù)錦思考題中窄依賴(lài)應(yīng)該是不關(guān)心一個(gè)子rdd的partition對(duì)應(yīng)多少個(gè)父rdd的partition，只要partition可以獨(dú)立計(jì)算就行，比如map操作，子rdd只有3個(gè)partition，父