python爬蟲(chóng)視頻分布式scrapy反爬2017年全新進(jìn)階與精通實(shí)戰(zhàn)案例教程9g-課件第10講網(wǎng)頁(yè)排重

法本課件包括：演示文稿，示例，代碼，題庫(kù)，和聲音等，小象學(xué)院擁有完全知識(shí)的權(quán)利；只限于善意散播。任何其他人或機(jī)構(gòu)不得盜版、、仿造其中的 保留一切通過(guò)法 課 咨互聯(lián)網(wǎng)新技 互聯(lián)網(wǎng)新技 大網(wǎng)頁(yè)排SimHash算SimHash 互聯(lián)網(wǎng)新技 重復(fù)網(wǎng)頁(yè)類互聯(lián)網(wǎng)存在大量的內(nèi)容，也存在不同指向同一的情互聯(lián)網(wǎng)新技 查重的目就能節(jié)省一部 互聯(lián)網(wǎng)新技 將一篇文章分詞后，詞匯行成一個(gè)向量，稱之為這篇文章的特征向量，如果兩篇文章的相似度很高，那么他們?cè)诟呃锏膴A角應(yīng)該就??1×??2

互聯(lián)網(wǎng)新技 從附加賽第三輪以3-0力擒，到小組賽首輪以1-0絕殺首爾FC，再到此役5-1大比分戰(zhàn)勝西悉尼流浪者，上港在新賽季的亞冠賽場(chǎng)上一舉拿到三連勝，為主場(chǎng)不敗的金身，也成為在亞冠改制后，繼泰達(dá)、國(guó)安和之后第三支前2輪全 互聯(lián)網(wǎng)新技 文本相似度計(jì)附加賽、、小組賽、首輪、絕殺、首爾FC、此役、大比分、戰(zhàn)勝、西悉尼流浪者、上港、賽季、亞冠、賽場(chǎng)、、連勝、球隊(duì)、賽季、好頭、戰(zhàn)勝、西悉尼流浪者、上港、主場(chǎng)、不敗、金身、亞冠、改制、泰達(dá)、國(guó)安、、全勝

= ??????????(??1×??2=??1互聯(lián)網(wǎng)新技 文本相似度計(jì)0

Time 互聯(lián)網(wǎng)新技 互聯(lián)網(wǎng)新技 SimHashI分 首爾 西悉尼流浪 互聯(lián)網(wǎng)新技 SimHash–II算為111000，“ 上港”通過(guò)Hash算法計(jì)算為101011。這樣我3413555互聯(lián)網(wǎng)新技 SimHash– 數(shù)字串，bit為1，權(quán)重乘以1，bit位為0，權(quán)重值乘以-1Hash 計(jì)算為555-5-5- 3-33-3-344-4444-1.3.5.55555-5-5-互聯(lián)網(wǎng)新技 SimHashVI合33-33-3-344-4444-111-1-1-133-33-3-3-55-55-5555-555-5-5555-5-5-26-2424-8-8-互聯(lián)網(wǎng)新技 SimHashV降01這樣的序列，規(guī)則是如果一個(gè)位上的和（和是26）0，則該位設(shè)置為126-2424-8-8-10100互聯(lián)網(wǎng)新技 SimHash圖互聯(lián)網(wǎng)新技 SimHash意將值合并的時(shí)候進(jìn)行了第一步的降維，在最后一步根據(jù)正負(fù)換算為1和Hash值對(duì)字符串的改變變得不是很敏感。HashHash

互聯(lián)網(wǎng)新技 SimHash 距可以通過(guò)異或，然后求bit為1AxorB后二進(jìn)制中1PythonLibrary: key–weight{‘Apache’:20,‘hadoop’:25或[(‘Apache20hadoop’,25)] 互聯(lián)網(wǎng)新技 SimHash 距pipinstallfromsimhashimportstr0='TheApacheHadoopsoftwarelibraryisaframeworkthatallowsthedistributedprocessinglargestr1='TheApacheHadoopsoftwarelibraryisaframeworkthatallowsthedistributedprocessingbig#SimHash對(duì)象sh0Simhash(str0)sh1Simhash(str1)#構(gòu)造特征值，關(guān)鍵features=[('Apache',10),('Hadoop',15),('framework',3),('distributed',10),('data',6)]#不 計(jì) 距互聯(lián)網(wǎng)新技 處理數(shù)百萬(wàn)的網(wǎng) =64×63× 3×= 互聯(lián)網(wǎng)新技 處理數(shù)百萬(wàn)的網(wǎng) ，如何在毫秒級(jí)找到Q中和f至多只有??(??=3)位差別 f64Hash所有變化在3 + + + = 互聯(lián)網(wǎng)新技 兩種簡(jiǎn) 的辦onlineF43745種距離為3個(gè)結(jié)果計(jì)算出來(lái)，然后依次查找，因此需要計(jì)算出個(gè)結(jié)果并進(jìn)行次查找offlineF43745個(gè)距離為3個(gè)，如果一萬(wàn)個(gè)網(wǎng)頁(yè)，每個(gè)網(wǎng)頁(yè)需要43745個(gè)SIMHASH拷貝，總量437,450,000SIMHASH值，這樣可以在??(1)的時(shí)間查找出所有互聯(lián)網(wǎng)新技 優(yōu)化查找過(guò) 方法結(jié)合一下，不要實(shí)時(shí)計(jì)算所有的SimHash可能性并逐 SimHash的64位分為4塊，ABCD，如果2個(gè) 互聯(lián)網(wǎng)新技 分為4等 互聯(lián)網(wǎng)新技 算法復(fù)雜264降低到了4×248，即當(dāng)前概率是之前概率的4×24824

，假設(shè)網(wǎng)頁(yè)總數(shù)為8??=234，排除掉16個(gè)bit后，還剩下234?16=也就是256??4256??=1?? 互聯(lián)網(wǎng)新技 算法復(fù)雜5把64bit分割為、、、、這樣個(gè)塊，根據(jù)抽屜原理，有至少2個(gè)塊會(huì)完全一致，也就是我們會(huì)需要??2=10倍空間，這樣可以把每個(gè)區(qū)塊的數(shù)據(jù)減少到10×234?28=640條5

距互聯(lián)網(wǎng)新技 準(zhǔn)確率 準(zhǔn)確率（Precision）：判斷為True的數(shù)據(jù)中，判斷正確的率（Recall）：所有True的數(shù)據(jù)，被判斷正確的比E.g:有120個(gè)嫌疑人，其中100個(gè)人是罪犯，20個(gè)人是 的，因此準(zhǔn)確率=85100個(gè)罪犯，最終找到90個(gè)，因此率=假設(shè)一點(diǎn)，把120個(gè)人都認(rèn)定為罪犯，那么率就是100%，而準(zhǔn)確率就只有是100%，但是率就極低 互聯(lián)網(wǎng)新技 ??的影 互聯(lián)網(wǎng)新技 ??的影??的值設(shè)置得小 ??的值設(shè)置得大 ??=3的時(shí)候，大約是 =41664 距離為3的組合，而??=4的時(shí) =635376種組互聯(lián)網(wǎng)新技 空間的壓00??:0??:?600??:?580??:?600??:?598??個(gè)數(shù)進(jìn)行排序，會(huì)發(fā)現(xiàn)相鄰兩個(gè)數(shù)前面的bit位是高度重合的，因此我們我們需要每個(gè)數(shù)都用64bit來(lái)，可以將前面相似的部分記??是第61?????6110，??記為?60110???5811110…互聯(lián)網(wǎng)新技 壓縮數(shù)00??:0??:?600??:?580??:?600??:?59?(??)一中，??最多為63，意味著可以用6個(gè)bith(??)，因此綜合起6個(gè)bit位+后續(xù)的比特位來(lái)組成一個(gè)SimHash值，例如?(61)10就可以表示為?581111011101011110互聯(lián)網(wǎng)新技 壓縮數(shù)00??:0??:?600??:?580??:?600??:?59 為 互聯(lián)網(wǎng)新技 壓縮過(guò)??: SimHash????100（前面的0都會(huì)忽略記下這一位的位置??，并右移64???位，得到后面需 的bit位bit10append到block互聯(lián)網(wǎng)新技 解壓過(guò)將前一個(gè)SimHash值hsa賦值給當(dāng)前 的64??bitORhsb互聯(lián)網(wǎng)新技 進(jìn)一步壓 前面的例子中，每一個(gè)?(??)我們用了6個(gè)bit位來(lái)表示，這里我們完全可以利用 互聯(lián)網(wǎng)新技 用于無(wú)損數(shù)據(jù)壓縮的熵編碼（權(quán)編）算法。由 在19。中，變長(zhǎng)碼表對(duì)源符如文中的個(gè)字母進(jìn)行碼其變長(zhǎng)碼表通過(guò)種估來(lái)源出現(xiàn)概率到的，出現(xiàn)概率高的字母使用較短的編碼，反之現(xiàn)概率的則使用較長(zhǎng)，這便編之后字的平長(zhǎng)度望值低而達(dá)無(wú)損數(shù)據(jù)的目的。互聯(lián)網(wǎng)新技 原那么，一棵樹(shù)的權(quán)重紙盒就是

????????，對(duì)于下面的二叉樹(shù)，圖3）互聯(lián)網(wǎng)新技 編碼過(guò)互聯(lián)網(wǎng)