垂直搜索引擎論文垂直搜索引擎 漏洞 PageRank Nutch 插件

1、垂直搜索引擎論文：基于Nutch的漏洞垂直搜索引擎【中文摘要】隨著計(jì)算機(jī)及互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)已成為國(guó)家重要的信息基礎(chǔ)設(shè)施。與此同時(shí),互聯(lián)網(wǎng)作為一個(gè)運(yùn)行系統(tǒng)及社會(huì)公共環(huán)境,其所面對(duì)的和隱藏在其中的安全威脅也越來(lái)越復(fù)雜、越來(lái)越嚴(yán)重。安全漏洞是構(gòu)成網(wǎng)絡(luò)安全威脅的重要原因,網(wǎng)絡(luò)入侵、大規(guī)模蠕蟲(chóng)傳播、系統(tǒng)拒絕服務(wù)等問(wèn)題多是由安全漏洞所引發(fā)。為了降低安全漏洞帶來(lái)的風(fēng)險(xiǎn),增加對(duì)漏洞威脅的預(yù)警能力,提高對(duì)安全漏洞進(jìn)行管理及控制的能力,很多國(guó)家安全機(jī)構(gòu)和網(wǎng)絡(luò)安全組織都建立了漏洞庫(kù)。但是各個(gè)漏洞庫(kù)收集的漏洞并不全面,對(duì)漏洞的缺陷描述也不盡相同。本文針對(duì)目前漏洞庫(kù)信息龐大、漏洞信息不全面、漏洞描述欠缺等問(wèn)

2、題,提出可以整合各個(gè)漏洞庫(kù)的漏洞垂直搜索引擎系統(tǒng)。為了實(shí)現(xiàn)漏洞垂直搜索引擎系統(tǒng),本文設(shè)計(jì)了系統(tǒng)的整體框架流程,并圍繞整體框架的各個(gè)模塊分別進(jìn)行了研究,如爬行模塊,索引模塊,檢索模塊、中文分詞模塊等。在爬行模塊采用站長(zhǎng)提交方式建立初始URL集,并采用廣度優(yōu)先的遍歷方式訪問(wèn)網(wǎng)頁(yè)信息,以提高搜索引擎的爬行效率。由于本文所設(shè)計(jì)的漏洞搜索引擎對(duì)排序結(jié)果有比較高的要求,所以采用向量模型和鏈接分析相結(jié)合的方法,即增加漏洞信息field和設(shè)置文檔boost,使漏洞搜索引擎的排序結(jié)果達(dá)到公平.【英文摘要】Along with the rapid development of the computer and t

3、he internet technology, the Internet has become an important information infrastructure. At the same time, the Internet, as an operating system and public environment, may face and hide many security threats which become more and more complex, more and more serious. Security vulnerability is a major

4、 cause of network security threats. Network intrusion, a large-scale worm propagation, the system issues such as denial of service are mostly caused by securi.【關(guān)鍵詞】垂直搜索引擎 漏洞 PageRank Nutch 插件【英文關(guān)鍵詞】vertical search engine vulnerability pagerank nutch plugin【索購(gòu)全文】聯(lián)系Q1：138113721 Q2：139938848【目錄】基于Nutch

5、的漏洞垂直搜索引擎摘要4-6ABSTRACT6-7第一章 緒論10-141.1 研究背景101.2 研究現(xiàn)狀10-131.3 目的及意義131.4 研究?jī)?nèi)容13-14第二章 安全漏洞和搜索引擎概述14-382.1 安全漏洞的概述14-17 漏洞的產(chǎn)生原因14 安全漏洞的特點(diǎn)14-15 CVE標(biāo)準(zhǔn)15-16 著名漏洞庫(kù)16-172.2 通用搜索引擎概述17-22 通用搜索引擎的原理17-19 通用搜索引擎歷史19-20 通用搜索引擎的局限性20-21 搜索引擎的分類(lèi)21-22 主流搜索引擎簡(jiǎn)介222.3 PageRank算法22-25ageRank算法及分析22-23ageRank算法與檢索效率

6、23-252.5 垂直搜索引擎概述25-28 垂直搜索引擎的概念25 垂直搜索引擎框架25-27 著名垂直搜索引擎27-282.6 Nutch28-38 Nutch介紹28 Nutch組成及工作流程分析28-33 Nutch插件系統(tǒng)33-34 Nutch插件系統(tǒng)的體系結(jié)構(gòu)34 Nutch搜索結(jié)果排序研究34-38第三章 漏洞搜索引擎原理分析和設(shè)計(jì)38-513.1 漏洞搜索引擎的設(shè)計(jì)目標(biāo)383.2 漏洞搜索引擎的工作原理38-393.3 漏洞搜索引擎各個(gè)模塊的設(shè)計(jì)39-49 網(wǎng)絡(luò)爬蟲(chóng)39-42 建立漏洞索引42-45 漏洞檢索45-493.4 系統(tǒng)界面和交互設(shè)計(jì)49-51第四章 漏洞搜索引擎的實(shí)現(xiàn)和結(jié)果分析51-614.1 系統(tǒng)的實(shí)現(xiàn)51-58 網(wǎng)絡(luò)爬蟲(chóng)的優(yōu)化51 中文分詞的處理51-52 建立漏洞信息索引52-57 搜索結(jié)果的整體效果57-584