基于SpringBoot的CNKI數(shù)據(jù)精煉與展示計算機(jī)專業(yè)

目錄摘要 [26]，這樣可能就會導(dǎo)致系統(tǒng)在運行中出現(xiàn)問題，破壞系統(tǒng)的口碑，甚至造成更大的損失。故此軟件測試十分有必要。

結(jié)論每個人一生中都處于不斷學(xué)習(xí)的狀態(tài)，無論是刻意的學(xué)習(xí)還是被動的吸收，都是廣義上的學(xué)習(xí)。而學(xué)習(xí)最重要的就是懂得借鑒，學(xué)會如何利用參考文獻(xiàn)從別人的經(jīng)驗中轉(zhuǎn)化為自己的知識，但參考文獻(xiàn)又是多知為雜，如何從浩如煙海的參考文獻(xiàn)中快速獲取所需要的知識引起了眾人的思考，由此產(chǎn)生了本項目的設(shè)計，知網(wǎng)包含龐大的文獻(xiàn)信息，通過對這些數(shù)據(jù)的計算，進(jìn)行數(shù)據(jù)計量分析，探索這些論文間各種數(shù)據(jù)之間的關(guān)系，總結(jié)文獻(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律，幫助用戶進(jìn)行判斷和決策，以便采取適當(dāng)策略與行動，以期為用戶獲得科研選題靈感，為科研課題提供研究思路。本文的系統(tǒng)在設(shè)計與實現(xiàn)的過程中充分考慮了系統(tǒng)二次開發(fā)的可能，以及隨時可變的需求等要求，所采用的SpringBoot技術(shù)保證了系統(tǒng)具有效率高、耦合性低的特點。項目還存在爬取數(shù)據(jù)不穩(wěn)定、計算數(shù)據(jù)時間較長、文獻(xiàn)關(guān)鍵詞較少等問題，下一階段還需要針對這幾個問題作出修改。本系統(tǒng)利用爬蟲技術(shù)爬取CNKI網(wǎng)站的文獻(xiàn)數(shù)據(jù)信息，利用Java語言進(jìn)行數(shù)據(jù)的綜合分析，ECharts數(shù)據(jù)可視化技術(shù)動態(tài)交互式顯示分析結(jié)果，服務(wù)器采用阿里云平臺部署，項目的開發(fā)成本僅為阿里云服務(wù)器的購買，項目主旨在于為需要查詢文獻(xiàn)的人提供相關(guān)參考，不考慮收益問題，并且本項目開發(fā)人員基數(shù)小，人力費用小，因此項目非常有意義和可行性。

致謝經(jīng)過四個月左右的時間，基于SpringBoot的CNKI數(shù)據(jù)精煉與展示系統(tǒng)得以實現(xiàn)，獨立完成一個這樣的系統(tǒng)遇到了許多困難，大部分問題是由于基礎(chǔ)信息沒有掌握，這讓我意識到了掌握基礎(chǔ)知識的重要性，以及需要將學(xué)到的知識應(yīng)用好的重要性。這四年的大學(xué)生活即將結(jié)束，我馬上將要開始人生的另一個征程。在完成這次畢業(yè)設(shè)計的過程中，首先感謝我的指導(dǎo)老師高麗老師、聶菲老師對我的耐心教導(dǎo)，通過老師的指導(dǎo)，我論文的總體結(jié)構(gòu)、功能結(jié)構(gòu)和系統(tǒng)設(shè)計以及數(shù)據(jù)庫設(shè)計都得到了完善的修改。感謝董超老師在實習(xí)期間傳授我很多新的知識和經(jīng)驗。四年時間里，我跟老師學(xué)會的不僅僅限于課堂上的知識，更多的是教會我如何為人，還有一些實用的職場技能，讓我在求職的道路上少走了不少彎路。最后還要感謝其他在這四年里教授過我知識的所有老師，感謝您們可以讓我的學(xué)識更加淵博，同時也感謝在這四年里幫助過我的同學(xué)們，還要感謝我的企業(yè)內(nèi)的指導(dǎo)教師，可以包容和糾正我的各種小錯誤，讓我成為更好的自己。

參考文獻(xiàn)SaketBahador,EndertAlex,RhyneTheresa-Marie.DemonstrationalInteractionforDataVisualization.[J].Pubmed,2019,39(3).胡艷.數(shù)據(jù)可視化在新聞報道中的應(yīng)用前景探析[J].西南民族大學(xué)學(xué)報(自然科學(xué)版),2014,40(05):745-749.李舒穎.移動應(yīng)用缺陷報告的文本聚類技術(shù)研究[D].南京大學(xué),2017.高亞山.基于Web的大數(shù)據(jù)可視化系統(tǒng)[J].信息與電腦(理論版),2019(15):149-150.HatmaSuryotrisongko;DedyPujiJayanto;ArisTjahyanto.DesignandDevelopmentofBackendApplicationforPublicComplaintSystemsUsingMicroserviceSpringBoot[D].ProcediaComputerScience,2016.焦鵬琿.基于SpringBoot和Vue框架的電子招投標(biāo)系統(tǒng)的設(shè)計與實現(xiàn)[D].南京大學(xué),2018.江接寶,余衛(wèi)紅.基于開源的數(shù)據(jù)匯聚與可視化技術(shù)研究[J].電腦知識與技術(shù),2019,15(10):235-236.閆昶.基于協(xié)同過濾的景點推薦WebGIS平臺設(shè)計與實現(xiàn)[D].西安科技大學(xué),2017.楊嬌,陳強(qiáng),王加賓,梁鑒如,周玲.基于Echarts的地鐵屏蔽門數(shù)據(jù)監(jiān)控系統(tǒng)的實現(xiàn)[J].智能計算機(jī)與應(yīng)用,2018,8(04):144-148.王梧權(quán).具有風(fēng)格特征的信息可視化設(shè)計和算法[D].天津大學(xué),2017.鄭雪.基于HDFS的大數(shù)據(jù)快速可視化系統(tǒng)的設(shè)計與實現(xiàn)[D].哈爾濱工業(yè)大學(xué),2018.張立.內(nèi)蒙古氣象局綜合信息系統(tǒng)的設(shè)計與實現(xiàn)[D].內(nèi)蒙古大學(xué),2015.高佳憶,魏乃曉,徐文輝,賈燕.基于Web前端開發(fā)的公司網(wǎng)站設(shè)計研究[J].無線互聯(lián)科技,2018,15(11):65-67.孫仕云.WEB系統(tǒng)前端開發(fā)技術(shù)分析[J].通訊世界,2017(12):267-268.石貴民.基于Visio的站內(nèi)搜索系統(tǒng)的UML建模過程[J].信息技術(shù),2007(01):106-108+111.張璇,王旭,李彤,白川,康燕妮.軟件非功能需求權(quán)衡代價[J].軟件學(xué)報,2017,28(05):1247-1270.SirishaAdamala,N.S.Raghuwanshi,AshokMishra.DevelopmentofSurfaceIrrigationSystemsDesignandEvaluationSoftware(SIDES)[J].ComputersandElectronicsinAgriculture,2014,100.ZakariaMaamar,WathiqMansoor.DesignandDevelopmentofaSoftwareAgent-BasedandMobileService-OrientedEnvironment[J].E-Service,2003,2(3).張良.電網(wǎng)公司基建管理系統(tǒng)設(shè)計與實現(xiàn)[D].電子科技大學(xué),2014.吳毅良,羅序良,陸庭輝,郭鳳嬋.基于Java和Selenium的自動化操作工具的設(shè)計與實現(xiàn)[J].機(jī)電信息,2019(06):56-57.許麗光,翁花群,曾福山.基于Delphi的定時重啟特定服務(wù)的程序設(shè)計與實現(xiàn)[J].電腦知識與技術(shù),2019,15(12):284-286.王瑩鈺.無線射頻識別技術(shù)在高職院校圖書管理系統(tǒng)應(yīng)用淺析[J].科技風(fēng),2018(10):5.劉敏.基于SpringBoot框架社交網(wǎng)絡(luò)平臺的設(shè)計與實現(xiàn)[D].湖南大學(xué),2018.陳少龍.面向視障學(xué)生的無障礙教學(xué)互動APP設(shè)計與開發(fā)[D].華中師范大學(xué),2018.李香菊,孫麗,謝修娟,操鳳萍,朱林.軟件工程課程設(shè)計教程[M].北京：北京郵電大學(xué)出版社，2016.01.孫輝.針對某軟件的系統(tǒng)測試的設(shè)計與實施[D].北京郵電大學(xué),2015.

附錄：源程序清單@RestControllerpublicclassPaChongController{ @Autowired LiteratureServiceliteratureService; @Autowired RecordServicerecordService; @Autowired KeywordServicekeywordService; @Autowired JournalServicejournalService; @Autowired AbnormallServiceabnormallService; @Autowired RunningServicerunningService; @RequestMapping("/pachong") publicvoidpachong()throwsException{ RecordBeanpageBean=recordService.selectByRecordName("頁面索引數(shù)"); RecordBeanliterBean=recordService.selectByRecordName("文獻(xiàn)總數(shù)"); RecordBeankeywordBean=recordService.selectByRecordName("關(guān)鍵詞序號"); List<KeywordBean>keywordBeans=keywordService.select(); //關(guān)鍵詞總數(shù) intkeywordNum=keywordBeans.size(); //頁面索引數(shù) intpageDigit=pageBean.getRecordint(); //文獻(xiàn)總數(shù) intliterNum=literBean.getRecordint(); //關(guān)鍵詞序號 intkeywordDigit=keywordBean.getRecordint(); //調(diào)整高度 Thread.sleep(1000); journalService.insert("本次啟動爬蟲的關(guān)鍵詞總數(shù)："+keywordNum+",文獻(xiàn)總數(shù)：" +literNum+",關(guān)鍵詞序號："+keywordDigit+",頁面索引數(shù)："+pageDigit+"。",3); //第一層循環(huán)是關(guān)鍵詞循環(huán)，對每個關(guān)鍵詞進(jìn)行爬取工作 try{ for(inti=keywordDigit-1;i<keywordNum;i++){ Stringkeyword=keywordBeans.get(i).getKeyword(); Stringurl="/search?keyword="+keyword+"&db=CFLS&p="+pageDigit+""; journalService.insert("當(dāng)前循環(huán)爬蟲的關(guān)鍵詞："+keyword+",頁面索引："+pageDigit+"，即爬蟲鏈接："+url+"。",4); ((ChromeDriver)driver).get(url); Thread.sleep(1000); //第二層循環(huán)是頁面循環(huán) while(true){ journalService.insert("正在進(jìn)行頁面循環(huán)，當(dāng)前關(guān)鍵詞為："+keyword+",頁面索引為"+pageDigit+"。",2); //首現(xiàn)判斷該頁面是否有效，以找到第一個文獻(xiàn)標(biāo)題為準(zhǔn) inttemp=1; if(pageDigit>300){ WebElementnextBtn=((ChromeDriver)driver).findElementByXPath("/html/body/div[2]/div[25]/div/a[last()]"); if(!nextBtn.getText().equals("下一頁")){ journalService.insert("該關(guān)鍵詞無下一頁，下一頁的內(nèi)容為："+nextBtn.getText()+"。",2); keywordDigit++; keywordBean.setRecordint(keywordDigit); recordService.updata(keywordBean); pageDigit=1; pageBean.setRecordint(pageDigit); recordService.updata(pageBean); journalService.insert("完成關(guān)鍵詞"+keyword+"的爬取工作，該關(guān)鍵詞以無下一頁，將關(guān)鍵詞序號修改為："+ keywordDigit+"，頁面索引重置為："+pageDigit+"。",3); } } while(!doesWebElementExist(driver,By.xpath("/html/body/div[2]/div[3]/div/h3/a"))){ //先刷新頁面試一試 if(temp==1){ Thread.sleep(5000); driver.navigate().refresh(); journalService.insert("頁面出現(xiàn)問題，正在進(jìn)行頁面刷新工作，當(dāng)前關(guān)鍵詞為："+keyword+",頁面索引為"+pageDigit+"。",3); Thread.sleep(5000); temp++; } if(temp==2){ WebElementnextBtn=((ChromeDriver)driver).findElementByXPath("/html/body/div[2]/div[25]/div/a[last()]"); if(!nextBtn.getText().equals("下一頁")){ journalService.insert("該關(guān)鍵詞無下一頁，下一頁的內(nèi)容為："+nextBtn.getText()+"。",2); keywordDigit++; keywordBean.setRecordint(keywordDigit); recordService.updata(keywordBean); pageDigit=1; pageBean.setRecordint(pageDigit); recordService.updata(pageBean); journalService.insert("完成關(guān)鍵詞"+keyword+"的爬取工作，該關(guān)鍵詞以無下一頁，將關(guān)鍵詞序號修改為："+ keywordDigit+"，頁面索引重置為："+pageDigit+"。",3); } else journalService.insert("爬蟲出現(xiàn)問題，請盡快處理。",4); break; } } //第三層循環(huán)對每頁的每個文獻(xiàn)信息進(jìn)行爬取 for(intj=3;j<23;j++){ //判斷是否有這個文獻(xiàn)資料 if(!doesWebElementExist(driver,By.xpath("/html/body/div[2]/div["+j+"]/div/h3/a"))) break; LiteratureBeanliteratureBean=newLiteratureBean(); literatureBean.setLiteraturetitle( driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/h3/a")).getText()); Stringauthor=driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/div[1]/span[1]")).getText(); if(author.length()>100){ author=author.substring(0,98); journalService.insert("作者長度較長，進(jìn)行裁剪,裁剪后的內(nèi)容為："+author+",標(biāo)題為"+literatureBean.getLiteraturetitle()+"。",1); } literatureBean.setLiteratureauthor(author); literatureBean.setPublicationunit( driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/div[1]/span[3]")).getText()); try{ date=simpleDateFormat.parse(publicationdate.substring(5)); }catch(Exceptione){ journalService.insert("時間格式有問題，選擇默認(rèn)時間："+date+",標(biāo)題為"+literatureBean.getLiteraturetitle()+"。",1); } literatureBean.setPublicationdate(date); literatureBean.setSource( driver.findElement(By.xpath("/html/body/div[2]/div["+j+"]/div/div[1]/span[5]")).getText()); if(literatureService.selectIsTitleAndAythor(literatureBean.getLiteraturetitle(),literatureBean.getLiteratureauthor())){ literatureBean.setQuotenum(1); literatureService.insert(literatureBean); literNum++; } else{ System.out.println("此數(shù)據(jù)已存在數(shù)據(jù)庫"); } } //第三層循環(huán)對每頁的每個文獻(xiàn)信息進(jìn)行爬取工作結(jié)束 literBean.setRecordint(literNum); recordService.updata(literBean); pageDigit++; pageBean.setRecordint(pageDigit); recordService.updata(pageBean); journalService.insert("完成進(jìn)行頁面循環(huán)，當(dāng)前關(guān)鍵詞為："+keyword+",頁面索引已修改："+pageDigit+"，文獻(xiàn)總數(shù)已修改："+literNum+"。",2); RunningBeanrunningBean=runningService.selectByNname("爬蟲運行狀態(tài)"); runningBean.setState(1); runningService.updata(runningBean); try{ WebElementnextBtn=((ChromeDriver)driver).findElementByXPath("/html/body/div[2]/div[25]/div/a[last()]"); Thread.sleep(5000); Syst