大數(shù)據(jù)技術(shù)在南海鳶烏賊資源調(diào)查上的研究進展

1、 大數(shù)據(jù)技術(shù)在南海鳶烏賊資源調(diào)查上的研究進展 馮菲Summary介紹了南海鳶烏賊（Sthenoteuthis oualaniensis）的資源調(diào)查現(xiàn)狀，分析了大數(shù)據(jù)技術(shù)在南海鳶烏賊資源調(diào)查中的應(yīng)用情況，總結(jié)出大數(shù)據(jù)技術(shù)在鳶烏賊資源調(diào)查中的應(yīng)用框架，為南海鳶烏賊資源的生產(chǎn)和評估提供重要的科學(xué)依據(jù)。Key大數(shù)據(jù);漁業(yè)大數(shù)據(jù);鳶烏賊;漁業(yè)資源S951.2A0517-6611（2018）33-0012-02隨著我國經(jīng)濟和人口的快速發(fā)展，南海海域漁業(yè)資源過度捕撈，漁業(yè)生態(tài)環(huán)境不斷惡化，導(dǎo)致近海區(qū)漁業(yè)資源枯竭1，南海鳶烏賊又稱紅魷魚或南魷，屬于鞘亞綱，槍形目，鳶烏賊屬，柔魚科，其生命周期較短，生長率高，產(chǎn)

2、量十分豐富，是具有較高開發(fā)潛力的物種，是我國南海重要的漁業(yè)資源之一2-4。通過聲學(xué)評估分析，南海鳶烏賊的資源量達到2.36106 t5。因此對南海鳶烏賊的資源調(diào)查極具價值。2003年，我國首次對印度洋海域鳶烏賊進行資源調(diào)查6-7。2017年，范江濤等8依據(jù)漁業(yè)聲學(xué)調(diào)查數(shù)據(jù)，用傳統(tǒng)的數(shù)據(jù)處理軟件對南沙海域鳶烏賊資源進行分析，表明漁場有空間自相關(guān)性。由于信息化技術(shù)剛起步，結(jié)合大數(shù)據(jù)技術(shù)對鳶烏賊資源的調(diào)查極少。隨著復(fù)雜的調(diào)查數(shù)據(jù)管理需求增加和信息化技術(shù)的突飛猛進，基于大數(shù)據(jù)技術(shù)下的資源調(diào)查已經(jīng)成為高效存儲和共享資源調(diào)查數(shù)據(jù)進行預(yù)測分析評估的必要手段之一9-11。受不同的環(huán)境因子、資源密度、捕獲量、漁

3、民需求等因素影響，使用大數(shù)據(jù)技術(shù)對南海鳶烏賊進行觀測分析越發(fā)必要。利用各種傳感節(jié)點和無線通信網(wǎng)絡(luò)對南海鳶烏賊資源進行采集，結(jié)合大數(shù)據(jù)分析技術(shù)進行傳輸、存儲和處理等，正廣泛運用到鳶烏賊資源調(diào)查的各個方面12。相比傳統(tǒng)的調(diào)查分析技術(shù)而言，大數(shù)據(jù)技術(shù)背景下鳶烏賊資源調(diào)查規(guī)模大、質(zhì)量高，能獲得海量、全方位的數(shù)據(jù)，且包括所有能收集到的信息，利用大數(shù)據(jù)理念和技術(shù)對資源進行整合、分析，可有效推動鳶烏賊資源的發(fā)展13。該研究介紹了鳶烏賊資源現(xiàn)狀和大數(shù)據(jù)技術(shù)應(yīng)用現(xiàn)狀，將大數(shù)據(jù)技術(shù)與鳶烏賊資源調(diào)查相結(jié)合，有望促進漁業(yè)領(lǐng)域的可持續(xù)發(fā)展。1南海鳶烏賊資源研究現(xiàn)狀1.1大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀我國經(jīng)濟發(fā)展進入新常態(tài)，信息化技

4、術(shù)已經(jīng)成為促進改革創(chuàng)新，推翻傳統(tǒng)漁業(yè)模式的決定性因素，信息化技術(shù)是衡量一個國家科技發(fā)展水平高低的重要標(biāo)志。信息化技術(shù)在發(fā)展的同時產(chǎn)生了爆炸式的大數(shù)據(jù)。據(jù)中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展水平評估報告（2017）指出，大數(shù)據(jù)浪潮正在席卷全球，我國也正在向著“數(shù)據(jù)強國”的目標(biāo)不斷前進14。據(jù)Winter Corp調(diào)查，數(shù)據(jù)量正以每兩年3倍的速率快速增加15。大數(shù)據(jù)的簡單定義就是無法利用傳統(tǒng)的數(shù)據(jù)處理軟件在一定的時間內(nèi)對這些數(shù)據(jù)進行采集，分析存儲和處理并且獲取大量信息的數(shù)據(jù)集合16。大數(shù)據(jù)的特點包括4個方面：數(shù)據(jù)容量海量性、數(shù)據(jù)處理的高速性、數(shù)據(jù)類型多樣性和商業(yè)價值性17。大數(shù)據(jù)技術(shù)包括海量數(shù)據(jù)的收集、存儲、傳輸、

5、建模和分析等一系列活動形成的產(chǎn)業(yè)鏈，同時和其他行業(yè)結(jié)合在一起，從而獲得巨大的效益18。大數(shù)據(jù)技術(shù)在各行各業(yè)都有了廣泛的發(fā)展，比如近年來，劉海英19將大數(shù)據(jù)技術(shù)與共享鏈結(jié)合共同促進共享經(jīng)濟的發(fā)展。郭少青20利用大數(shù)據(jù)技術(shù)治理氣候變化問題，促進城市的可持續(xù)發(fā)展。蔣鵬飛等21把空間遙感大數(shù)據(jù)技術(shù)應(yīng)用在農(nóng)業(yè)“防災(zāi)減災(zāi)”領(lǐng)域，從而獲得更加準(zhǔn)確的參數(shù)信息。但是，大數(shù)據(jù)技術(shù)在南海鳶烏賊資源方面的應(yīng)用較少，加上漁業(yè)活動較為分散等原因，導(dǎo)致漁業(yè)信息化水平較低。將大數(shù)據(jù)應(yīng)用于漁業(yè)領(lǐng)域，有利于提升漁業(yè)科學(xué)研究和生產(chǎn)水平的創(chuàng)新能力，提高漁業(yè)資源政策的科學(xué)性，創(chuàng)新其發(fā)展模式，促進漁業(yè)從跟跑到領(lǐng)跑式的發(fā)展22。其原理是利

6、用大數(shù)據(jù)和相關(guān)技術(shù)的思想架構(gòu)，結(jié)合數(shù)學(xué)模型處理漁業(yè)信息化產(chǎn)生的大量數(shù)據(jù)，并根據(jù)需要對有用的結(jié)果進行分析和渲染，進而處理漁業(yè)資源領(lǐng)域出現(xiàn)的問題23。隨著水產(chǎn)養(yǎng)殖和捕撈業(yè)的快速發(fā)展和應(yīng)用，使得鳶烏賊資源獲得的數(shù)據(jù)量也不斷擴大，其數(shù)據(jù)資源多種多樣、結(jié)構(gòu)復(fù)雜、分布較廣，使得大數(shù)據(jù)技術(shù)在南海鳶烏賊資源管理方面的應(yīng)用較為復(fù)雜。1.2國內(nèi)外南海鳶烏賊資源調(diào)查研究現(xiàn)狀早在20世紀70年代，南海鳶烏賊資源就已經(jīng)出現(xiàn)，但因為傳統(tǒng)漁業(yè)資源豐富，且鳶烏賊的經(jīng)濟價值較低，所以鳶烏賊資源未被重視。如今，傳統(tǒng)漁業(yè)資源的逐漸衰退使得南海鳶烏賊資源成為我國南海最重要的漁業(yè)資源之一，在我國引起很大的關(guān)注24。目前國內(nèi)外對南海鳶烏

7、賊資源的研究大多集中在其生長繁殖、種群結(jié)構(gòu)遺傳結(jié)構(gòu)25-29等生物學(xué)特性方面，對鳶烏賊的資源量調(diào)查大多集中在燈光罩探捕調(diào)查30以及資源量的水聲學(xué)評估5等方面，將大數(shù)據(jù)技術(shù)用于南海鳶烏賊資源調(diào)查的研究少之又少，再加上數(shù)據(jù)混亂、數(shù)據(jù)分析人才的缺乏，導(dǎo)致大數(shù)據(jù)技術(shù)的應(yīng)用更為復(fù)雜。1.3大數(shù)據(jù)技術(shù)應(yīng)用在南海鳶烏賊資源管理中的意義由于我國漁業(yè)的信息化程度普遍較低，而探索大數(shù)據(jù)技術(shù)在漁業(yè)中的應(yīng)用處于剛起步階段22。當(dāng)前，漁業(yè)仍沿用大量消耗資源和粗放經(jīng)營的傳統(tǒng)方式10，對鳶烏賊資源的調(diào)查也仍然采用傳統(tǒng)的數(shù)據(jù)處理軟件對抽樣所獲得的數(shù)據(jù)進行分析評估，分析效率低，資源浪費，預(yù)測評估不及時，存儲的數(shù)據(jù)量少，導(dǎo)致分析

8、結(jié)果精準(zhǔn)度低。利用大數(shù)據(jù)技術(shù)，可以提高漁業(yè)信息的綜合利用率，發(fā)掘隱藏在其中的信息，并產(chǎn)生新知識用于漁業(yè)資源市場的預(yù)期。南海鳶烏賊有著豐富的資源量，更需要大數(shù)據(jù)技術(shù)的支持。比如從不同的地區(qū)和不同年齡的漁民的購買數(shù)據(jù)中分析出鳶烏賊的需求量，根據(jù)需求情況調(diào)配資源和管理，從而開拓更大的市場。另外大數(shù)據(jù)平臺的眾多外部資源可以對南海鳶烏賊所處的環(huán)境進行分析，查找影響其生長繁殖和捕獲量的各種因素，對大規(guī)模數(shù)據(jù)進行分析，關(guān)注整體動向，預(yù)測其變化規(guī)律31。2大數(shù)據(jù)技術(shù)在鳶烏賊資源調(diào)查中的應(yīng)用框架2.1數(shù)據(jù)的采集和傳輸采用傳感器測量南海鳶烏賊資源環(huán)境中的各種變量，將采集的信息轉(zhuǎn)化為可讀的信號，通過無線網(wǎng)絡(luò)載體，將

9、信息傳播到數(shù)據(jù)采集點以待處理32。其傳感器的原理是由電池供電，微小傳感器收集所感知的數(shù)據(jù)，基站在節(jié)點部署完成之后發(fā)布收集命令，這樣不同節(jié)點產(chǎn)生的感知數(shù)據(jù)將會被匯集，之后轉(zhuǎn)發(fā)到基站以待處理33。例如傳統(tǒng)的鳶烏賊資源調(diào)查航次分析主要依靠人工錄入捕撈日志等信息來確定和判斷航次，而基于大數(shù)據(jù)下的鳶烏賊資源調(diào)查可以快速提取每搜漁船的捕撈航次信息，能夠直觀地看出每年出海捕撈情況，可以協(xié)助進行漁船的精準(zhǔn)化管理。另外采集方式還有信息系統(tǒng)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等32。2.2數(shù)據(jù)的存儲與處理所收集到南海鳶烏賊資源的各種數(shù)據(jù)，包括每年探捕的鳶烏賊量，每年度中每季度的鳶烏賊的資源量以及其分布的區(qū)域的經(jīng)緯度等信息數(shù)據(jù)，通過H

10、addoop體系進行存儲計算。Haddoop體系包括HDFS（ Hadoop Distributed File System）和 Map Reduce兩部分。HDFS將調(diào)查鳶烏賊資源獲得的大數(shù)據(jù)切分成大小相同的小數(shù)據(jù)塊進行存儲，存于多個數(shù)據(jù)節(jié)點上，并進行校對、負載等。一般用HDFS存儲數(shù)據(jù)，不容易丟失，且容量大。Map Reduce將海量數(shù)據(jù)分為不同的數(shù)據(jù)塊進行過濾處理，每個數(shù)據(jù)塊都對應(yīng)一個任務(wù)，將所得中間結(jié)果保存在本地，將中間結(jié)果傳輸?shù)礁鱾€Reduce節(jié)點進行最終的Reduce聚集處理，最后將最終結(jié)果輸入到分布式存儲文件系統(tǒng)34。另外它可以存儲離線數(shù)據(jù)，Map節(jié)點和Reduce節(jié)點相互配合，

11、以最快的速度完成計算，從而提高運算效率。另外其存儲技術(shù)還包括分布式文件系統(tǒng)，分布式數(shù)據(jù)庫等。與傳統(tǒng)的關(guān)系型數(shù)據(jù)管理系統(tǒng)比較，基于大數(shù)據(jù)技術(shù)背景下非關(guān)系型數(shù)據(jù)管理系統(tǒng)具有擴展性好、存儲性能好且運算效率高等特點。ETL對南海鳶烏賊資源調(diào)查過程中收集到的分散數(shù)據(jù)進行提取、轉(zhuǎn)換、清洗并加載至數(shù)據(jù)倉庫中，使得這些數(shù)據(jù)成為智能化有用的數(shù)據(jù)35。2.3數(shù)據(jù)的分析通過ETL數(shù)據(jù)清洗得到標(biāo)準(zhǔn)化的鳶烏賊資源數(shù)據(jù)，從不同的業(yè)務(wù)中提取數(shù)據(jù)的特征，利用局部區(qū)域近十年的數(shù)據(jù)進行統(tǒng)計，并構(gòu)建棲息地指數(shù)模型或者廣義可加模型（GAM），根據(jù)模型對整個南海鳶烏賊資源數(shù)據(jù)進行預(yù)測和分析36。在鳶烏賊資源管理過程中，會涉及多個過程，

12、包括養(yǎng)殖、捕撈、運輸、加工等過程，其間包含環(huán)境因子、各種生物成分，以及安全問題、生產(chǎn)效益、漁民需求等因素。此外利用BI分析平臺，將復(fù)雜難懂的數(shù)據(jù)配合多維專業(yè)工具轉(zhuǎn)化為簡單、易理解的圖形方式體現(xiàn)，對需要的指標(biāo)進行多角度分析，并且生成分析報告，從中得到有用的信息37。3展望傳統(tǒng)的鳶烏賊資源調(diào)查大多要經(jīng)歷幾個環(huán)節(jié)，并且需要不同的人員相互配合共同完成，多以現(xiàn)場采樣、統(tǒng)計以及記錄的方式采集數(shù)據(jù)，并對數(shù)據(jù)簡單處理，通過Excel進行分析數(shù)據(jù)得到有用的信息，這個過程比較繁瑣，稍有失誤將會影響整個調(diào)查結(jié)果?；诖髷?shù)據(jù)技術(shù)下的鳶烏賊資源調(diào)查可以提供標(biāo)準(zhǔn)化的數(shù)據(jù)結(jié)構(gòu)，同時具有數(shù)據(jù)備份系統(tǒng)以免數(shù)據(jù)丟失，從而保護數(shù)據(jù)

13、的安全性，還能提供數(shù)據(jù)共享11。另外大數(shù)據(jù)技術(shù)可以幫助構(gòu)建漁業(yè)云平臺，向相關(guān)的漁民提供在線查詢、數(shù)據(jù)分析、共享交流等服務(wù)38。將大數(shù)據(jù)技術(shù)應(yīng)用于漁業(yè)資源管理中，有望為將來的漁業(yè)資源領(lǐng)域開辟一條新的道路。Reference1 余景，胡啟偉，李純厚，等.西沙-中沙海域春季鳶烏賊資源與海洋環(huán)境的關(guān)系J.海洋學(xué)報，2017，39（6）：62-73.2 江淼，馬勝偉，吳洽兒.南海鳶烏賊資源探捕與開發(fā)J.中國漁業(yè)經(jīng)濟，2018，36（2）：65-70.3 馬靜蓉，楊慶賢，馬海霞，等.南海鳶烏賊肌原纖維蛋白的熱穩(wěn)定性研究J.食品與發(fā)酵工程，2015，41（5）：80-84.4 吳靜，胡曉，楊慶賢，等.鳶烏賊

14、酶解產(chǎn)物的抗氧化穩(wěn)定性與功能特性J.南方水產(chǎn)科學(xué)，2016，12（5）：105-111.5 李斌，陳國寶，郭禹，等.南海中部海域漁業(yè)資源時空分布和資源量的水聲學(xué)評估J.南方水產(chǎn)科學(xué)，2016，12（4）：28-37.6 陳新軍，錢衛(wèi)國.印度洋西北部海域鳶烏賊資源密度分布的初步分析J.上海水產(chǎn)大學(xué)學(xué)報，2004，13（3）：218-223.7 余為，陳新軍.印度洋西北海域鳶烏賊9-10月棲息地適宜指數(shù)研究J.廣東海洋大學(xué)學(xué)報，2012，32（6）：74-80.8 范江濤，張俊，馮雪，等.基于地統(tǒng)計學(xué)的南沙海域鳶烏賊漁場分析J.生態(tài)學(xué)雜志，2017，36（2）：442-446.9 馮波，顏云榕，張

15、宇美，等.南海鳶烏賊（Sthenoteuthis oualaniensis）資源評估的新方法J.漁業(yè)科學(xué)進展，2014，35（4）：1-6.10 郭少雅.物聯(lián)網(wǎng)支撐現(xiàn)代漁業(yè)發(fā)展N.農(nóng)民日報，2016-04-08（04）.11 劉子健.基于開源GIS技術(shù)的新疆漁業(yè)資源數(shù)據(jù)平臺設(shè)計與開發(fā)D.武漢：華中農(nóng)業(yè)大學(xué)，2017：1-58.12 謝潤梅.農(nóng)業(yè)大數(shù)據(jù)的獲取和利用J.安徽農(nóng)業(yè)科學(xué)，2015，43（30）：383-385.13 李俊清，宋長青，周虎.大數(shù)據(jù)背景下農(nóng)業(yè)數(shù)據(jù)資源分類及應(yīng)用前景淺析J.農(nóng)業(yè)圖書情報學(xué)刊，2018，30（4）：23-27.14 中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展水平評估報告J.軟件和集成電

16、路，2017（12）：22-23.15 WinterCorp.The large scale Data Management ExpertEB/OL.2018-05-28.http：/.16 MANYIKA J，CHUI M，BROWN B，et al.Big data：The next frontier for innovation，competition，and protuctivityR.McKinsey Global Institute，2011.17 MAYERSCHONBERGER V，CUKIER K.Big data：A revolution that will transfo

17、rm how we live，work，and think M.New York：Eamon Dolan/Houghton Mifflin Harcourt，2013：174-180.18 尹衍雨，白春明，柴多梅，等.大數(shù)據(jù)與農(nóng)業(yè) 大數(shù)據(jù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用J.蔬菜，2018（3）：1-7.19 劉海英.“大數(shù)據(jù)+區(qū)塊鏈”共享經(jīng)濟發(fā)展研究：基于產(chǎn)業(yè)融合理論 J.技術(shù)經(jīng)濟與管理研究，2018（1）：91-95.20 郭少青.基于大數(shù)據(jù)治理對氣候變化背景下城市可持續(xù)發(fā)展的對策研究J.西南民族大學(xué)學(xué)報（人文社會科學(xué)版），2018（3）：205-213.21 蔣鵬飛，姜水晶，韓雪.空間遙感大數(shù)據(jù)技術(shù)在農(nóng)業(yè)

18、防災(zāi)減災(zāi)領(lǐng)域中的應(yīng)用J.農(nóng)村農(nóng)業(yè)農(nóng)民（B版），2018（3）：49-51.22 周詢.大數(shù)據(jù)技術(shù)與中國漁業(yè)J.中國水產(chǎn)，2015（8）：31-33.23 于喆.漁業(yè)大數(shù)據(jù)綜述J.安徽農(nóng)業(yè)科學(xué)，2017，45（9）：211-213.24 張鵬，楊吝，張旭豐，等.南海金槍魚和鳶烏賊資源開發(fā)現(xiàn)狀及前景J.南方水產(chǎn)，2010，6（1）：68-74.25 粟麗，陳作志，張鵬.南海中南部海域春秋季鳶烏賊繁殖生物學(xué)特征研究J.南方水產(chǎn)科學(xué)，2016，12（4）：96-102.26 招春旭，陳昭澎，何雄波，等.基于耳石微結(jié)構(gòu)的南海春季鳶烏賊日齡、生長與種群結(jié)構(gòu)的研究J.水生生物學(xué)報，2017，41（4）：88

19、4-890.27 劉連為，周永東，陸化杰，等.西北太平洋鳶烏賊種群遺傳結(jié)構(gòu)J.水產(chǎn)學(xué)報，2017，41（9）：1355-1364.28 NESIS K N.Population structure of oceanic ocmastrephids with particular reference to Sthenoteuthis oualaniensis：A reviewM /OKUTANI T，ODOR R K，KUBODERA T.Recent advances in fisheries biology.Tokyo：Tokai University Press，1993：375-383.29 SUZUKI T，YAMAMOTO S，ISHI I K，et al.On the flying squid sthenoteuthis oua