大數據畢業(yè)設計

大數據畢業(yè)設計【篇一：基于hadoop數據分析系統設計(優(yōu)秀畢業(yè)設計)】摘要隨著云時代的來臨，大數據也吸引越來越多的關注，企業(yè)在日常運營中生成、積累的用戶網絡行為數據。這些數據是如此龐大，計量單位通常達到了pb、eb甚至是zb。hadoop作為一個開源的分布式文件系統和并行計算編程模型得到了廣泛的部署和應用。本文將介紹hadoop完全分布式集群的具體搭建過程與基于hive的數據分析平臺的設計與實現。關鍵字hadoop，mapreduce，hiveabstractwiththeadventofcloud,bigdataalsoattractmoreandmoreattention,theenterpriseofthegenerationandaccumulationinthedailyoperationoftheusernetworkbehaviordata.thedataissolarge,themeasuringunitisusuallyachievedthepb,eb,andeventhezb.thehadoopdistributedfilesystemasanopensource,andparallelcomputingprogrammingmodelhasbeenwidelydeployedandapplication.thisarticleintroduceshadoopcompletelydistributedclusterprocessofconcretestructures,andthedesignandimplementationofdataanalysisplatformbasedonthehive.keywordshadoop，mapreduce，hive目錄第一章第二章第三章3.13.23.33.43.53.6某某企業(yè)數據分析系統設計需求分析......................................................3hadoop簡介..............................................................................................4hadoop單一部署......................................................................................7hadoop集群部署拓撲圖.................................................................................7安裝操作系統centos......................................................................................8hadoop基礎配置...........................................................................................14ssh免密碼登錄............................................................................................17安裝jdk.........................................................................................................18安裝hadoop..................................................................................................193.6.1安裝32位hadoop......................................................................................193.6.2安裝64位hadoop......................................................................................283.73.8hadoop優(yōu)化...................................................................................................32hive安裝與配置............................................................................................333.8.1hive安裝.....................................................................................................333.8.2使用mysql存儲metastore.....................................................................333.8.3hive的使用.................................................................................................363.9hbase安裝與配置..........................................................................................379.1hbase安裝.....................................................................................................379.2hbase的使用.................................................................................................393.10集群監(jiān)控工具ganglia..................................................................................43第四章hadoop批量部署....................................................................................484.1安裝操作系統批量部署工具cobbler..............................................................484.2安裝hadoop集群批量部署工具ambari.........................................................54第五章第六章第七章使用hadoop分析網站日志...................................................................63總結............................................................................................................67參考文獻....................................................................................................67致謝..............................................................................................................................68第一章某某企業(yè)數據分析系統設計需求分析某某企業(yè)成立于1999年，其運營的門戶網站每年產生大概2t的日志信息，為了分析網站的日志，部署了一套oracle數據庫系統，將所有的日志信息都導入oracle的表中。隨著時間的推移，存儲在oracle數據庫中的日志系統越來越大，查詢的速度變得越來越慢，并經常因為查詢的數據量非常大而導致系統死機。日志信息的分析成為了xx企業(yè)急需解決的問題，考慮到單機分析的擴展性與成本問題，且xx企業(yè)當前有一部分服務器處于閑置狀態(tài)，最終決定在現有服務器的基礎上部署一套分布式的系統來對當前大量的數據進行分析。結合淘寶目前已經部署成功的數據雷達系統，同時由于xx企業(yè)預算有限，為了節(jié)約資金，決定采用開源的hadoop來部署公司的數據分析系統。?采用hadoop集群優(yōu)勢：1.高可靠性，能夠維護多個工作數據副本，確保能夠針對失敗的節(jié)點重新分布處理。2.高擴展性，在計算機集簇間分配數據并完成計算，這些集簇可以很容易擴展到數以千計的節(jié)點中去。3.高效性，以并行的方式工作，通過并行處理加快處理速度。4.高容錯性，自動保存數據多個副本，并能夠自動將失敗任務重新分配。5.廉價性，框架可以運行在任何普通的pc上。?采用hadoop集群劣勢：1.采用單master的設計，單master的設計極大地簡化了系統的設計和實現，由此帶來了機器規(guī)模限制和單點失效問題。2.編程復雜，學習曲線過于陡峭，讓許多人難以深入。3.開源性，在廣大社區(qū)維護不斷推進hadoop的發(fā)展的同時，一旦代碼出現漏洞并未被發(fā)現，而又被有心的人利用，將會對數據的安全造成毀滅性的后果。4.缺乏認證，hadoop并沒有對使用hadoop的權限進行細致的劃分。第二章hadoop簡介hadoop是apache軟件基金會旗下的一個開源分布式計算平臺。以hadoop分布式文件系統和mapreduce為核心的hadoop為用戶提供了系統底層細節(jié)透明的分布式基礎架構。hdfs的高容錯性、高伸縮性等優(yōu)點允許用戶將hadoop部署在低廉的硬件上，形成分布式系統，mapreduce分布式編程模型允許用戶在不了解分布式系統底層細節(jié)的情況下開發(fā)并行應用程序。所以用戶可以利用hadoop輕松地組織計算機資源，從而搭建自己的分布式計算平臺，并且可以充分利用集群的計算和存儲能力，完成海量數據的處理。2.1hadoop生態(tài)系統hadoop已經發(fā)展成為包含多個子項目的集合。核心內容是mapreduce和hadoop分布式文件系統（dhfs）。它也包含了common、avro、chukwa、hive、hbase等子項目，他們在核心層的基礎上提供了高層服務，為hadoop的應用推廣起到了重要作用。如圖2.1所示：圖2.1hadoop結構圖hadoopcore/common從hadoop0.20版本開始，hadoop的core項目便更名為common.，它是hadoop體系最底層的一個模塊，為hadoop各子項目提供各種工具，主要包括filesystem、prc和串行化庫。hivehive是基于hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的sql查詢功能，可以將sql語句轉換為mapreduce任務進行運行。其優(yōu)點是學習成本低，可以通過類sql語句快速實現簡單的mapreduce統計，不必開發(fā)專門的mapreduce應用，十分適合數據倉庫的統計分【篇二：《大數據時代》正規(guī)畢業(yè)論文】大數據時代摘要：隨著網絡信息化時代的日益普遍，移動互聯、社交網絡、電子商務大大拓展了互聯網的疆界和應用領域，我們正處在一個數據爆炸性增長的大數據時代，大數據在社會經濟、政治、文化，人們生活等方面產生深遠的影響，大數據時代對人類的數據駕馭能力提出了新的挑戰(zhàn)與機遇。關鍵字：大數據云計算海量發(fā)展影響abstract：asthenetworkinformationagehasbecomemorecommon,mobileinternet,socialnetwork,theelectroniccommerceoftheinternetgreatlyexpandthebordersandapplicationfields,weareinadatatheexplosivegrowthofbigdataera,largedatainthesocialeconomy,politics,culture,peoplelifeandotheraspectshavefar-reachinginfluence,thebigdataagetothehumandatatocontrolabilityputsforwardnewchallengesandopportunities.keyword:bigdatacloudcomputingmassdevelopmentinfluence一、大數據時代產生的背景進入2012年以來，大數據（bigdata）一詞越來越多地被提及與使用，人們用它來描述和定義信息爆炸時代產生的海量數，它已經出現過在《紐約時報》、《華爾街時報》的專欄封面，進入美國白宮網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國君證劵、國泰君安、銀河證劵等寫進了投資推薦報告，大數據時代來臨據。有人說21世紀是數據信息時代，移動互聯、社交網絡、電子商務大大拓展了互聯網的疆界和應用領域。我們在享受便利的同時，也無償貢獻了自己的“行蹤”?，F在互聯網不但知道對面是一只狗，還知道這只狗喜歡什么食物，幾點出去遛彎，幾點回窩睡覺。我們不得不接受這個現實，每個人在互聯網進入到大數據時代，都將是透明性存在。各種數據正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然現在企業(yè)可能并沒有意識到數據爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數據對企業(yè)的重要性。大數據時代對人類的數據駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。正如《紐約時報》2012年2月的一篇專欄中所稱，“大數據”時代已經降臨，在商業(yè)、經濟及其他領域中，決策將日益基于數據和分析而作出，而并非基二、什么是大數據？大數據（bigdata）是指那些超過傳統數據庫系統處理能力的數據。它的數據規(guī)模和轉輸速度要求很高，或者其結構不適合原本的數據庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業(yè)都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬件、云架構和開源軟件使得大數據的處理更為方便和廉價。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價格租用云服務時間了。對于企業(yè)組織來講，大數據的價值體現在兩個方面：分析使用和二次開發(fā)。對大數據進行分析能揭示隱藏其中的信息。例如零售業(yè)中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發(fā)則是那些成功的網絡公司的長項。例如facebook通過結合大量用戶信息，定制出高度個性化的用戶體驗，并創(chuàng)造出一種新的廣告模式。這種通過大數據創(chuàng)造出新產品和服務的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜和facebook它們都是大數據時代的創(chuàng)新者。（一）、大數據四個特性海量性：企業(yè)面臨著數據量的大規(guī)模增長。例如，idc最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規(guī)模尚是一個不斷變化的指標，單一數據集的規(guī)模范圍從幾十tb到數pb不等。簡而言之，存儲1pb數據將需要兩萬臺配備50gb硬盤的個人電腦。此外，各種意想不到的來源都能產生數據。多樣性：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由于新型多結構數據，以及包括網絡日志、社交媒體、互聯網搜索、手機通話記錄及傳感器網絡等數據類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數據的多樣性。高速性：高速描述的是數據被創(chuàng)建和移動的速度。在高速網絡時代，通過基于實現軟件性能優(yōu)化的高速電腦處理器和服務器，創(chuàng)建實時數據流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數據，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據imsresearch關于數據創(chuàng)建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。易變性：大數據具有多層結構，這意味著大數據會呈現出多變的形式和類型。相較傳統的業(yè)務數據，大數據存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統的應用軟件進行分析。傳統業(yè)務數據隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現的復雜數據中挖掘價值。（二）、大數據三個特征除了有四個特性之外，大數據時代的數據還呈現出其他三個特征。第一個特征是數據類型繁多。包括網絡日志、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。第二個特征是數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數據的價值“提純”，是大數據時代亟待解決的難題。第三個特征是處理速度快，時效性要求高。這是大數據區(qū)分于傳統數據挖掘最顯著的特征。三、大數據時代對生活、工作的影響大數據，其影響除了經濟方面的，它同時也能在政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循“數”管理的模式，也是我們當下“大社會”的集中體現，三分技術，七分數據，得數據者得天下。“大數據”的影響，增加了對信息管理專家的需求。事實上，大數據的影響并不僅僅限于信息通信產業(yè)，而是正在“吞噬”和重構很多傳統行業(yè)，廣泛運用數據分析手段管理和優(yōu)化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業(yè)中，數據分析的技術與手段更是得到廣泛的應用，傳統企業(yè)如沃爾瑪通過數據挖掘重塑并優(yōu)化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業(yè)化和個性化的服務。大數據在個人隱私的方面，大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。四、大數據時代的發(fā)展方向、趨勢雖然大數據目前在國內還處于初級階段，但是商業(yè)價值已經顯現出來。未來，數據可能成為最大的交易商品。但數據量大并不能算是大數據，大數據的特征是數據量大、數據種類多、非標準化數據的價值最大化。因此，大數據的價值是通過數據共享、交叉復用后獲取最大的數據價值。在他看來，未來大數據將會如基礎設施一樣，有數據提供方、管理者、監(jiān)管者，數據的交叉復用將大數據變成一大產業(yè)。大數據的整體態(tài)勢和發(fā)展趨勢，主要體現在幾個方面：大數據與學術、大數據與人類的活動，大數據的安全隱私、關鍵應用、系統處理和整個產業(yè)的影響。大數據整體態(tài)勢上，數據的規(guī)模將變得更大，數據資源化、數據的價值凸顯、數據私有化出現和聯盟共享。大數據的發(fā)展會催生許多新興新職業(yè)，會產生數據分析師、數據科學家、數據工程師，有非常豐富的數據經驗的人才會成為稀缺人才。隨著大數據的發(fā)展，數據共享聯盟將逐漸壯大成為產業(yè)的核心一環(huán)。隨著大數據的共享越來越大，隱私問題也隨之而來，比如說每天手機產生的通話、位置等等。但這給帶來了便利的同時也給帶來了個人隱私的問題。數據資源化，大數據在國家和企業(yè)和社會層面成為重要的戰(zhàn)略資源，成為新的戰(zhàn)略制高點和搶購的新焦點。隨著社會的不斷發(fā)展，大數據對it技術架構的挑戰(zhàn)，大數據的生態(tài)環(huán)境問題，大數據的應用及產業(yè)鏈將日益突出。五、企業(yè)應如何應對大數據時代近些年，大數據已經和云計算一樣，成為時代的話題。大數據是怎么產生的，商業(yè)機會在哪？研究機會在哪？這個概念孕育著一個怎樣的未來？企業(yè)如何應對？一個好的企業(yè)應該未雨綢繆，從現在開始就應該著手準備，為企業(yè)的后期的數據收集和分析做好準備，企業(yè)可以從下面五個方面著手，這樣當面臨鋪天蓋地的大數據的時候，以確保企業(yè)能夠快速發(fā)展，具體為下面五點。（一）、以企業(yè)的數據為目標幾乎每個組織都可能有源源不斷的數據需要收集，無論是社交網絡還是車間傳感器設備，而且每個組織都有大量的數據需要處理，it人員需要了解自己企業(yè)運營過程中都產生了什么數據，以自己的數據為基準，確定數據的范圍。（二）、以業(yè)務需求為準則雖然每個企業(yè)都會產生大量數據，而且互不相同、多種多樣的，這就需要企業(yè)it人員在現在開始收集確認什么數據是企業(yè)業(yè)務需要的，找到最能反映企業(yè)業(yè)務情況的數據。（三）、重新評估企業(yè)基礎設施大數據需要在服務器和存儲設施中進行收集，并且大多數的企業(yè)信息管理體系結構將會發(fā)生重要大變化，it經理則需要準備擴大他們的系統，以解決數據的不斷擴大，it經理要了解公司現有it設施的情況，以組建處理大數據的設施為導向，避免一些不必要的設備的購買。（四）、重視大數據技術大數據是最近幾年才興起的詞語，而并不是所有的it人員對大數據都非常了解，例如如今的hadoop，mapreduce，nosql等技術都是近年剛興起的技術，企業(yè)it人員要多關注這方面的技術和工具，以確保將來能夠面對大數據的時候做出正確的決定。（五）、培訓企業(yè)的員工大多數企業(yè)最缺乏的是人才，而當大數據到臨的時候，企業(yè)將會缺少這方面的采集收集分析方面的人才，對于一些公司，特別是那種人比較少的公司，工作人員面臨大數據將是一種挑戰(zhàn)，企業(yè)要在平時的時候多對員工進行這方面的培訓，以確保在大數據到來時，員工也能適應相關的工作。做到上面的幾點，當大數據時代來臨的時候，面臨大量數據將不是束手無策，而是成竹在胸，而從數據中得到的好處也將促進企業(yè)快速發(fā)展。參考資料[1]李建義.數據庫原理及開發(fā).北京：中國水利水電出版社，2005[4]大數據時代降臨．半月談網．2012-09-22[5]it部門如何應對大數據時代？．cio時代網．2012-02-27[6]“大數據”時代來臨決策不能只憑經驗．東方早報網．2012-04-11[7]“大數據時代”來臨．北京晚報網．2012-06-15[8]大數據時代來臨：國內it企業(yè)布局已然落后．新浪網．2012-06-01【篇三：《大數據時代》正規(guī)畢業(yè)論文】大數據時代摘要：隨著網絡信息化時代的日益普遍，移動互聯、社交網絡、電子商務大大拓展了互聯網的疆界和應用領域，我們正處在一個數據爆炸性增長的大數據時代，大數據在社會經濟、政治、文化，人們生活等方面產生深遠的影響，大數據時代對人類的數據駕馭能力提出了新的挑戰(zhàn)與機遇。關鍵字：大數據云計算海量發(fā)展影響abstract：asthenetworkinformationagehasbecomemorecommon,mobileinternet,socialnetwork,theelectroniccommerceoftheinternetgreatlyexpandthebordersandapplicationfields,weareinadatatheexplosivegrowthofbigdataera,largedatainthesocialeconomy,politics,culture,peoplelifeandotheraspectshavefar-reachinginfluence,thebigdataagetothehumandatatocontrolabilityputsforwardnewchallengesandopportunities.keyword:bigdatacloudcomputingmassdevelopmentinfluence一、大數據時代產生的背景進入2012年以來，大數據（bigdata）一詞越來越多地被提及與使用，人們用它來描述和定義信息爆炸時代產生的海量數，它已經出現過在《紐約時報》、《華爾街時報》的專欄封面，進入美國白宮網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國君證劵、國泰君安、銀河證劵等寫進了投資推薦報告，大數據時代來臨據。二、什么是大數據？大數據（bigdata）是指那些超過傳統數據庫系統處理能力的數據。它的數據規(guī)模和轉輸速度要求很高，或者其結構不適合原本的數據庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業(yè)都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬件、云架構和開源軟件使得大數據的處理更為方便和廉價。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價格租用云服務時間了。對于企業(yè)組織來講，大數據的價值體現在兩個方面：分析使用和二次開發(fā)。對大數據進行分析能揭示隱藏其中的信息。例如零售業(yè)中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發(fā)則是那些成功的網絡公司的長項。例如facebook通過結合大量用戶信息，定制出高度個性化的用戶體驗，并創(chuàng)造出一種新的廣告模式。這種通過大數據創(chuàng)造出新產品和服務的商業(yè)行為并非巧合，谷歌、雅虎、亞馬遜和facebook它們都是大數據時代的創(chuàng)新者。（一）、大數據四個特性海量性：企業(yè)面臨著數據量的大規(guī)模增長。例如，idc最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規(guī)模尚是一個不斷變化的指標，單一數據集的規(guī)模范圍從幾十tb到數pb不等。簡而言之，存儲1pb數據將需要兩萬臺配備50gb硬盤的個人電腦。此外，各種意想不到的來源都能產生數據。多樣性：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由于新型多結構數據，以及包括網絡日志、社交媒體、互聯網搜索、手機通話記錄及傳感器網絡等數據類型造成。其中，部分傳感器安裝在火車、汽車和飛機上，每個傳感器都增加了數據的多樣性。高速性：高速描述的是數據被創(chuàng)建和移動的速度。在高速網絡時代，通過基于實現軟件性能優(yōu)化的高速電腦處理器和服務器，創(chuàng)建實時數據流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數據，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。根據imsresearch關于數據創(chuàng)建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。易變性：大數據具有多層結構，這意味著大數據會呈現出多變的形式和類型。相較傳統的業(yè)務數據，大數據存在不規(guī)則和模糊不清的特性，造成很難甚至無法使用傳統的應用軟件進行分析。傳統業(yè)務數據隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業(yè)面臨的挑戰(zhàn)是處理并從各種形式呈現的復雜數據中挖掘價值。（二）、大數據三個特征除了有四個特性之外，大數據時代的數據還呈現出其他三個特征。第一個特征是數據類型繁多。包括網絡日志、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。第二個特征是數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數據的價值“提純”，是大數據時代亟待解決的難題。第三個特征是處理速度快，時效性要求高。這是大數據區(qū)分于傳統數據挖掘最顯著的特征。三、大數據時代對生活、工作的影響大數據，其影響除了經濟方面的，它同時也能在政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循“數”管理的模式，也是我們當下“大社會”的集中體現，三分技術，七分數據，得數據者得天下?！按髷祿钡挠绊懀黾恿藢π畔⒐芾韺＜业男枨?。事實上，大數據的影響并不僅僅限于信息通信產業(yè)，而是正在“吞噬”和重構很多傳統行業(yè)，廣泛運用數據分析手段管理和優(yōu)化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業(yè)中，數據分析的技術與手段更是得到廣泛的應用，傳統企業(yè)如沃爾瑪通過數據挖掘重塑并優(yōu)化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業(yè)化和個性化的服務。大數據在個人隱私的方面，大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。四、大數據時代的發(fā)展方向、趨勢雖然大數據目前在國內還處于初級階段，但是商業(yè)價值已經顯現出來。未來，數據可能成為最大的交易商品。但數據量大并不能算是大數據，大數據的特征是數據量大、數據種類多、非標準化數據的價值最大化。因此，大數據的價值是通過數據共享、交叉復用后獲取最大的數據價值。在他看來，未來大數據將會如基礎設施一樣，有數據提供方、管理者、監(jiān)管者，數據的交叉復用將大數據變成一大產業(yè)。大數據的整體態(tài)勢和發(fā)展趨勢，主要體現在幾個方面：大數