大數(shù)據(jù)架構(gòu)商業(yè)之路：從業(yè)務需求到技術(shù)方案

大數(shù)據(jù)架構(gòu)商業(yè)之路：從業(yè)務需求到技術(shù)方案讀書筆記模板01思維導圖讀書筆記目錄分析內(nèi)容摘要精彩摘錄作者介紹目錄0305020406思維導圖需求商業(yè)大數(shù)據(jù)技術(shù)業(yè)務效果讀者系統(tǒng)第章數(shù)據(jù)心得參考資料技術(shù)簡介系統(tǒng)選型需求模型業(yè)務關鍵字分析思維導圖內(nèi)容摘要內(nèi)容摘要為了達到深入淺出、通俗易懂的效果，本書的第一大部分概述了大數(shù)據(jù)的主要技術(shù)，包括大數(shù)據(jù)的獲取、存儲、處理，還有架構(gòu)設計的基本理念，以及常用的消息和緩存機制。這一部分你會發(fā)現(xiàn)關于Nutch、Flume、Hadoop、HBase、Redis、Hive、Kafka、Spark、Storm等的簡介。對于數(shù)據(jù)處理的高級技術(shù)，本書著墨不少，但不乏對于信息檢索和數(shù)據(jù)挖掘課題的探討。例如站內(nèi)搜索引擎、推薦系統(tǒng)、廣告系統(tǒng)、聚類、分類和線性回歸等。由于商業(yè)需求尤其看重實際產(chǎn)出，因此第一部分的最后還會分析常見的效果和性能評估。相信這部分對于構(gòu)建讀者的大數(shù)據(jù)知識體系會很有幫助。在每一章的最后，我們還會給出重要的參考圖書，以便于讀者繼續(xù)深入學習。讀書筆記讀書筆記實際、實用、實體。商業(yè)之路為第二篇的頭一本，建議先從本書開始再讀第二本，受益匪淺。涉及到的新技術(shù)很多，對于我來說，感覺特別有意思和挑戰(zhàn)，或許可以再整幾個項目，18年目標就從中小型企業(yè)基于大數(shù)據(jù)的分析，運營，決策入手了。以故事的形式對電子商務所需要用到的大數(shù)據(jù)等技術(shù)娓娓道來，看上去比較輕松有趣，雖然在專業(yè)性上不如工具類書籍，但值得稱道的每一章都有總結(jié)和推薦參考書，作者還是蠻有心的??。作者從宏觀視角帶領讀者建立大數(shù)據(jù)的全景輪廓圖。入門級別，從大數(shù)據(jù)的各組件到搜索，再到用戶行為分析，偏好分析等方面舉例子闡述。屬于大數(shù)據(jù)技術(shù)入門指南一類的書，不過寫得很棒，很多方面都有介紹，對于小白來說這就足夠了，值得新手仔細研讀。這本書從全鏈路講解了大數(shù)據(jù)概念到學習與應用。很不錯的一本書，已經(jīng)買了實體書。精彩摘錄精彩摘錄相似度或相關性的衡量就是依據(jù)一定的模型，預測兩個數(shù)據(jù)對象之間的相似程度，這里主要是注重文本的相似性。常見的模型有布爾模型、基于偏序的布爾模型、向量空間模型、概率模型和語言模型，等等。網(wǎng)頁獲取的策略分為幾個大類：深度優(yōu)先、寬度優(yōu)先和最佳優(yōu)先三種HBase不同于一般的關系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫，最大的特點是基于列而不是基于行的模式進行存儲。HDFS為海量的數(shù)據(jù)提供了存儲，而MapReduce為海量的數(shù)據(jù)提供了計算。下面即將介紹兩個比較著名的開源系統(tǒng)——ApacheNutch和Heritrix，它們能幫助人們快速設計和實現(xiàn)自己的網(wǎng)絡爬蟲。主要組成部分為爬蟲（Crawler）、索引器（Indexer）和查詢器（Searcher）分布式文件系統(tǒng)HDFS（HadoopDistributedFileSystem）和對應的分布式非關系型（非結(jié)構(gòu)化）數(shù)據(jù)庫系統(tǒng)HBase，以及另一個非關系型的數(shù)據(jù)庫MongoDB。Flume（flume.apache.目錄分析2.1互聯(lián)網(wǎng)數(shù)據(jù)收集2.2內(nèi)部數(shù)據(jù)收集2.3本章心得2.4參考資料第2章數(shù)據(jù)收集2.1互聯(lián)網(wǎng)數(shù)據(jù)收集2.1.1網(wǎng)絡爬蟲2.1.2ApacheNutch簡介2.1.3Heritrix簡介2.2內(nèi)部數(shù)據(jù)收集2.2.1ApacheFlume簡介2.2.2FacebookScribe和Logstash3.1持久化存儲3.2非持久化存儲3.3本章心得3.4參考資料第3章數(shù)據(jù)存儲3.1持久化存儲3.1.1Hadoop和HDFS3.1.2HBase簡介3.1.3MongoDB3.2非持久化存儲3.2.1緩存和散列3.2.2Memcached和BerkeleyDB簡介3.2.3Redis簡介4.1離線批量處理4.2提升及時性：消息機制4.3在線實時處理4.4本章心得4.5參考資料12345第4章數(shù)據(jù)處理4.1離線批量處理4.1.1Hadoop的MapReduce4.1.2Spark簡介4.1.3Hive簡介4.1.4Pig、Impala和SparkSQL4.2提升及時性：消息機制4.2.1ActiveMQ簡介4.2.2Kafka簡介4.3在線實時處理4.3.1Storm簡介4.3.2SparkStreaming簡介5.1基本理念5.2相關性5.3及時性5.4與數(shù)據(jù)庫查詢的對比5.5搜索引擎12345第5章信息檢索5.6推薦系統(tǒng)5.7在線廣告5.8本章心得5.9參考資料第5章信息檢索5.2相關性5.2.1布爾模型5.2.2基于排序的布爾模型5.2.3向量空間模型5.2.4語言模型5.5搜索引擎5.5.1Web搜索中的鏈接分析5.5.2電子商務中的商品排序5.5.3多因素和基于學習的排序5.5.4系統(tǒng)框架5.5.5Lucene簡介5.5.6Solr簡介5.5.7Elasticsearch簡介5.6推薦系統(tǒng)5.6.1推薦的核心要素5.6.2推薦系統(tǒng)的分類5.6.3混合模型5.6.4系統(tǒng)架構(gòu)5.6.5Mahout5.7在線廣告5.7.1在線廣告的類型5.7.2廣告投放機制5.7.3廣告的拍賣機制5.7.4廣告系統(tǒng)架構(gòu)6.1基本理念6.2數(shù)據(jù)的表示和預處理6.3機器學習算法6.4挖掘工具第6章數(shù)據(jù)挖掘6.6參考資料6.5本章心得第6章數(shù)據(jù)挖掘6.2數(shù)據(jù)的表示和預處理6.2.1數(shù)據(jù)的表示6.2.2數(shù)據(jù)的預處理6.3機器學習算法6.3.1監(jiān)督學習——分類6.3.2監(jiān)督學習——回歸6.3.3非監(jiān)督學習——聚類6.4挖掘工具6.4.1Mahout簡介6.4.2R簡介7.1效果評估7.2性能評估7.3本章心得7.4參考資料第7章效能評估7.1效果評估7.1.1離線評估7.1.2非離線的評估7.2性能評估7.2.1計算復雜度7.2.2應用系統(tǒng)性能7.2.3JMeter工具9.1業(yè)務需求9.3實現(xiàn)方案9.2產(chǎn)品設計和技術(shù)選型第9章商品太多啦！需要搜索引擎9.3實現(xiàn)方案9.3.1數(shù)據(jù)定義和配置9.3.2集群搭建9.3.3DIH配置10.1業(yè)務需求10.3實現(xiàn)方案10.2產(chǎn)品設計和技術(shù)選型第10章能否更主動？還需要推薦引擎10.3實現(xiàn)方案10.3.1基于內(nèi)容特征的衡量10.3.2基于行為特征的衡量10.3.3提供在線服務11.1業(yè)務需求11.3實現(xiàn)方案11.2產(chǎn)品設計和技術(shù)選型第11章這樣做的效果如何11.3實現(xiàn)方案11.3.1行為數(shù)據(jù)的定義和記錄11.3.2Flume和HDFS的集成11.3.3通過Hive進行分析11.3.4Kafka和Storm的集成12.1業(yè)務需求：還要搜得更多12.3“還要搜得更多”的方案實現(xiàn)12.2“還要搜得更多”：產(chǎn)品設計和技術(shù)選型第12章這個搜索有點遜12.4業(yè)務需求：還要搜得更準12.5“還要搜得更準”：產(chǎn)品設計和技術(shù)選型12.6“還要搜得更準”的方案實現(xiàn)12.7業(yè)務需求：還要更快12.8還要“變”得更快：產(chǎn)品設計和技術(shù)選型12345第12章這個搜索有點遜12.9還要“搜”得更快：產(chǎn)品設計和技術(shù)選型12.11給點提示吧：產(chǎn)品設計和技術(shù)選型12.10業(yè)務需求：給點提示吧第12章這個搜索有點遜12.3“還要搜得更多”的方案實現(xiàn)12.3.1HBase的部署12.3.2HBase和Solr的集成12.5“還要搜得更準”：產(chǎn)品設計和技術(shù)選型12.5.1提升搜索排序的相關性12.5.2提升搜索排序的整體效果13.1業(yè)務需求：互聯(lián)網(wǎng)時代的CRM13.2互聯(lián)網(wǎng)時代的CRM：產(chǎn)品設計和技術(shù)選型13.3業(yè)務需求：抓住搗蛋鬼13.4抓住搗蛋鬼：產(chǎn)品設計和技術(shù)選型第13章支持更高效的運營13.6銷售之戰(zhàn)：產(chǎn)品設計和技術(shù)選型1