深入淺出數(shù)據(jù)分析

深入淺出數(shù)據(jù)分析讀書筆記模板01思維導圖讀書筆記目錄分析內容摘要精彩摘錄作者介紹目錄0305020406思維導圖數(shù)據(jù)方法工具人員讀者數(shù)據(jù)分析客戶模型問題圖形執(zhí)行官首席加薪概率假設公司工作因素本書關鍵字分析思維導圖內容摘要內容摘要《深入淺出數(shù)據(jù)分析》以類似“章回小說”的活潑形式，生動地向讀者展現(xiàn)優(yōu)秀的數(shù)據(jù)分析人員應知應會的技術：數(shù)據(jù)分析基本步驟、實驗方法、最優(yōu)化方法、假設檢驗方法、貝葉斯統(tǒng)計方法、主觀概率法、啟發(fā)法、直方圖法、回歸法、誤差處理、相關數(shù)據(jù)庫、數(shù)據(jù)整理技巧；正文之后，意猶未盡地以三篇附錄介紹數(shù)據(jù)分析十大要務、R工具及ToolPak工具，在充分展現(xiàn)目標知識以外，為讀者搭建了走向深入研究的橋梁。讀書筆記讀書筆記淺顯易懂，入門級，里面涉及到方法可以滿足日常工作生活中的大多數(shù)需求。果然深入淺出，文字內容淺顯易懂，更多的是提供工具和方法。數(shù)據(jù)分析，讀這本書的起因也是想了解這方面內容，做了MBTI和結合自己的日常工作，有以后從事這方面工作的可能。第三章最優(yōu)化介紹可行集，最優(yōu)組合搭配，實現(xiàn)利潤最大化，通過圖像，利用Excel軟件方便測算，通過歷史數(shù)據(jù)校對調整現(xiàn)有預測。散點圖和標準偏差。重點在于邏輯，也就是工作思路。本來想了解一下如何做市場調研，結果這本書是關于“數(shù)據(jù)分析”的，原來數(shù)據(jù)分析≠市場調研。2021.10：控制變量、最優(yōu)解、適合的圖表類型、回歸、相關性、excel入門，多多少少都接觸或用過，就HeadFirst來說確實很HeadFirst。數(shù)據(jù)分析的第一本書，內容相對比較齊全，難度不高，是個初學者。內容太少，重復性比較高，感覺上沒有深入只淺出了，比較簡單，適合剛入門看。以故事的形式，深入淺出的介紹了數(shù)據(jù)分析的基礎概念，內容簡單直白，概念清晰，邏輯分明。精彩摘錄精彩摘錄進行有效的比較是數(shù)據(jù)分析的核心數(shù)據(jù)分析總的來說就是認清問題，以及繼而解決問題。有一部分學習過程（尤其是短暫記憶轉變?yōu)殚L期記憶的過程）發(fā)生在放下書本之后，大腦需要有自己的時間進行更多處理。如果在這段處理時間內學新東西，將會丟失一些剛學會的東西。統(tǒng)計與分析最基本的原理之一就是比較法，它指出，數(shù)據(jù)只有通過相互比較才會有意義。分析師們的一個很好的經驗法則是，當你開始懷疑因果關系的走向時（如價值感的下降導致銷量下降），請進行反方向思考（如銷量下降導致價值感下降），看看結果怎么樣。如果真想學東西，而且想學得更快更深入，就要**自己如何集中注意力。要思考自己的思考方式；研究自己的研究方式。分析師常常不夠注重自己要解決的問題，他們拋給別人一些信息，借此推卸自己解決問題和建議決策的義務。你需要將問題劃分為可管理、可解決的組塊?？蛻魧⒏鶕?jù)你的分析作決策，你需要盡量從他那里多了解一些信息，才能確定問題。目錄分析誰適合閱讀本書？我們了解你的大腦在想什么我們了解你在想什么深入淺出系列圖書美譽元認知：對思考的思考我們的做法你的任務：征服大腦自述技術顧問組致謝010302040506深入淺出系列圖書美譽Acme化妝品公司需要你出力數(shù)據(jù)分析就是仔細推敲證據(jù)首席執(zhí)行官希望數(shù)據(jù)分析師幫他提高銷量1數(shù)據(jù)分析引言分解數(shù)據(jù)確定問題Acme公司首席執(zhí)行官給了你一些反饋客戶將幫助你確定問題1數(shù)據(jù)分析引言分解數(shù)據(jù)把問題和數(shù)據(jù)分解為更小的組塊現(xiàn)在再來看看了解到的情況評估組塊分析從你介入的那一刻開始提出建議123451數(shù)據(jù)分析引言分解數(shù)據(jù)報告寫好了首席執(zhí)行官欣賞你的工作一則新聞首席執(zhí)行官確信的觀點讓你誤入歧途你對外界的假設和你確信的觀點就是你的心智模型統(tǒng)計模型取決于心智模型0103020405061數(shù)據(jù)分析引言分解數(shù)據(jù)心智模型應當包括你不了解的因素首席執(zhí)行官承認自己有所不知Acme給你發(fā)來了一長串原始數(shù)據(jù)深入挖掘數(shù)據(jù)泛美批發(fā)公司確認了你的印象123451數(shù)據(jù)分析引言分解數(shù)據(jù)你的分析讓客戶做出了英明的決策回顧你的工作1數(shù)據(jù)分析引言分解數(shù)據(jù)咖啡業(yè)的寒冬到了！星巴仕董事會將在三個月內召開星巴仕調查表務必使用比較法2實驗檢驗你的理論比較是破解觀察數(shù)據(jù)的法寶價值感是導致銷售收入下滑的原因嗎？一位典型客戶的想法觀察分析法充滿混雜因素店址可能對分析結果有哪些影響拆分數(shù)據(jù)塊，管理混雜因素0103020405062實驗檢驗你的理論情況比預料的更糟！你需要做一個實驗，指出哪種策略最有效星巴仕首席執(zhí)行官已經急不可待星巴仕降價了一個月后……123452實驗檢驗你的理論以控制組為基準讓我們重新認真做一次實驗避免解雇1232實驗檢驗你的理論一個月后……實驗照樣會毀于混雜因素精心選擇分組，避免混雜因素隨機選擇相似組隨機訪談123452實驗檢驗你的理論準備就緒，開始實驗星巴仕找到了與經驗吻合的銷售策略結果在此2實驗檢驗你的理論現(xiàn)在是浴盆玩具游戲時間你能控制的變量受到約束條件的限制決策變量是你能控制的因素你碰到了一個最優(yōu)化問題借助目標函數(shù)發(fā)現(xiàn)目標123453最優(yōu)化尋找最大值你的目標函數(shù)列出有其他約束條件的產品組合在同一張圖形里繪制多種約束條件合理的選擇都出現(xiàn)在可行區(qū)域里新約束條件改變了可行區(qū)域用電子表格實現(xiàn)最優(yōu)化0103020405063最優(yōu)化尋找最大值Solver一氣呵成解決最優(yōu)化問題你的模型只是描述了你規(guī)定的情況利潤跌穿地板3最優(yōu)化尋找最大值按照分析目標校正假設提防負相關變量新方案立竿見影你的假設立足于不斷變化的實際情況3最優(yōu)化尋找最大值新軍隊需要優(yōu)化網站結果面世，信息設計師出局前一位信息設計師提交的三份信息圖這些圖形隱含哪些數(shù)據(jù)？體現(xiàn)數(shù)據(jù)！123454數(shù)據(jù)圖形化圖形讓你更精明這是前一位設計師主動提供的意見數(shù)據(jù)太多絕不會成為你的問題讓數(shù)據(jù)變美觀也不是你要解決的問題數(shù)據(jù)圖形化的根本在于正確比較你的圖形已經比打入冷宮的圖形更有用使用散點圖探索原因0103020405064數(shù)據(jù)圖形化圖形讓你更精明最優(yōu)秀的圖形都是多元圖形同時展示多張圖形，體現(xiàn)更多變量圖形很棒，但網站掌門人仍不滿意優(yōu)秀的圖形設計有助于思考的原因4數(shù)據(jù)圖形化圖形讓你更精明實驗設計師出聲了實驗設計師們有自己的假設客戶欣賞你的工作訂單從四面八方滾滾而來！4數(shù)據(jù)圖形化圖形讓你更精明給我來塊“皮膚”……我們何時開始生產新手機皮膚？PodPhone不希望別人看透他們的下一步行動我們得知的全部信息5假設檢驗假設并非如此電膚的分析與數(shù)據(jù)相符嗎？電膚得到了機密《戰(zhàn)略備忘錄》變量之間可以正相關，也可以負相關現(xiàn)實世界中的各種原因呈網絡關系，而非線性關系假設幾個PodPhone備選方案123455假設檢驗假設并非如此用手頭的資料進行假設檢驗假設檢驗的核心是證偽借助診斷性找出否定性最小的假設無法一一剔除所有假設，但可以判定哪個假設最強你剛剛收到一條圖片短信……即將上市！0103020405065假設檢驗假設并非如此醫(yī)生帶來惱人的消息讓我們逐條細讀正確性分析蜥蜴流感到底有多普遍？你計算的是假陽性6貝葉斯統(tǒng)計穿越第一關這些術語說的都是條件概率1%的人患蜥蜴流感你需要算算6貝葉斯統(tǒng)計穿越第一關你患蜥蜴流感的幾率仍然非常低搜集到新數(shù)據(jù)后，用貝葉斯規(guī)則處理基礎概率用簡單的整數(shù)思考復雜的概率6貝葉斯統(tǒng)計穿越第一關貝葉斯規(guī)則可以反復使用第二次試驗結果：陰性新試驗的正確性統(tǒng)計值有變化新信息會改變你的基礎概率放心多了！123456貝葉斯統(tǒng)計穿越第一關背水投資公司需要你效力主觀概率體現(xiàn)專家信念分析師們相互叫陣7主觀概率信念數(shù)字化主觀概率可能表明：根本不存在真正的分歧分析師們答復的主觀概率首席執(zhí)行官不明白你在忙些什么首席執(zhí)行官欣賞你的工作7主觀概率信念數(shù)字化標準偏差量度分析點與平均值的偏差這條新聞讓你措手不及貝葉斯規(guī)則是修正主觀概率的好辦法首席執(zhí)行官完全知道該怎么處理這條新信息了俄羅斯股民歡欣鼓舞！123457主觀概率信念數(shù)字化邋遢集向市議會提交了報告邋遢集已經計量了自己的工作效果邋遢集確實把鎮(zhèn)上打掃得干干凈凈8啟發(fā)法憑人類的天性作分析他們的任務是減少散亂垃圾量計量垃圾量不可行問題刁鉆，回答簡單數(shù)據(jù)邦市的散亂垃圾結構復雜無法建立和運用統(tǒng)一的散亂垃圾計量模型123458啟發(fā)法憑人類的天性作分析啟發(fā)法是從直覺走向最優(yōu)化的橋梁使用快省樹是否有更簡單的方法評估邋遢集的成就？固定模式都具有啟發(fā)性分析完畢，準備提交看來你的分析打動了市議會的議員們0103020405068啟發(fā)法憑人類的天性作分析員工年度考評即將到來伸手要錢形式多樣這是歷年加薪記錄直方圖體現(xiàn)每組數(shù)據(jù)的發(fā)生頻數(shù)直方圖不同區(qū)間之間的缺口即數(shù)據(jù)點之間的缺口123459直方圖數(shù)字的形狀安裝并運行R將數(shù)據(jù)加載到R程序R創(chuàng)建了美觀的直方圖用數(shù)據(jù)的子集繪制直方圖加薪談判有回報談判要求加薪對你意味著什么？0103020405069直方圖數(shù)字的形狀你打算怎么花這些錢？以獲取大幅度加薪為目的進行分析稍等片刻……加薪計算器！這個算法的玄機在于預測加薪幅度用散點圖比較兩種變量直線能為客戶指明目標01030204050610回歸預測使用平均值圖形預測每個區(qū)間內的數(shù)值回歸線預測出人們的實際加薪幅度回歸線對于具有線性相關特點的數(shù)據(jù)很有用你需要用一個等式進行精確預測10回歸預測讓R創(chuàng)建一個回歸對象回歸方程與散點圖密切相關加薪計算器的算法正是回歸方程你的加薪計算器沒有照計劃行事……10回歸預測客戶大為惱火你的加薪預測算法做了什么？客戶組成要求加薪25%的家伙不在模型范圍內11誤差合理誤差如何對待想對數(shù)據(jù)范圍以外的情況進行預測的客戶由于使用外插法而慘遭解雇的家伙冷靜下來了你只解決了部分問題扭曲的加薪結果數(shù)據(jù)看起來是什么樣子？機會誤差=實際結果與模型預測結果之間的偏差1234511誤差合理誤差誤差對你和客戶都有好處機會誤差訪談定量地指定誤差用均方根誤差定量表示殘差分布11誤差合理誤差R模型知道存在均方根誤差R的線性模型匯總展示了均方根誤差分割的根本目的是管理誤差優(yōu)秀的回歸分析兼具解釋功能和預測功能相比原來的模型，分區(qū)模型能更好地處理誤差你的客戶紛紛回頭01030204050611誤差合理誤差《數(shù)據(jù)邦新聞》希望分析銷量你需要知道數(shù)據(jù)表之間的相互關系這是他們保存的運營跟蹤數(shù)據(jù)12關系數(shù)據(jù)庫你能關聯(lián)嗎？數(shù)據(jù)庫就是一系列相互有特定關系的數(shù)據(jù)找到一條貫穿各種關系的路線，以便進行必要的比較創(chuàng)建一份穿過這條路徑的電子表格通過匯總將文章數(shù)目和銷量關聯(lián)起來看來你的散點圖確實畫得很好復制并粘貼所有這些數(shù)據(jù)是件痛苦的事01030204050612關系數(shù)據(jù)庫你能關聯(lián)嗎？用關系數(shù)據(jù)庫管理關系《數(shù)據(jù)邦新聞》利用你的關系圖建立了一個RDBMS《數(shù)據(jù)邦新聞》用SQL提取數(shù)據(jù)RDBMS數(shù)據(jù)可以進行無窮無盡的比較你上了封面1234512關系數(shù)據(jù)庫你能關聯(lián)嗎？剛從停業(yè)的競爭對手那兒搞到一份客戶名單HeadFirst獵頭公司想為自己的銷售團隊搞到這份名單數(shù)據(jù)分析不可告人的秘密13整理數(shù)據(jù)井然有序清理混亂數(shù)據(jù)的根本在于準備一旦組織好數(shù)據(jù)，就能修復數(shù)據(jù)將#號作為分隔符Excel通過分隔符將數(shù)據(jù)分成多個列13整理數(shù)據(jù)井然有序用SUBSTITUTE替換“^”字符所有的“姓”都整理好了用SUBSTITUTE替換名字模式太麻煩了用嵌套文本公式處理復雜的模式R能用正則表達式處理復雜的數(shù)據(jù)模式1234513整理數(shù)據(jù)井然有序用sub指令整理“名”現(xiàn)在可以向客戶交貨了可能尚未大功告成……為數(shù)據(jù)排序，讓重復數(shù)值集中出現(xiàn)13整理數(shù)據(jù)井然有序這些數(shù)據(jù)有可能來源于某個關系數(shù)據(jù)庫刪除重復名字你創(chuàng)建了美觀、整潔、具有唯一性的記錄HeadFirst獵頭公司正在一網打盡各種人才！再見……1234513