大數(shù)據(jù)與商業(yè)決策之間 究竟是何關(guān)系

【計算機論文】大數(shù)據(jù)與商業(yè)決策之間究竟是何關(guān)系？

假定數(shù)據(jù)是臟的在處理數(shù)據(jù)的時候，會像污水處理廠一樣，每一步都問自己要如何處理這些污水。這種情況的出現(xiàn)，到底是因為數(shù)據(jù)源臟了，還是因為數(shù)據(jù)提煉過程做得不好？美國有一家初創(chuàng)公司，專注于與地理位置相關(guān)的數(shù)據(jù)收集、整理和查詢服務(wù)。它將地理位置的相關(guān)指標(biāo)，按照酒店和旅館等屬性劃分為不同細類，對外提供基于位置信息的實時查詢，為包括美國最大點評網(wǎng)Yelp在內(nèi)的多個知名應(yīng)用提供底層數(shù)據(jù)服務(wù)。這家公司最令人印象深刻的是，它對于所收集來的數(shù)據(jù)會提供一個數(shù)據(jù)質(zhì)量評分，以反映數(shù)據(jù)的可信度和質(zhì)量水平。它會對這些數(shù)據(jù)的源頭以及對處理數(shù)據(jù)階段所用的算法進行評分。也就是說，這家公司在提煉數(shù)據(jù)的每一個階段都進行了數(shù)據(jù)化管理。這家公司的做法讓我們看到了一個趨勢，也是一個非常重要的趨勢。因為它首先已經(jīng)接受了數(shù)據(jù)源肯定是臟的和數(shù)據(jù)源一定會被污染的事實。所以，它在處理數(shù)據(jù)的時候，會像污水處理廠一樣，每一步都問自己要如何處理這些污水。這種情況的出現(xiàn)，到底是因為數(shù)據(jù)源臟了，還是因為數(shù)據(jù)提煉過程做得不好？這個過程我們一定要區(qū)分，而且這樣的區(qū)分是可取的。這家公司是假定數(shù)據(jù)是“臟”的來做數(shù)據(jù)管理，而不是假定數(shù)據(jù)是穩(wěn)定的。而且，假定數(shù)據(jù)是“臟”的來處理數(shù)據(jù)，在大數(shù)據(jù)時代將是一個非常重要的趨勢。事實上，我們今天在處理的大數(shù)據(jù)，依然只是冰山一角，而更大的數(shù)據(jù)都隱藏在我們的語言中，比如我們說的話和寫的字。所以，將來我們要準(zhǔn)確地從互動中抓取數(shù)據(jù)，也一定要依賴對自然語言的處理?，F(xiàn)在，美國的很多數(shù)據(jù)研究人員都在瞄準(zhǔn)非結(jié)構(gòu)性數(shù)據(jù)，即語言處理這一領(lǐng)域。學(xué)會慢慢淡化數(shù)據(jù)數(shù)據(jù)是有優(yōu)先值的，在數(shù)據(jù)中有些是特別核心的，有些即使缺失了也沒有多大問題。所以，我們要學(xué)會真正坐下來盤點那些對公司最有價值、對用戶最有價值的數(shù)據(jù)。想要確定數(shù)據(jù)的優(yōu)先值，就要先解決以下幾個問題。一是數(shù)據(jù)的標(biāo)準(zhǔn)化。在大數(shù)據(jù)時代，我們需要一個標(biāo)準(zhǔn)化的東西供我們進行交流。二是我們到底如何對接和交換數(shù)據(jù)，如何在交換的時候保持?jǐn)?shù)據(jù)的穩(wěn)定性。比如自然語言，比如在無線和PC不同場景下受到的影響，這些情況都會滋生出許多新問題。第三個重要的問題是數(shù)據(jù)的存儲，這將涉及數(shù)據(jù)的時效性這一問題。有人曾經(jīng)提出過一個很有價值的觀點，即現(xiàn)實中，網(wǎng)站最大的場景變化就是網(wǎng)站改版。因為重新設(shè)計網(wǎng)站，本身就影響數(shù)據(jù)，比如公司的詳情頁和首頁，任何改變都在影響數(shù)據(jù)。如果在1~3年后，你才說得出數(shù)據(jù)的這一改變是由于促銷、用戶行為或是改版引起的，那這一數(shù)據(jù)就已經(jīng)沒有任何價值了，這就是數(shù)據(jù)的時效性。所以，美國出現(xiàn)了一個概念叫數(shù)據(jù)淡化(DataDecay)，意思很明顯，數(shù)據(jù)會慢慢淡化。我們要更清楚地認(rèn)識到，數(shù)據(jù)是有優(yōu)先值的，在數(shù)據(jù)中有些是特別核心的，有些即使缺失了也沒有多大問題。所以我們要學(xué)會真正坐下來盤點那些對公司最有價值、對用戶最有價值的數(shù)據(jù)，這是一個非常重要的趨勢。數(shù)據(jù)的標(biāo)簽化管理數(shù)據(jù)的屬性標(biāo)簽是人類經(jīng)驗判斷的數(shù)據(jù)，是數(shù)據(jù)后的數(shù)據(jù)。數(shù)據(jù)的屬性標(biāo)簽是人類經(jīng)驗判斷的數(shù)據(jù)，是數(shù)據(jù)后的數(shù)據(jù)。例如，當(dāng)你要為一件物品打上標(biāo)簽時，其實就已經(jīng)動用了你的經(jīng)驗數(shù)據(jù)分析，并進行了歸納總結(jié)，結(jié)合當(dāng)下的環(huán)境給出了判斷。如果沒有考慮環(huán)境的影響及準(zhǔn)確性的評估，這種經(jīng)驗加上直覺的判斷是不穩(wěn)定且又難以解釋的。但從數(shù)據(jù)收集的角度去看，數(shù)據(jù)的屬性標(biāo)簽又是一個潛力極大的數(shù)據(jù)。在數(shù)據(jù)屬性的管理上，對于用戶來說，每個人身上貼的標(biāo)簽都是多種多樣的，但是對于企業(yè)來說，如何將這些標(biāo)簽歸一，如何用一個點去將之串聯(lián)，又如何把這些點連起來去描述這個用戶，這才是核心問題。比如說，你要去應(yīng)聘一家公司，A公司對你的評價是“很可靠”，B公司對你的評價是“不可靠”，而C公司準(zhǔn)備雇用你，然后C公司看到了A公司和B公司給你貼的兩個標(biāo)簽：“可靠”和“不可靠”，它就會困惑。這樣的問題常常發(fā)生，那么，我們要怎么去做標(biāo)簽的管理呢？首先，我們要明確的是，“可靠”這個概念是沒有標(biāo)準(zhǔn)化意義的，除非在定義標(biāo)簽之前，我們就界定清楚這個“可靠”的標(biāo)準(zhǔn)是什么。否則，“可靠”的標(biāo)準(zhǔn)是準(zhǔn)時還錢、說話算數(shù)，還是他向來都很守時，我們就無從得知了。如果這些標(biāo)準(zhǔn)是“可靠”，就給予了我們一種可以還原數(shù)據(jù)的能力。所以，在屬性管理中，假如屬性是“×”，那么我們一定要定義清楚什么是“×”，在沒有清楚定義的情況下，這個數(shù)據(jù)的屬性是毫無價值的，而且，將來你也依然不知道怎么使用這一數(shù)據(jù)。標(biāo)簽在觀察之后加進平臺和直接加進去是不一樣的。在電商平臺中，就有一些標(biāo)簽是在觀察后加進去的，如果由賣家自由地加標(biāo)簽進去，必然會造成混亂。所以，標(biāo)簽的屬性管理，在運營數(shù)據(jù)中非常重要。標(biāo)簽化管理，是一個非常重要的趨勢。電商企業(yè)今天面對的一些問題在美國的電商企業(yè)中同樣存在，可見，我們發(fā)現(xiàn)的問題，別人也在面對，不過這些問題并不需要現(xiàn)在就去解決。屬性管理的層級化十分有必要，但是在使用數(shù)據(jù)前，必須要了解數(shù)據(jù)的場景、數(shù)據(jù)是如何放進去的和數(shù)據(jù)的場景是什么。在這一切未知之前，就說數(shù)據(jù)如何好用的話，是不可能的。所以，現(xiàn)在企業(yè)運營數(shù)據(jù)的趨勢是，我們應(yīng)該找出一些屬性進行歸類，然后再慢慢地考慮如何提煉，這對于未來非常重要。重要的是數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系，而不是數(shù)據(jù)本身大數(shù)據(jù)價值的實現(xiàn)，在于數(shù)據(jù)與數(shù)據(jù)的連接。Google做了一件非常驚人的事情——Google甚至能在不明白某個網(wǎng)頁語言的情況下，知道其內(nèi)容是什么。試想一下，如果你懂俄語，看出俄語網(wǎng)頁里在講什么當(dāng)然很簡單。但是，如果你僅僅通過看字詞的排列和網(wǎng)站的分類，就知道網(wǎng)頁的內(nèi)容，這是不是很令人驚嘆？這就是知識圖譜，它是一個無窮無盡的世界。事實上，知識圖譜并不是數(shù)據(jù)，而是數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系。但這里有一個非常大的弊端，就是數(shù)據(jù)的儲藏量非常大、儲存的方法也很復(fù)雜，且稍微改變一點點關(guān)系的定義，整體就會產(chǎn)生巨大的變化。比如說，有一個知識圖譜在說電商平臺用戶之間的關(guān)系，那數(shù)據(jù)信息就非常龐大了。試想一下，今天電商平臺里有多少個用戶跟你有關(guān)系？假如說有25個人，那么25個人的關(guān)系就演變成了25×25條關(guān)系。這時候，我再問你“什么是關(guān)系”、“見過就算關(guān)系，還是一起買過東西叫關(guān)系”的問題就具備了一定的難度。建立的維度是無限大的，而且定義稍微改變一下，整個存儲和整個數(shù)據(jù)庫都會發(fā)生變化。所以，知識圖譜的把控是有難度的。舉個貼近我們生活的例子，比如說銀行很早之前就給你開辦了信用卡，決定銀行這一決策的不是你的個人關(guān)系而是總關(guān)系。銀行決定是否貸款給你，是要看你愛人做什么職業(yè)以及你家中其他人的經(jīng)濟情況如何。當(dāng)這種種關(guān)系關(guān)聯(lián)起來時，就會產(chǎn)生一個極為重要的知識圖譜。以往我們談大數(shù)據(jù)時候的本錢，莫過于“我有這種數(shù)據(jù)，你沒有”。在未來，數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系才是重中之重，而不是單純的數(shù)據(jù)本身。數(shù)據(jù)的實時化與實時性分層我們千萬不要把所有的能力都用來處理實時化的問題，因為我們依然會有大量的數(shù)據(jù)需要在恰當(dāng)?shù)臅r機(RightTime)處理，有的數(shù)據(jù)是重要的，但不緊急。以上講到的很多內(nèi)容都是關(guān)于數(shù)據(jù)收集和管理層面的，而在數(shù)據(jù)的處理上，我在LinkedIn上看到了一個很有趣且有價值的做法。LinkedIn在處理數(shù)據(jù)時，會把公司的數(shù)據(jù)服務(wù)分為幾層，一方面是緊迫度，另一方面是重要不重要。比如，它會把數(shù)據(jù)分為“快數(shù)據(jù)緊急”、“快數(shù)據(jù)不緊急”和“慢數(shù)據(jù)重要”等。我覺得對數(shù)據(jù)實時性分層的做法是合理的，而有人覺得數(shù)據(jù)的實時化處理是趨勢，但是我持有一定的懷疑態(tài)度。RealTime是“實時”，RightTime是“恰當(dāng)?shù)臅r機”。但是，據(jù)我看來，數(shù)據(jù)處理不一定要實時。比如，我們常見的情況是，每家公司都有財務(wù)的相關(guān)數(shù)據(jù)，這類數(shù)據(jù)的處理都是“T+1”，意思是你想要的數(shù)據(jù)在第二天才可以拿到。因為在其他數(shù)據(jù)沒有到位的情況下，數(shù)據(jù)實時化的價值也不大。但是，換個場景來看，銀行若要判斷某個人的信用卡是否被盜用，那么肯定要對之進行實時化處理。數(shù)據(jù)的實時化，讓我們從商業(yè)的角度去認(rèn)知數(shù)據(jù)，值得注意的是，在具備了實時化的數(shù)據(jù)處理能力后，很多以前不能解決的場景開始變得能夠解決。在未來的某一天，編碼的工程師能夠在編碼時直接寫上“如果一個三天前只瀏覽未購買的客戶回來了，我要不要給他一個兩元錢的紅包”。這個程序是完全編好的，用戶登錄本身就成了一個實時標(biāo)簽，快速的運算會讓每個網(wǎng)站都具備最強的時效性。我們再換一個角度來思考，如今手機、電視、游戲機和PC等多屏運作的時代下，作為一個網(wǎng)站，有多大的能力在非?？焖俚那闆r下，讓自身在非常小的時間點里抓住消費者，賣出產(chǎn)品，這種實時的能力會在未來的商業(yè)中變得越來越重要。一個網(wǎng)站必須要讓自己的實時能力更高，甚至用戶接下來的每一步你都應(yīng)該猜到，但我們千萬不要把所有的能力都用在處理實時化上，因為依然會有大量的數(shù)據(jù)需要在恰當(dāng)?shù)臅r機(RightTime)處理，有的數(shù)據(jù)是重要的，但不緊急。未來是人機的結(jié)合體人和機器的結(jié)合，或者人和數(shù)據(jù)的結(jié)合將是未來的一種進步模式，人類將通過數(shù)據(jù)變得更加智能。很多人會問，大數(shù)據(jù)目前發(fā)展到什么階段了？我的答案是——水分太多的階段。但毋庸置疑，大數(shù)據(jù)已經(jīng)極大地影響了我們的社會，但還遠遠沒有達到它的爆發(fā)點。因為有了大數(shù)據(jù)，人的經(jīng)驗開始和數(shù)據(jù)結(jié)合，兩者相互激活，讓人的智慧得到了規(guī)?；胤糯?，這也使得整個社會開始伴隨著數(shù)據(jù)的發(fā)展產(chǎn)生巨大的改變。但是，在大數(shù)據(jù)的使用上，未來的發(fā)展空間注定會比現(xiàn)在取得的成績更加宏大，“數(shù)據(jù)化運營”和“運營數(shù)據(jù)”這個數(shù)據(jù)與人之間的閉環(huán)系統(tǒng)也會越來越完善，人機結(jié)合仍然有巨大的空間讓我們?nèi)ネ诰?。未來，?shù)據(jù)的種類將超出我們的想象。以前的數(shù)據(jù)更多集中在外部行為的監(jiān)控上，不論是網(wǎng)絡(luò)購買行為，還是網(wǎng)上社交行為，都是用戶在“遠距離”提供數(shù)據(jù)，即便這樣，我們?nèi)匀贿€沒有運用好這些數(shù)據(jù)。隨著可穿戴式設(shè)備的出現(xiàn)，數(shù)據(jù)和人將真正融為一體，類似谷歌眼鏡這樣的設(shè)備，將讓我們看到的東西即時數(shù)據(jù)化；類似健康手環(huán)類設(shè)備和可以深度收集腦電波數(shù)據(jù)的設(shè)備，將隨時會使我們?nèi)梭w的活動轉(zhuǎn)化成數(shù)據(jù)。目前，記錄睡眠狀況只是其初步的應(yīng)用，在不遠的未來，用數(shù)據(jù)記錄我們每一秒鐘的生活也將成為可能。當(dāng)萬物皆數(shù)據(jù)的時刻到來時，商業(yè)發(fā)展的更多新機會將會出現(xiàn)，數(shù)據(jù)將會幫助我們更好地做出判斷，比如，什么時候最適合吃飯、什么時候身體疲憊適合睡覺和什么時候記憶力最好等，這些都能通過數(shù)據(jù)來進行預(yù)判。甚至于，當(dāng)記錄了人的足夠數(shù)據(jù)之后，數(shù)據(jù)就可能告訴我們此時此刻應(yīng)該做些什么及最佳的策略。也許在那時，決定人是否聰明的指標(biāo)，已經(jīng)不是IQ，而是是否擁有足夠優(yōu)質(zhì)的數(shù)據(jù)。人和機器的結(jié)合，或者人和數(shù)據(jù)的結(jié)合將是未來的一種進步模式，人類將通過數(shù)據(jù)變得更加智能。最后我想用兩句話來總結(jié)：當(dāng)下，我們要學(xué)會人機分工，讓人做人最擅長的事情，讓機器做機器最擅長的事情；未來，我們要相信人機結(jié)合，人機的界線已經(jīng)模糊，無人駕駛汽車已經(jīng)變成可能。未來人類的身上流動著的是血液以及數(shù)據(jù)。忽略了趨勢，過去的價值一文不值我們通常都認(rèn)為，經(jīng)驗應(yīng)該是越多越好。一個有經(jīng)驗的人總是更能夠在很多事情上做出正確的判斷，因為積累使然。但事實上，我們發(fā)現(xiàn)，有時候經(jīng)驗越多，似乎越容易讓人犯一些低級錯誤。這就好像，你會發(fā)覺往往天天研究彩票和股票的人總是發(fā)不了大財，而往往是一個菜鳥莫名其妙地就中了大獎和買了一只牛股。為什么經(jīng)驗有時會使人犯低級錯誤呢？在這里，我們應(yīng)該將其分成兩種情況來看待：一種是信息不對稱；另一種則是邏輯錯誤。當(dāng)我們討論信息的不對稱時，首先要講的就是經(jīng)驗。經(jīng)驗是對過去的度量，但不是所有經(jīng)驗信息的質(zhì)量都很好。在經(jīng)驗的數(shù)據(jù)庫里，肯定有一些信息是正確的，有一些是錯誤的。當(dāng)經(jīng)驗中混有很多噪音干擾時，我們會跟隨錯誤的經(jīng)驗做出判斷，此時，我們就會發(fā)現(xiàn)自己變笨了。比如，在使用沒有評估過的經(jīng)驗時，你用A方案獲得了成功，用B方案卻失敗了，而且在評估的過程中也不是單純的0或1，而是用0~1的范圍來度量的。說到這個，就要提到數(shù)據(jù)分析師了。一般而言，數(shù)據(jù)分析師對于信息是很有潔癖的，也就是在對于經(jīng)驗的累積上，他們對質(zhì)量把控得十分嚴(yán)格，如對于數(shù)據(jù)信息的排序、分析可靠的信息源進行多次使用、了解信息的出處和知道信息的提供者等。根據(jù)這些，數(shù)據(jù)分析師在它們的輔助下做出了決定。這意味著，你所有的信息來源都需要有正確的途徑和渠道，不然，這個決策也會出現(xiàn)偏差。除此之外，還有一個因素導(dǎo)致經(jīng)驗使人變笨，那就是在分析時忽略了趨勢，這個道理可以用賽馬的故事來舉證。在香港，你經(jīng)常會發(fā)現(xiàn)拿著一大堆材料的人會分析馬匹的數(shù)據(jù)。比如，有人會根據(jù)一匹馬進行1200米跑的時間，來計算它未來可能跑完全程所需要的時間。但我們發(fā)現(xiàn)，還是有很多人因算錯導(dǎo)致賭馬失敗。為什么呢？因為歷史數(shù)據(jù)和我們今天面對的情況中出現(xiàn)了一些假象。香港大多數(shù)賭馬的人，他們最終收集到的數(shù)據(jù)都是受到影響的，而不是經(jīng)過清洗的，當(dāng)然是不準(zhǔn)確的。每一個賭馬的人都在看過去的數(shù)據(jù)——馬會會給每一個賭馬者提供前三場賽馬的數(shù)據(jù)，大家只會關(guān)注這個結(jié)果，而不會去關(guān)注賽馬當(dāng)天發(fā)生了什么。如果是我，則會去回看錄像，就可能發(fā)現(xiàn)其他的情況。比如，如果這匹馬本來想發(fā)力，但前面有馬匹擋住了它，它才被扣除了兩秒鐘；或者騎師揚鞭，鞭子掉了，扣除5秒鐘；再或者有些馬發(fā)脾氣偏離跑道，也要扣除秒數(shù)。當(dāng)排除所有意外算出的時間，就是干凈的、沒有影響因素的真正經(jīng)驗了。這時候，我們得到的第1~3名的數(shù)據(jù)和最終比賽結(jié)束公布出來的第1~3名的數(shù)據(jù)就會不一樣。除此之外，還要觀察有關(guān)賽馬成長的趨勢問題。事實上，在每一場賽馬里都會出現(xiàn)很多意外，如果這些意外都不出現(xiàn)，也會直接導(dǎo)致結(jié)果的不同。因為每匹馬幼年和成年的狀態(tài)是完全不同的，因此它的數(shù)據(jù)價