《金融大數(shù)據(jù)分析》-課件 第17章 其他另類數(shù)據(jù)的處理

第17章其他另類數(shù)據(jù)的處理學(xué)習(xí)目標(biāo)理解圖像數(shù)據(jù)在金融市場的應(yīng)用了解如何使用神經(jīng)網(wǎng)絡(luò)對圖片進(jìn)行分析了解音頻信息在金融市場中的作用了解如何使用程序進(jìn)行簡單的圖片數(shù)據(jù)分析處理另類數(shù)據(jù)的意義私有信息對獲得超額收益非常重要，但是往往存在合法合規(guī)問題公開信息往往已經(jīng)被反映在資產(chǎn)價(jià)格中對已有的數(shù)據(jù)進(jìn)行更精細(xì)的處理，以獲得其他投資者難以獲得的信息處理另類數(shù)據(jù)的意義雖然文本在金融市場中起了非常重要的作用，但是許多公司以及媒體都大量使用文字以外的方式來傳播有效的信息衛(wèi)星圖像以及無人機(jī)影像都可以給我們提供重要的經(jīng)濟(jì)表現(xiàn)的信息公司管理層接受采訪都會留下視頻以及聲音信息可以供我們進(jìn)行分析有必要使用機(jī)器學(xué)習(xí)方法處理圖像、聲音等另類數(shù)據(jù)圖像數(shù)據(jù)及處理圖像可以傳遞多種信息例：庫存清點(diǎn)倉庫的圖像可以讓我們快速驗(yàn)證庫存數(shù)據(jù)的準(zhǔn)確性首先需要在照片中識別庫存物品的種類可以對每一個(gè)庫存商品進(jìn)行拍照，并用機(jī)器學(xué)習(xí)的方法對庫存的品類進(jìn)行識別。使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片使用機(jī)器學(xué)習(xí)方法識別圖片生成一個(gè)5×5的矩陣，矩陣中0代表白色而1代表黑色。我們可以用左圖所示的矩陣來代表字母??，而右圖則可以代表字母??。卷積神經(jīng)網(wǎng)絡(luò)（CNN）最簡單的卷積神經(jīng)網(wǎng)絡(luò)有三個(gè)主要的結(jié)構(gòu)：卷積層、池化層、全連接層使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片卷積層有一個(gè)或多個(gè)卷積核（Kernel），每一個(gè)卷積核都是為了檢測圖中的一些特征卷積核實(shí)際上是一個(gè)小矩陣，這個(gè)矩陣中的的參數(shù)先由隨機(jī)生成，并通過訓(xùn)練不斷更新這個(gè)矩陣中的參數(shù)卷積神經(jīng)網(wǎng)絡(luò)（CNN）最簡單的卷積神經(jīng)網(wǎng)絡(luò)有三個(gè)主要的結(jié)構(gòu)：卷積層、池化層、全連接層使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片卷積層運(yùn)算步驟將這個(gè)卷積核覆蓋的區(qū)域與卷積核進(jìn)行點(diǎn)相乘將這個(gè)2×2的卷積核矩陣不斷的在輸入矩陣上移動(dòng)，從左上角開始慢慢向右下方移動(dòng)，每次覆蓋的區(qū)域都進(jìn)行上述點(diǎn)相乘，然后再加上一個(gè)誤差項(xiàng)完成這一步驟后，我們會得到一個(gè)新的4×4的矩陣，即特征圖可以使用ReLU函數(shù)對特征圖進(jìn)行進(jìn)一步處理使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片每一個(gè)卷積核都是為了檢測圖中的一些特征比如說代表??的矩陣在2×2的空間中會展現(xiàn)出大量對角線的圖樣，而代表??的矩陣則會有更多垂直即平行的圖樣值得注意的是，卷積核以及池化窗口往往采用的長與寬都是奇數(shù)，此處為了解釋方便，使用了更小的2×2的窗口使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片用池化層（PoolingLayer）來處理特征圖中的數(shù)據(jù)定義一個(gè)小的范圍（例如2×2），稱為池化窗口，并將這個(gè)池化窗口放置于特征圖上，對這個(gè)窗口中的數(shù)據(jù)進(jìn)行池化如圖17.4，我們在特征圖中生成了四個(gè)池化窗口，每個(gè)池化窗口覆蓋了1/4的特征圖。池化的過程主要是為了達(dá)到減少處理的運(yùn)算量的效果使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片池化的方法有兩種：最大池化：即取這個(gè)2×2區(qū)域中的最大值平均池化：即取池化窗口的所有元素的平均值與卷積層不同，池化窗口不應(yīng)該有任何重疊此處采用最大池化操作，得到一個(gè)2×2的矩陣，如圖17.5所示使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片將池化后的數(shù)據(jù)輸入一個(gè)全連接層全連接層可以是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)這個(gè)前饋神經(jīng)網(wǎng)絡(luò)會輸出分類概率的預(yù)測將池化層輸出的這個(gè)4個(gè)元素作為全連接層神經(jīng)網(wǎng)絡(luò)的特征，并要求該神經(jīng)網(wǎng)絡(luò)輸出對于圖像分類的預(yù)測。CNN訓(xùn)練方法：與前饋神經(jīng)網(wǎng)絡(luò)相同，參數(shù)的訓(xùn)練是用反向傳播來進(jìn)行的將圖片轉(zhuǎn)化成矩陣，并將圖片分類作為標(biāo)簽來訓(xùn)練我們的模型。使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片色彩、復(fù)雜的物體、復(fù)雜的場景需要復(fù)雜的模型處理復(fù)雜的模型——AlexNetAlexNet是一個(gè)經(jīng)典的基于卷積神經(jīng)網(wǎng)絡(luò)的圖片識別模型，由Hinton教授和兩名博士生于2012年提出右側(cè)為AlexNet結(jié)構(gòu)介紹使用卷積神經(jīng)網(wǎng)絡(luò)處理圖片例：庫存清點(diǎn)需要取得每一件庫存的的圖片，并用圖片識別程序進(jìn)行識別該做法的問題是需要拍攝大量的庫存照片，費(fèi)時(shí)費(fèi)力有沒有辦法對每個(gè)貨架進(jìn)行拍攝，并讓程序?qū)锩娴乃形锲愤M(jìn)行識別呢？多物體識別R-CNN：進(jìn)行多物品識別時(shí)，先找到圖片中的不同物體，并用一個(gè)矩形邊框來選擇物體。在第二步，我們使用算法來識別物體。YOLO模型：進(jìn)行多物品識別時(shí)，將上述兩步合二為一，執(zhí)行效率更高聲音信息及處理語音信息轉(zhuǎn)化為文字信息+文本分析/大語言模型文本轉(zhuǎn)錄，如OpenAI的Whisper模型希望從語音中的非語言信息得到一些情緒方面的信息對聲音情緒進(jìn)行分析的算法，如LVA模型LSTM與CNN基于Transformer的模型知識拓展：用圖片來預(yù)測股市回報(bào)技術(shù)分析：從業(yè)人員試圖通過股市回報(bào)的圖表來對回報(bào)進(jìn)行預(yù)測Lo,Mamaysky和Wang(2000）通過對股票圖形的研究發(fā)現(xiàn)確實(shí)有幾種可以獲得額外收益的技術(shù)分析方法Jegadeesh與Titman的動(dòng)量信號，Han，Zhou，Zhu（2016）年的論文發(fā)現(xiàn)了趨勢信號可以預(yù)測回報(bào)參考文獻(xiàn)AndrewWLo,HarryMamaysky,andJiangWang.Foundationsoftechnicalanalysis:Computationalalgorithms,statisticalinference,andempiricalimplementation.TheJournalofFinance,55(4):1705–1765,2000.NarasimhanJegadeeshandSheridanTitman.Returnstobuyingwinnersandsellinglosers:Implicationsforstockmarketefficiency.TheJournalofFinance,48(1):65–91,1993.YufengHan,GuofuZhou,andYingziZhu.Atrendfactor:Anyeconomicgainsfromusinginformationoverinvestmenthorizons?JournalofFinancialEconomics,122(2):352–375,2016.知識拓展：用圖片來預(yù)測股市回報(bào)Jiangetal.(2023)直接使用股票圖表對未來股票回報(bào)進(jìn)行預(yù)測使用卷積神經(jīng)網(wǎng)絡(luò)對股票走勢圖片分析，通過圖片中發(fā)現(xiàn)的模式與未來股價(jià)漲跌之間的關(guān)系來訓(xùn)練神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)該神經(jīng)網(wǎng)絡(luò)能發(fā)現(xiàn)許多使用股價(jià)數(shù)據(jù)本身無法發(fā)現(xiàn)的預(yù)測未來回報(bào)的信號，并有助于獲得超額收益JingwenJiang,BryanKelly,andDachengXiu.(re-)imag(in)ingpricetrends.TheJournalofFinance,78(6):3193–3249,2023知識拓展：用圖片來預(yù)測股市回報(bào)程序：圖像識別導(dǎo)入庫程序：圖像識別創(chuàng)建字典，為字典添加類別和對應(yīng)的名稱，這里的類別是數(shù)字編碼，名稱是對應(yīng)的物體類別程序：圖像識別加載預(yù)訓(xùn)練的FasterR-CNN模型（ResNet50），設(shè)置模型為評估模式，即不進(jìn)行學(xué)習(xí)操作，僅進(jìn)行預(yù)測操作定義圖像預(yù)處理的操作，將圖像轉(zhuǎn)換為張量形式程序：圖像識別使用PIL庫打開一張圖片，并轉(zhuǎn)換為PyTorch張量形式，保存在變量img中為圖像添加一個(gè)維度，使其符合模型輸入的形式（模型需要的是batch形式的輸入）設(shè)置模型執(zhí)行模式為推理模式，即不進(jìn)行反向傳播學(xué)習(xí)操作程序：圖像識別定義函數(shù)show_detections顯示輸入圖像及其預(yù)測的檢測結(jié)果創(chuàng)建一個(gè)新的圖形和軸顯示輸入的圖像遍歷預(yù)測結(jié)果的邊界框、分?jǐn)?shù)和標(biāo)簽將每個(gè)檢測到的元素邊界框繪制在圖像上在每個(gè)邊界框上方，將標(biāo)簽和分?jǐn)?shù)文本繪制在圖像上使用plt.show()顯示圖像程序：圖像識別打開名為“shelf1.jpg”的圖像文件，并將其作為輸入圖像傳遞給show_detections函數(shù)習(xí)題請思考哪些語音以及圖片數(shù)據(jù)有助于幫助投資者預(yù)測公司盈利請回答我們的程序需要從這些圖片或語音中提煉到哪些信息請?jiān)诟浇碾娖鞒兄姓找粡堈掌?，并用本章中的程序分析?/p>