基于紐約的共享單車使用數(shù)據(jù)的可視化和建模工商管理專業(yè)

1、摘 要中間空兩格，四號(hào)，黑體，居中隨私家車數(shù)量的快速發(fā)展，交通資源日益緊缺，一線城市已因?yàn)榻煌ǘ氯蟠蟮脑黾恿顺鲂械臅r(shí)間成本。大力發(fā)展公共交通是緩解交通壓力的有效手段。以東京為例，所有的住宅中距離最近的車站不足500米的占比達(dá)到61.9%，超過一千米的只有0.53%1。而很多中國民眾因?yàn)榧遗c車站的距離稍遠(yuǎn)而放棄選擇公共交通。共享單車的出現(xiàn)改善了這一問題，鼓勵(lì)了更多的人選擇公共交通。本文將基于紐約的城市自行車數(shù)據(jù)對(duì)其進(jìn)行數(shù)據(jù)可視化，并爬取相關(guān)的天氣信息，建立線性模型預(yù)測(cè)每日公共自行車的的使用量，從而利于公共自行車管理者優(yōu)車站設(shè)置以及車輛調(diào)配。關(guān)鍵字小四，黑體，頂格寫： 公共交通；共享單車；小四，

2、宋體，分號(hào)隔開數(shù)據(jù)可視化；線性回歸Abstract四號(hào)，Times New Roman,加粗，居中With the rapid development of the number of private cars, the transportation resources are becoming increasingly scarce. The first-tier cities have greatly increased travel time costs due to traffic congestion. Vigorously developing public transport i

3、s an effective means to ease traffic pressure. Take Tokyo as an example. The percentage of all homes that are less than 500 meters from the nearest station is 61.9%, and only 0.53% is over one kilometer. Many Chinese people have given up on public transportation because of the distance between their

4、 home and the station. The emergence of shared bicycles has improved this problem and encouraged more people to choose public transport. This article will be based on New York Citys urban bicycle data to visualize the data, and crawl related weather information, establish a linear model to forecast

5、the daily use of public bikes, which will benefit the public bicycle operators to set the optimal station and vehicle deployment. Key 小四，Times New Roman,加粗，頂格寫Word: transportation resources; shared bike; data visualization; linear regression目 錄中間空兩格，三號(hào)字，黑體，居中1. 背景介紹“最后一公里”是阻礙公共交通普及與發(fā)展的痛點(diǎn)，人們?cè)凇白詈笠还铩敝?/p>

6、出行成本較高同時(shí)也存在一定的社會(huì)不安全因素，例如刺激了不安全的摩的或者三輪車等非正規(guī)運(yùn)營手段的發(fā)展，并且這部分運(yùn)營車輛時(shí)長出現(xiàn)闖紅燈、亂停放等妨害交通秩序的行為，大大影響了交通管理和乘客的人生安全。另外，部分市民因?yàn)檐囌九c家的距離稍遠(yuǎn)，也在一定程度上打擊了這部分市民選擇乘坐公共交通的積極性，共享單車的出現(xiàn)以及市場(chǎng)化，為解決“最后一公里”難題提供了全新的解決方案，降低了市民在最后一公里的出行成本，打擊了黑車市場(chǎng)，填補(bǔ)了住宅到車站的公共交通空隙，有利于推行綠色環(huán)保的出行理念2。2014年起，共享單車逐步投放到中國的各個(gè)大學(xué)，由于共享單車十分適合大學(xué)生以及部分高校教職工的需要，共享單車在高校市場(chǎng)慢慢

7、站穩(wěn)腳跟，并在這次成功的嘗試后把市場(chǎng)拓展到城市中，逐漸成為具有競爭優(yōu)勢(shì)的新興出行交通工具。新事物的誕生必然伴隨著許多問題，第一是沒車，在很多人流量特別少的并且地理位置相對(duì)比較偏僻的地方，車輛流動(dòng)速度比較緩慢，當(dāng)一輛車被騎走時(shí)，很難預(yù)測(cè)下一輛車什么時(shí)候會(huì)騎回來，這個(gè)問題到最后會(huì)演變?yōu)闊o車可騎的窘境；第二對(duì)于人流量大的地方，無論共享單車的數(shù)量多么充足，這批共享單車只能滿足第一批“搶到”共享單車的用戶，后來者也很有可能面臨無車可騎的問題，在上下班高峰期，類似情況并不少見3?？偨Y(jié)以上提出的問題，是共享單車管理效率的問題，如何提高共享單車的利用率，在什么地方投放共享單車，如何設(shè)置投放的頻率，是提升共享單

8、車服務(wù)水平的一大關(guān)鍵。本文將圍繞紐約城市共享單車的使用數(shù)據(jù)進(jìn)行數(shù)據(jù)可視化，體現(xiàn)每個(gè)位置共享單車的使用情況，并根據(jù)天氣、工作日與非工作日、假期等建立適當(dāng)?shù)哪Ｐ蛠眍A(yù)測(cè)共享單車的使用量。2.數(shù)據(jù)獲取、處理與可視化2.1獲取城市自行車使用數(shù)據(jù) Citi Bike是一家位于紐約的私有盈利的公共自行車公司，自2013年5月開始運(yùn)營，目前也是美國最大的公共自行車，因此我們選用該公司的數(shù)據(jù)進(jìn)行研究。 從紐約Citi Bike官方網(wǎng)站（ bike官網(wǎng)記錄數(shù)據(jù)自2013年6月至今，選用其中一年，即從2017年4月1日至2018年3月31日的數(shù)據(jù)作為研究對(duì)象。數(shù)據(jù)總量約為1200萬騎行數(shù)據(jù)。Table 1 使用數(shù)據(jù)

9、樣例 名詞注釋單位TRIP DURATION騎行時(shí)長秒START TIME開始時(shí)間日期，時(shí)間STOP TIME停止時(shí)間日期，時(shí)間START STATION ID起始站標(biāo)記數(shù)字START STATION NAME起始站點(diǎn)名字START STATION LATITUDE起始站點(diǎn)緯度START STATION LONGITUDE起始站點(diǎn)經(jīng)度END STATION ID終點(diǎn)站標(biāo)記數(shù)字END STATION NAME 終點(diǎn)站名字END STATION LATITUDE 終點(diǎn)緯度END STATION LONGITUDE終點(diǎn)站點(diǎn)經(jīng)度BIKEID自行車唯一識(shí)別碼USERTYPE用戶類型BIRTHYEAR出生

10、年份GENDER性別0=未知；1=男性； 2=女性Table 2 相關(guān)變量注釋為了更好的分析citi bike的使用情況，我們還需考慮天氣因素。利用R里的Rcurl包對(duì)專業(yè)天氣網(wǎng)站（）爬取天氣數(shù)據(jù)。其中對(duì)兩種不同類型的天氣數(shù)據(jù)進(jìn)行讀取，第一種是讀取2017年4月1日至2018年3月31日每日的天氣數(shù)據(jù)，總共365個(gè)觀測(cè)值，包含當(dāng)日的降雨量，最高氣溫，最低氣溫，平均氣溫，最大能見度，最小能見度，平均能見度以及風(fēng)力等天氣變量；其二是讀取每日每小時(shí)的天氣數(shù)據(jù)，數(shù)據(jù)量總共是365×24，觀測(cè)變量與前者類似。DATETEMP_HTEMP_ATEMP_LHUMID_HHUMID_AHUMID_L

11、VISI_HVISI_AVISI_LWIND_HWIND_AWIND_L4/1/201750423793775910942813384/2/201764524171472410101093-4/3/201761534671513110108154514/4/2017484846100917110712111294/5/201762534410085521050154484/6/2017524742100908010712914364/7/2017504642876550101092113434/8/201760503962402310107105434/9/201766534257402310

12、109104-4/10/201775635159443310108126184/11/20177867576854361010885-4/12/20177565558262241095144174/13/201766574863412610109124174/14/201764575054412810109125174/15/20176355488863471010710417Table 3 每日天氣DATETIMETEMP.HUMIDITYPRESSUREVISIBILITYWIND.SPEEDPRECIPEVENTSCONDITIONS4/1/201712:15 AM39.2 &

13、#176;F93%30.41 in5.0 mi20.7 mph9.99 inOvercast4/1/20171:15 AM39.2 °F93%30.41 in6.0 mi21.9 mphN/AOvercast4/1/20172:15 AM39.2 °F93%30.41 in6.0 mi21.9 mphN/AOvercast4/1/20173:15 AM39.2 °F93%30.41 in4.0 mi25.3 

14、;mphN/AOvercast4/1/20174:15 AM39.2 °F93%30.41 in4.0 mi11.5 mphN/AOvercast4/1/20175:15 AM39.2 °F93%30.41 in5.0 mi9.2 mphN/AOvercast4/1/20176:15 AM37.4 °F93%30.41 in6.0 mi3.5 mphN/AOvercast4/1/20177:15 AM37.4 °F93%30.

15、41 in10.0 mi5.8 mphN/AOvercast4/1/20178:15 AM39.2 °F87%30.41 in10.0 mi6.9 mphN/AOvercast4/1/20179:15 AM39.2 °F87%30.41 in10.0 mi4.6 mphN/AOvercast4/1/201710:15 AM42.8 °F76%30.41 in10.0 mi3.5 mphN/AOvercast4/1/2

16、01711:15 AM44.6 °F71%30.41 in10.0 mi6.9 mphN/AOvercast4/1/201712:15 PM44.6 °F71%30.41 in10.0 mi5.8 mphN/AOvercast4/1/20171:15 PM44.6 °F71%30.41 in10.0 mi9.2 mphN/AOvercast4/1/20172:15 PM44.6 °F71%30.42 in10.0&#

17、160;mi4.6 mphN/AOvercastTable 4 每小時(shí)天氣2.2處理數(shù)據(jù)為了研究在一個(gè)時(shí)間段內(nèi)每個(gè)公共自行車站的使用情況，并對(duì)其進(jìn)行可視化，需要對(duì)已經(jīng)獲得的數(shù)據(jù)進(jìn)行處理。· 數(shù)據(jù)清理，citi bike 數(shù)據(jù)中日期與時(shí)間連接在一起，需要將其分開，另外，在天氣數(shù)據(jù)中，每一個(gè)數(shù)據(jù)包含單位，需要將其去除，讓其成為計(jì)算機(jī)可操作的數(shù)據(jù)；· 利用R中dplyr包里的group_by函數(shù)，對(duì)citi bike數(shù)據(jù)集按照起始站（start station）進(jìn)行分組，獲得新的數(shù)據(jù)集，起始站數(shù)據(jù)集· 利用R中dplyr包里的group_by函數(shù)，對(duì)citi

18、bike數(shù)據(jù)集按照終點(diǎn)站（end station）進(jìn)行分組，獲得新的數(shù)據(jù)集，終點(diǎn)站數(shù)據(jù)集2.3可視化將不同數(shù)據(jù)集輸入到專業(yè)數(shù)據(jù)可視化網(wǎng)站plotly對(duì)新獲得的數(shù)據(jù)集進(jìn)行可視化Figure1 顯示一年內(nèi)有多少自行車從車站出發(fā)，尺寸大小代表出發(fā)數(shù)量Figure2 顯示一年內(nèi)有多少自行車到來車站，尺寸大小代表出發(fā)數(shù)量Figure3 顯示了出發(fā)車輛占車站總車輛數(shù)的比例Figure 1從車站出發(fā)Figure 2 到達(dá)車站Figure 3 出發(fā)車輛數(shù)比例進(jìn)一步，研究早晨和傍晚的高峰時(shí)刻對(duì)自行車用量的影響Figure 4 顯示了晚高峰的用車比例，顏色深淺和尺寸大小都代表了用車比例Figure 5 顯示了早高

19、峰的用車比例，顏色深淺和尺寸大小都代表了用車比例Figure 6 顯示了晚高峰的出發(fā)比例Figure 7 顯示了五月份每一天每一個(gè)時(shí)刻車站含有車的數(shù)量Figure 4Figure 5Figure 6利用Rstudio里的shiny, 展示五月份每一天每一個(gè)時(shí)刻車站含有車的數(shù)量Figure 7Figure 7 車站內(nèi)自行車數(shù)量3、預(yù)測(cè)模型3.1數(shù)據(jù)處理· 從citi bike 數(shù)據(jù)集中計(jì)算得到每日騎行次數(shù)，并與每日天氣數(shù)據(jù)進(jìn)行合并，給天氣狀況變量重新賦值，0=好天氣，1=壞天氣；給假期變量重新賦值，0=非假期，1=有假期；最后對(duì)星期、假期、天氣變量因子化，得到用量-每日天氣數(shù)據(jù)集。&#

20、183; 從citi bike 數(shù)據(jù)集中計(jì)算得到每小時(shí)騎行次數(shù)，并與每小時(shí)天氣數(shù)據(jù)進(jìn)行合并， 處理方法與上一步驟類似，最后得到用量-每小時(shí)天氣數(shù)據(jù)集3.2 對(duì)每日自行車使用量進(jìn)行預(yù)測(cè)這部分利用用量-每日天氣數(shù)據(jù)集進(jìn)行建模。共享單車使用數(shù)量受到天氣因素影響較大，另外使用量也受到工作日以及非工作日，節(jié)假日和季節(jié)的制約，因此該部分主要探究共享單車的使用量與上述變量之間的關(guān)系。3.2.1模型假設(shè)與約定· 數(shù)據(jù)真實(shí)可靠· 不同模型均使用相同的訓(xùn)練集和測(cè)試集，其中隨機(jī)選取70%作為訓(xùn)練集，30%作為測(cè)試集· 把RMSE作為不同模型的對(duì)比標(biāo)準(zhǔn)，RMSE越小越好。RMSE=MSE

21、, MSE為均方誤差3.2.2 符號(hào)說明名詞解釋名詞解釋num自行車使用量wind_h當(dāng)日最大風(fēng)力temp_h當(dāng)日最高氣溫wind_a當(dāng)日平均風(fēng)力temp_a當(dāng)日平均氣溫wind_l當(dāng)日最小風(fēng)力temp_l當(dāng)日最低氣溫precip當(dāng)日降雨量humidity_h當(dāng)日最高濕度weather當(dāng)日天氣狀況humidity_a當(dāng)日最平均濕度holiday是否加假日humidity_h當(dāng)日最低濕度season季節(jié)visibility_h當(dāng)日最高能見度dayofweek星期幾visibility_a當(dāng)日平均能見度visibility_l當(dāng)日最低能見度其中num為自行車使用量，也是被預(yù)測(cè)變量。3.2.3 線性

22、模型對(duì)num進(jìn)行全變量建模，Adjusted R-Square = 0.8336, p-value < 2.2e-16RMSE = 6291.082 Estimate Std. Error t value Pr(>|t|) (Intercept) -7683.64 9578.93 -0.802 0.423297 temp_h 1748.38 509.29 3.433 0.000707 *temp_a -2039.97 1001.05 -2.038 0.042707 * temp_l 1051.54 502.00 2.095 0.037289 * humidity_h 231.42

23、100.41 2.305 0.022066 * humidity_a -302.58 169.87 -1.781 0.076179 . humidity_l 149.49 97.65 1.531 0.127159 visibility_h NA NA NA NA visibility_a 557.78 753.41 0.740 0.459845 visibility_l 700.19 287.00 2.440 0.015455 * wind_h -238.76 168.97 -1.413 0.158999 wind_a -179.87 259.56 -0.693 0.489009 wind_l

24、 134.79 49.66 2.714 0.007147 * precip -100.94 17.09 -5.906 1.24e-08 *weather1 -2830.85 1321.67 -2.142 0.033250 * Holiday1 -13879.14 2949.21 -4.706 4.35e-06 *seasonspring -4298.64 1507.01 -2.852 0.004732 * seasonsummer -8061.90 1468.23 -5.491 1.05e-07 *seasonwinter -6244.81 1849.94 -3.376 0.000864 *d

25、ayofweek2 3747.33 1768.89 2.118 0.035204 * dayofweek3 3965.62 1870.13 2.121 0.035030 * dayofweek4 4134.33 1774.63 2.330 0.020686 * dayofweek5 1397.26 1810.23 0.772 0.440979 dayofweek6 -5668.10 1832.25 -3.094 0.002222 * dayofweek7 -8318.17 1821.29 -4.567 8.04e-6 根據(jù)建模結(jié)果，我們發(fā)現(xiàn)visibility_h變量存在奇異值，檢查數(shù)據(jù)vis

26、ibility_h這列數(shù)據(jù)均為相同的大小，因此該變變量沒有考慮價(jià)值，故而刪除該變量，隨后模型亦舍棄該變量，不再贅述。3.2.3.1 模型改進(jìn)根據(jù)上述全模型結(jié)果，刪除變量visibility_h后，Adjusted R-Square = 0.8336, p-value < 2.2e-16, RMSE = 6291.082 Estimate Std. Error t value Pr(>|t|) (Intercept) -7683.64 9578.93 -0.802 0.423297 temp_h 1748.38 509.29 3.433 0.000707 *temp_a -2039.

27、97 1001.05 -2.038 0.042707 * temp_l 1051.54 502.00 2.095 0.037289 * humidity_h 231.42 100.41 2.305 0.022066 * humidity_a -302.58 169.87 -1.781 0.076179 . humidity_l 149.49 97.65 1.531 0.127159 visibility_a 557.78 753.41 0.740 0.459845 visibility_l 700.19 287.00 2.440 0.015455 * wind_h -238.76 168.97

28、 -1.413 0.158999 wind_a -179.87 259.56 -0.693 0.489009 wind_l 134.79 49.66 2.714 0.007147 * precip -100.94 17.09 -5.906 1.24e-08 *weather1 -2830.85 1321.67 -2.142 0.033250 * Holiday1 -13879.14 2949.21 -4.706 4.35e-06 *seasonspring -4298.64 1507.01 -2.852 0.004732 * seasonsummer -8061.90 1468.23 -5.4

29、91 1.05e-07 *seasonwinter -6244.81 1849.94 -3.376 0.000864 *dayofweek2 3747.33 1768.89 2.118 0.035204 * dayofweek3 3965.62 1870.13 2.121 0.035030 * dayofweek4 4134.33 1774.63 2.330 0.020686 * dayofweek5 1397.26 1810.23 0.772 0.440979 dayofweek6 -5668.10 1832.25 -3.094 0.002222 * dayofweek7 -8318.17

30、1821.29 -4.567 8.04e-06 *當(dāng)繼續(xù)去除一些不顯著的變量時(shí)候（p-value較大的變量），發(fā)現(xiàn)模型沒有變得更好，相反RMSE還有一定程度的變大，因此保留該改進(jìn)后的模型。3.2.4 隨機(jī)森林隨機(jī)森林是一種基于分類樹的算法，其運(yùn)算量在沒有很大提高的情況下能提高運(yùn)算精度，在這里，依然使用去掉visibility_h后的數(shù)據(jù)對(duì)自行車使用量num進(jìn)行預(yù)測(cè)。結(jié)果如下，根據(jù)結(jié)果，發(fā)現(xiàn)方差解釋度達(dá)到81.56%， RMSE = 6683.7723.2.5 stepwise Stepwise 方法包括向前、向后、雙向三個(gè)方向，在這三個(gè)相似的模型中使用BIC(貝葉斯信息準(zhǔn)則)，這是因?yàn)锽IC引

31、入了模型參數(shù)個(gè)數(shù)的懲罰項(xiàng)，并且BIC懲罰項(xiàng)比AIC大，同時(shí)BIC也考慮了樣本數(shù)量，所以，當(dāng)樣本數(shù)量較大的時(shí)候，BIC在防止模型精度過高從而導(dǎo)致模型復(fù)雜度過高上比AIC更有效。BIC=-2lnL+lnn×k 其中L=極大似然函數(shù)的估計(jì)值，n=樣本量，k=參數(shù)個(gè)數(shù)+2向前法模型保留變量：全部保留，共16個(gè)變量向后法保留變量：temp_h+temp_a+temp_l+visibility_l+wind_h+wind_l+precip+holiday+season+dayofweek 共10個(gè)變量雙向法保留變量：temp_h+temp_a+temp_l+visibility_l+wind_h

32、+wind_l+precip+holiday+season+dayofweek 共10個(gè)變量向前向后雙向Adusted R-Square0.83360.82960.8296P-value<2.2e-16<2.2e-16<2.2e-16RMSE6291.0826295.7116295.711從模型上看，三種方法都有不錯(cuò)的Adjusted R-Square和P-Value, RMSE也十分相近，但是從模型復(fù)雜度上來說，向后法和雙向法更，因?yàn)檫@兩個(gè)方法在相同的精度下，把變量個(gè)數(shù)減少到10個(gè)，模型更簡便。3.2.6 其他模型與比較首先，GLM是最小二乘回歸的拓展，適用于因變量是正整數(shù)

33、或者分類數(shù)據(jù)的情況，在本例中，每日自行車使用量是正整數(shù)，且根據(jù)是否工作日，是否節(jié)假日，哪個(gè)季節(jié)均可分類，因此我考慮了該模型，并設(shè)定參數(shù)為正態(tài)分布（gaussian）。其次，由于自行車每日使用量在數(shù)值上比其他變量的絕對(duì)值要大很多，因此我也考慮了對(duì)自行車使用量num進(jìn)行了log(num)變換，但是結(jié)果并不理想。最后考慮廣義相加模型（GAM）， 自行車使用量num與其他變量之間并不一定存在很強(qiáng)的線性關(guān)系，這從之前的模型中RMSE以直很難降低可以看出，因此考慮GAM模型，該模型可應(yīng)用與因變量和自變量不呈線性關(guān)系的情況，且可對(duì)部分或全部的自變量采用平滑的方法建立模型，設(shè)定分布參數(shù)為正態(tài)分布（gaussi

34、an）。GLMlog(num)GAMAdjusted R-Square-0.7269-P-Value-<2.2e-16-RMSE6291.08210095.746291.0823.2.7 總結(jié)根據(jù)以上所有模型的結(jié)果，RMSE都十分相近，在嘗試不同思路的情況下，依然不能更進(jìn)一步降低RMSE的值，更有模型在原本以為會(huì)有更好結(jié)果的情況下給出了相似甚至更高的RMSE。但是，上述模型stepwise中的向后法和雙向法在相似的RMSE情況下極大的簡化了模型，由此可以認(rèn)為這兩種線性模型在應(yīng)用于預(yù)測(cè)每日用車量的需求下是比較優(yōu)秀的。但是我們也不能否認(rèn)隨機(jī)森林這一非線性模型的優(yōu)良性能，其給出的模型具有高于80%的方差解釋率，RMSE也比較底，在預(yù)測(cè)中尚可接受。3.3 對(duì)每小時(shí)自行車使用量進(jìn)行預(yù)測(cè)本部分建模使用用量-每小時(shí)天氣數(shù)據(jù)集。此部分分析過程與上一部分，即對(duì)每日自行車用量預(yù)測(cè)部分，相似。需要預(yù)測(cè)的自行車使用量num相同，不一樣的是自變量有所區(qū)別。3.3.1 符號(hào)說明名詞解釋名詞解釋num自行車使用量condition天氣狀況time時(shí)刻holiday節(jié)日temp氣溫season季節(jié)humidity濕度dayofweek星期幾visibility能見度precip降雨量events是否極端天氣3.3.2