精選數據倉庫的構建和ETL課程設計

精選數據倉庫的構建和ETL課程設計Northwind數據倉庫的構建和ETL課程設計與實驗報告

課程設計與實驗教學目的與根本要求數據倉庫與知識工程課程設計與實驗是學習數據倉庫與知識工程的重要環(huán)節(jié)，通過課程設計與實驗，可以使學生全面地了解和掌握數據倉庫與知識工程課程的根本概念、原理及應用技術，使學生系統(tǒng)科學地受到分析問題和解決問題的訓練，提高運用理論知識解決實際問題的能力。使學生在后繼課的學習中，能夠利用數據倉庫與數據挖掘技術及實踐經驗，解決相應的實際問題，并能在今后的學習和工作中，結合自己的專業(yè)知識，開發(fā)相應的數據倉庫與數據挖掘應用程序。培養(yǎng)學生將已掌握的理論與實踐開發(fā)相結合的能力，以及在應用方面的思維能力和實踐動手能力。課程設計與實驗一數據倉庫的構建和ETL〔一〕目的1．理解數據庫與數據倉庫之間的區(qū)別與聯(lián)系；2．掌握數據倉庫建立的根本方法及其相關工具的使用。3．掌握ETL實現的根本方法及其相關工具的使用?！捕硟热?.以SQLServer為系統(tǒng)平臺，設計、建立創(chuàng)立數據倉庫NorthwindDW〔根據課程設計內容〕。2.將業(yè)務數據庫Northwind的數據經過ETL導入〔或加載〕到數據倉庫NorthwindDW。3.將數據倉庫NorthwindDW事實表的前100個記錄導出到Excel中?！踩硵祿}庫設計要求Northwind數據庫存儲了一個貿易公司的訂單數據、產品數據、顧客數據、員工數據、供貨商數據等，假設貿易公司的經營者迫切的需要準確地把握貿易公司經營情況，跟蹤市場趨勢，更加合理地制定商品采購、營銷和獎勵政策。具體的分析需求是：分析某商品在某地區(qū)的銷售情況分析某商品在某季度的銷售情況分析某年銷售多少金額的產品給顧客分析某員工的銷售業(yè)績任務：確定主題域、確定系統(tǒng)〔或主題〕的邊界。設計數據模型〔星型模型〕的事實表和維表。

實驗步驟一、主題需求分析:主題域：訂單主題，商品主題，員工主題；訂單相關邊界：Orders，OrderDetails，Employees；商品相關邊界：Products，OrderDetails；員工相關邊界：Employees，Orders；實驗步驟二、構建數據模型以及相應的事實表和維度表：1.原始關系圖:

2.去除不需要的表和與需求分析無關的字段:5.根據信息分析包以及表間關系圖設計具體維度表和事實表:Orders事實表結構以及主鍵字段：字段名稱數據類型功能描述原表名原字段EmployeeIDInt員工號碼EmployeesEmployeeIDProductIDInt產品號碼ProductsProductIDCustomerIDnchar顧客號碼CustomersCustomerIDOrderDatedatetime訂購日期OrdersOrderDateUnitPricemoney產品單價OrderDetailsUnitPriceTotalmoney單項總價無Quantity*UnitPrice*DiscountQuantitysmallint訂購數量OrderDetailsQuantityDiscountreal折扣OrderDetailsDiscount主鍵字段：EmployeeID,ProductID,CustomerID,OrderDateEmployee員工維度表結構以及主鍵字段：字段名稱數據類型功能描述原表名原字段EmployeeIDInt員工號碼EmployeesEmployeeIDFirstNamenvarchar員工名EmployeesFirstNameLastNamenvarchar員工姓EmployeesLastName主鍵字段：EmployeeID

Product產品維度表結構以及主鍵字段：字段名稱數據類型功能描述原表名原字段ProductIDInt產品號碼ProductsProductIDProductNamenvarchar產品名稱ProductsProductNameUnitPricemoney單價ProductsUnitPrice主鍵字段：ProductIDCustomer顧客維度表結構以及主鍵字段：字段名稱數據類型功能描述原表名原字段CustomerIDnchar顧客號碼CustomersCustomerIDContactNamenvarchar顧客姓名CustomersContactNameAddressnvarchar大致地區(qū)CustomersCity+Region+Country主鍵字段：CustomerIDTime時間維度表結構以及主鍵字段：字段名稱數據類型功能描述原表名原字段OrderDatedatetime日期OrdersOrderDateYearnvarchar年無OrderDate拆分Quarternvarchar季度無OrderDate拆分運算Monthnvarchar月無OrderDate拆分主鍵字段：OrderDateRegion地區(qū)維表結構字段名稱數據類型功能描述原表名原字段Addressnvarchar大致地區(qū)CustomersAddressCitynvarchar城市無Address拆分Countrynvarchar國家無Address拆分Regionnvarchar地區(qū)無Address拆分主鍵字段：Address

6.下列圖顯示了Northwind數據庫的星型雪花架構結構圖：Employees維表Orders事實表Products維表EmployeeIDemployeeIDProductIDFirstNameProductIDProductnameLastNameCustomerIDUnitPriceorderDateTotalQuantityUnitPriceDiscountCustomers維表CustomerIDContactNameCityRegionCountry實驗步驟三、創(chuàng)立數據倉庫并抽取轉換導入數據：1.首先翻開SQLServerBusinessIntelligenceDevelopmentStudio,創(chuàng)立一個新的SQLServerIntegrationServices工程,并取名為northwind2.點擊確定后生成以下界面。3.接下來在菜單欄中點擊[工程]選擇SSIS導入和導出向導，在彈出來的窗口里選擇SQLNativeClient10.0作為數據源，數據庫下拉選擇已裝好的Northwind數據庫，點擊下一步。4.進入數據目標的操作界面，這里需要新建一個數據倉庫，以后數據經過ETL過程后，數據存放到這個數據倉庫中。5.選擇數據的復制方式，如下列圖所示，有兩種方式，一種是直接將表復制過去，這種方式不是很靈活，對多表連接存在一定的局限性。這里采用的第二種方法。6.接下來輸入SQL語句，目前進行提取和轉換的是事實表orders，sql語句必須寫正確，要不然會影響后面的導入數據。點擊分析可以查看是否有誤，沒有的話即可進入下一步。7.接下來可以編輯表之間的映射關系。當時我想把表名改成其他更形象具體的名字，可是不知道為什么，如果把【查詢】改了之后，后面的數據加載就會有問題。這也是一個有待解決的問題。8.點擊完成后即可以完本錢次表格的導入。9接下來如下列圖箭頭所示，準備sql任務以結束，進入數據流階段。按照選擇屏幕左邊的工具箱，拖出來數據流源的OLEDB源和數據流目標的OLEDB目標兩個元件到界面上。10.右擊OLEDB源選擇編輯，OLEDB連接管理器那一定要看清楚是對什么進行的編輯，如果是源，就要選source..。然后再對目標進行編輯，需要新建一個表來進行映射。11.直到所有的與事實表相關的維表全部編輯完，右擊右側的你剛剛生成的包，設為啟動項，再運行程序。12.調試成功的話所有的元件底色都會變成綠色，如下圖：13.此時回到NorthDW數據倉庫中可以發(fā)現，全部的表已成功導入完畢，接下來回到數據庫系統(tǒng)中給所生成的各表手動建立主鍵約束以及關系設置，全部操作完成之后本次數據倉庫抽取-轉換-導入數據宣告完成。Orders事實表Product維表Employee維表Customer維表實驗步驟四、導出指定內容數據至Excel表格：執(zhí)行事實表Sales的數據導出至excel操作，首先右鍵單擊NorthwindDW數據倉庫，在彈出的菜單下依次點擊任務->導出數據。接著在需要復制的數據源處選擇SQLNativeClient10.0，數據庫選擇NorthDW，點擊下一步。選擇目標為MicrosoftExcel，自行設置文件存放路徑，Excel版本推薦選擇97-2023，然后點擊下一步，選擇編寫查詢以指定要傳輸的數據。接著使用SQL語句寫出想要導出來的表以及相應的內容即可。本次目標是導出Sales事實表的前100行點擊下一步后即可生成對應的Excel文件，導出任務成功，事實表前100個記錄。實驗結果：1.確定主題域、確定系統(tǒng)〔或主題〕的邊界。完成了NorthDW的星型雪花結構設計，確定全部維表和事實表。2.設計、建立創(chuàng)立數據倉庫NorthDW。3.將業(yè)務數據庫Northwind的數據經過ETL導入〔或加載〕到數據倉庫NorthDW。4.將數據倉庫NorthDW事實表的前100個記錄導出到Excel中。實驗問題和總結：本次實驗花了我很多的心思和心血，主要是覺得自己根底太薄弱。實驗的最終結果由于時間關系跟自己最初想做的不太一樣。主要是在開始花掉了太多的時間，但是整個流程自己還是了解得挺好了，所以說做出一個更好的東西出來也只是時間問題。在做的過程中，遇到了很多小問題。創(chuàng)立數據倉庫表的時候，到底是從原有的數據庫中復制還是用sql語句創(chuàng)立復制。剛開始我是用的sql語句復制，當時就因為一個小小的圓點問題耽誤了很多時間，沒有解決出來，就嘗試用原有數據庫中的表復制，但是問題就來了，多個表連接再映射沒法做，最后還是通過sql語句實現的。表映射完后，對數據的加載也出現了問題。剛開始老不成功，最后發(fā)現時表重復的原因，因為自己反復新建了很多個工程和相同的表，只要把書庫倉庫中的同名表刪掉就可以加載了。導出數據的時候也出現了問題，后來發(fā)現原來我的表名和關鍵字重復了，只需要將數據倉庫的order表重新命名就好了。4．生成數據