本地算力部署DeepSeek詳細流程

1、版本選擇主要瓶頸：內存+顯存的大小。適合：有數(shù)據(jù)隱私方面擔憂的或者保密單位根本就不能上網(wǎng)的。使用滿血版：DeepSeekR1671B全量模720GB,對于絕大部分人而言，本地資源有限，很難達到這個配根據(jù)官方及社區(qū)的討論，滿血版R1(671B,且不做量化)需要2臺8卡H100,或1臺8卡H20,或1R1671B參數(shù)模型量化為131GB,從原來的720GB減少了80%,同時非常實用。正常好DeepSeek-R1-Distill-Qwen-1.5BDeepSeek-R1-Distill-QDeepSeek-R1-Distill-LlDeepSeek-R1-Distill-Qw DeepSeek-R1-Distill-QwDeepSeek-R1-Distill-Lla開源2+6個模型。開源2+6個模型。R1預覽版和正式版的參數(shù)高達660B,非一般公司能用。為進一步平權，于是他們就蒸餾出了6個小模型，并開源給社區(qū)。最小的為1.5B參數(shù)，10G顯存可跑。如果你要在個人電腦上部署，一般選擇其他架構的蒸餾模型，本質是微調后的Llama或Qwen模型，基本32B以下，并不 OllamaOllama(/library,可以理解為替換前面務器端，在本地作為服務端，可以是別的平臺),可以是別的工具如Chrome插件PageAssist或Anything步驟1:下載OllamaDiscordGittubModelsDiscordGittubModelsRunJlam33.Deepss-RLhi-Mis傻瓜式安裝。過程如下：安裝過程：商Setup-Olamaversion0.5.7安裝完后，驗證是否安裝成功：Windows將根據(jù)你所輸入的名稱，為你打開相應的程序、文件夾、文檔或Internet資源。使用管理權限創(chuàng)建此任務。命令行輸入如下：能顯示ollama版本說明安裝成功。步驟3:選擇r1模型RunJlame33.Deepse-RLPhiMitralGemms2andothermodes,locaDeepSeek'sfirst-generatiperformancetoOpenAl-o1,inclNewstateoftheart步驟4:選擇版本DeepSeek'sfirst-generationobeginfsentenceb代表10億參數(shù)量，7b就是70億參數(shù)量。這里的671B是HuggingFace經過4-bit標準量化的，所以大小是404GB。系統(tǒng)的除了模型參數(shù)占用的內存+顯存空間(比如671除了模型參數(shù)占用的內存+顯存空間(比如671B的404GB)以外，實際運行時還需額外預留一些內存(顯存)空間用于上下文緩存。預留的空間越大，支持的上下文窗口也越大。所以根據(jù)你個人電腦的配置，評估你選擇部署哪一個版本。如果你想運行404GB的671B,建議你的內存+顯存能達到500GBcomparableperformancetoOd點擊復制Updated2weeisago0archn2parameters7.626quanstiratitemplateF計SyitesHSyateeH[endF(range5.He3678步驟5:本地運行DeepSeek模型C\WINDOWS\system32\cmd×C\WINDOWS\system32\cmd×MicrosoftWindows[版本10.0.26100.2894](c)MicrosoftCorporac\WINDOWSystem32\cmd×+MicrosoftMicrosoftWindows[版本10.0.26100.2894](c)MicrosoftCorporation。保留所有權利。C:\Users\shkst>ollamarundcWINDOWSlsystem32\cmd:×+MicrosoftMicrosoftWindows[版本10.0.26100.2894](c)HicrosoftCorporation。保留所有權利。C:\Users\shkst>ollamarundC:\Users\shkst>ollamarund下載支持斷點續(xù)傳，如果下載中速度變慢，可以鼠標點擊命令行窗口，然后ctrl+c取消，取消后按方向鍵"上",可以找到新鏈接，按照之前進度接著下載。如果不想下載，也可以直接使用我們提供的下載好的模型文件，按照后續(xù)小節(jié)"修改models文件夾路徑"的步驟配置好環(huán)境變量和對應models文件夾的路徑即可。下載完成后，自動進入模型，直接在命令行輸入問題，即可得到你好!很高興見到你，有什么我可以幫忙的嗎?無論是學習、工作還是生比如：你好，鯊魚為什么會溺水呢?t>>>你好，鯊魚為什么會溺水呢?嗯，鯊魚為什么會溺水呢?這個問題聽起來嗯，鯊魚為什么會溺水呢?這個問題聽起來有點奇怪。鯊魚是海洋中的掠食者生活在淡水和咸水中，對吧?那它們怎么會溺水呢?可能是因為我對中國的一些地理知識不太清楚。。如果有人在這些地方釣魚或者劃船，可能會遇到鯊魚。那為什么鯊魚會在淺水中呢?通常，鯊魚喜歡深水，因為它們獲得的食物在那,可能是因為某些原因，比如季節(jié)性變化、氣候變化或者人為活動導致的水域深度變化。們自己不會像人類那樣呼吸水中的空氣，所以它們不會直接從水中窒息而亡。但是，如果有人不小心讓鯊魚進入他們的水域，比如在游能會有危險。程改變了自然的水深分布，使得鯊魚出現(xiàn)在更淺的地方有人在這些地方游泳，可能會遇到鯊魚攻擊的風險。人提到鯊魚溺水，可能是因為他們誤解了鯊某種與鯊魚相關的危險情況。根據(jù)您的問題，“鯊魚為什么會溺水呢?”,經過思結論：提到鯊魚溺水，可能是因為誤解或描述與鯊魚相關的人為水區(qū)活動時遇到危險。**逐步解釋和答案：**1.**盆魚的棲息地**:鯊魚主要生活在淡水和咸水的深水區(qū)，食物豐富且適獲取幫助：/setSetsessi/?shortcutsHe退出對話：查詢已有模型：c:\Users\shkst>ollamac:\Users\shkst>ollama后續(xù)要運行模型，仍然使用之前的命令：3、使用客戶端工具本地部署好模型之后，在命令行操作還是不太方便，我們繼續(xù)使用一些客戶端工具來使用。Chemyjydo目前支持市面上絕大多數(shù)股務商的集成并且支特多微務的模統(tǒng)一調度名Cherry-Studio-0.919-seluCherry-Studio-0.9319-portable.exe(842MB)-Wndows攜版Cherry-Studio-0.919-x64.dmgCherry-Stvdio-0.919-x86_64.Applmoge(120.5MB)Cherry-Stvdio-0.919-orm64.Applmoge(120.3MB)-ARM架構以CherryStudio為例訪問7b的蒸餾模型：8口潦◎?？赵O務硅基流動顯示設置O關于我們日AzureOpenAI百川( 償4快體動手N如果這里列表沒有r1模型，則是之前沒有安裝好。88口○?？占賱漳J慢型電常規(guī)設置田顯示設置國快捷方式◎關于我們崗ollamaON哲滿AI用百川食馱認助食馱認助“應店叢魚(Q護士格)*可速過口物內主動系水過姆，靜止時也呼吸，因此不陽室息Qmetlamd/Uama-33-708-ni doopseek+1:7b章i注意：使用時要確保ollama客戶端已啟動>已深應思考(用時321秒4、修改models文件夾路徑(可models文件夾如果想修改模型的存放位置，做如下配置：步驟1:拷貝models文件夾到你指定的目錄，比如名稱步驟2:添加環(huán)境變量右鍵"我的電腦",選擇"屬性",按如下方式配置：×相關設置Biuodke設置及遠程桌面統(tǒng)保護業(yè)高領系所設置定0麗內供反噴設備規(guī)格處理器系統(tǒng)類型筆和軸控玉命名這臺電腦玉命名這臺電腦版本版本號安裝日期操作系統(tǒng)內部版本環(huán)境變量的用戶變量(U)編輯系統(tǒng)變量瀏覽目錄(D)...瀏覽文件(F)..環(huán)境變量的用戶變量(U)編輯系統(tǒng)變量瀏覽目錄(D)...瀏覽文件(F)..確定取消系統(tǒng)變是(S)步驟3:重啟Ollama客戶端生效注意：修改完之后，需要重啟Ollama客戶端，右鍵圖標，選擇退出，重新運行Ollama驗證是否生效：重新運行Ollama之后，重新打開命令行，輸入命)MicrosoftCorporation,保留如果list顯示為空，則表示操作有問題，確認以上步驟。在企業(yè)中，想要私有化部署滿血版DeepSeek-R1,即671B版本，需要有更好的硬件配置。使用Ollama提供的經過量化壓縮的671B模型的大