離線的端側(cè)AI，并非沒(méi)有用處。

好了，又到了雷科技的DeepSeek整活時(shí)間。

之前雷科技成功嘗試過(guò)在一臺(tái)沒(méi)有獨(dú)顯的筆記本電腦上，單純依靠CPU和內(nèi)存來(lái)本地部署DeepSeek，最終成功運(yùn)行了一個(gè)7B參數(shù)量的Qwen蒸餾模型。

雖然部署的要求很簡(jiǎn)單，但是7B參數(shù)量的AI模型表現(xiàn)也確實(shí)很一般，而且PC本身也可以輕松獲取到更高參數(shù)量的AI模型，所以實(shí)際意義并不大。不過(guò)，倘若可以把這個(gè)AI模型部署到手機(jī)上呢？7B的AI模型在工作等方面或許不能給我們太多的幫助，但是在手機(jī)上拿來(lái)當(dāng)隨身AI助手的話，結(jié)論或許就不一樣了。

在此之前，我們首先要在手機(jī)上部署AI。網(wǎng)上有不少相關(guān)教程，小雷測(cè)試了其中的幾種，也算是幫大家提前趟趟雷了。

手機(jī)本地部署DeepSeek，還真行

如果你在百度上搜索這個(gè)問(wèn)題，或許會(huì)首先看到“天極網(wǎng)”發(fā)布的教程，這篇教程是通過(guò)一個(gè)名為T(mén)ermux的app，在安卓手機(jī)上模擬一個(gè)Linux終端，然后部署Ollama，再通過(guò)ollama來(lái)下載DeepSeek模型并運(yùn)行。

簡(jiǎn)單來(lái)說(shuō)，就是將在電腦上部署DeepSeek的方案，直接移植到手機(jī)上，因?yàn)槭峭ㄟ^(guò)終端模擬器來(lái)運(yùn)行，所以實(shí)際效率還要打個(gè)折扣。至于詳細(xì)的部署過(guò)程，大家可以看一下小雷的幾張截圖：

圖源：雷科技

雖然全程都只是需要輸入命令就會(huì)自動(dòng)進(jìn)入下一步，但是多數(shù)人看到這個(gè)滿屏代碼的畫(huà)面，估計(jì)就會(huì)被默默勸退。而且，在折騰了差不多兩個(gè)小時(shí)后，我也終于確認(rèn)了一件事：教程里寫(xiě)的服務(wù)器出問(wèn)題了。

如果按這個(gè)教程對(duì)環(huán)境部署服務(wù)器進(jìn)行訪問(wèn)，其實(shí)是找不到原文里提到的清華大學(xué)鏡像文件源，只剩下幾個(gè)按大洲和區(qū)域劃分的服務(wù)器可選，為了排除網(wǎng)絡(luò)因素，我還分別切換了不同的網(wǎng)絡(luò)嘗試，都只有八個(gè)服務(wù)器在線。

圖源：雷科技

隨后我分別嘗試了亞洲和中國(guó)骨干網(wǎng)絡(luò)的兩個(gè)鏡像源，都在進(jìn)行到Ubuntu安裝的步驟卡死，下載速度非常慢的同時(shí)還有可能中途報(bào)錯(cuò)，導(dǎo)致整個(gè)下載停擺。在折騰幾個(gè)小時(shí)都無(wú)法完成安裝后，我選擇嘗試另一個(gè)部署方案。

這個(gè)方案則是通過(guò)部署安裝依賴后，直接下載ollama并在本地運(yùn)行，比之前的方案要更簡(jiǎn)略，但是從實(shí)際的測(cè)試來(lái)看，如果你沒(méi)有特殊網(wǎng)絡(luò)，可能會(huì)無(wú)法開(kāi)啟下載，即使開(kāi)啟下載后，仍然有可能卡在軟件部署的過(guò)程中。

簡(jiǎn)而言之，如果你想用Tremux實(shí)現(xiàn)最原始的AI大模型部署，那么或許要具備一定debug能力和良好的網(wǎng)絡(luò)支持，否則就可能像我這樣花了幾個(gè)小時(shí)，仍然看著網(wǎng)絡(luò)錯(cuò)誤的提醒發(fā)呆。

不過(guò)好在現(xiàn)在AI概念非常紅火，所以github上其實(shí)有很多開(kāi)源的本地AI部署app供大家選擇，我這次就測(cè)試了三款：ChatterUI、PocketPal和MNN大模型，三款app各有優(yōu)劣，大家可以根據(jù)需要自行選擇。

圖源：雷科技

其中，ChatterUI和PocketPal支持直接加載本地AI模型，并允許通過(guò)在線下載的方式遠(yuǎn)程加載模型到本地系統(tǒng)，個(gè)人建議如果你有電腦的話，最好直接下載到電腦再?gòu)?fù)制到手機(jī)里，方面根據(jù)需要更換模型，避免一堆模型堆積在手機(jī)內(nèi)存里，擠占手機(jī)空間。

提供AI模型下載的網(wǎng)站并不少，不過(guò)大多需要魔法網(wǎng)絡(luò)才能訪問(wèn)，所以我建議大家直接去魔塔社區(qū)下載即可，這是阿里達(dá)摩院運(yùn)營(yíng)的AI模型社區(qū)，其模型庫(kù)基本上涵蓋了大部分開(kāi)源的AI模型及其衍生版本，并且對(duì)模型進(jìn)行詳細(xì)分類，可以根據(jù)詞條進(jìn)行快速查詢。

圖源：雷科技

注冊(cè)并登錄后，就可以開(kāi)始選擇你的AI模型，個(gè)人建議內(nèi)存小于12G的朋友選擇Qwen 2.5-3B和LLama-3.2-3B兩個(gè)版本的AI模型，12G及以上的朋友則可以選擇DeepSeek-R1-7B的版本。

在下載模型并轉(zhuǎn)存到手機(jī)后，接下來(lái)做的就是安裝app，然后加載模型，過(guò)程很簡(jiǎn)單。先來(lái)看看ChatterUI，這個(gè)app的特點(diǎn)是支持TTS（語(yǔ)音輸出），結(jié)合語(yǔ)音輸入可以解鎖更多的使用場(chǎng)景和方式。

圖源：雷科技

安裝好后點(diǎn)擊左上角就可以喚出側(cè)邊欄，先點(diǎn)擊「Formatting」在頂部選項(xiàng)欄里找到你下載的AI模型，比如你下的是DeepSeek那就選DeepSeek-R1。保存后退出再點(diǎn)擊側(cè)邊欄的「Models」，點(diǎn)擊右上角的添加并選擇第一條選項(xiàng)，即可打開(kāi)手機(jī)存儲(chǔ)，然后選擇剛剛存入的AI模型，稍等片刻就可以完成加載，最后點(diǎn)擊最右側(cè)的“運(yùn)行”圖標(biāo)即可部署。

圖源：雷科技

接下來(lái)只要你點(diǎn)擊AI Bot，就可以與你選擇的AI模型對(duì)話，如果想切換模型，返回Models進(jìn)行設(shè)置即可。此外，ChatterUI也支持對(duì)模型的各種推理參數(shù)進(jìn)行詳細(xì)設(shè)置，點(diǎn)擊側(cè)邊欄的「Sampler」即可，各種參數(shù)的對(duì)應(yīng)效果大家可以在網(wǎng)上自行搜索學(xué)習(xí)，這里小雷就不展開(kāi)來(lái)說(shuō)了。

再來(lái)看看PocketPal，這個(gè)app的用起來(lái)還要更簡(jiǎn)單些，只是不支持TTS功能，同樣是打開(kāi)側(cè)邊欄的「Models」，右下角可以直接添加本地AI模型，并且也提供一些小參數(shù)的AI模型快速下載通道，有興趣的話可以下載來(lái)玩玩。

圖源：雷科技

AI模型安裝好后，還是點(diǎn)擊右下角的運(yùn)行進(jìn)行加載，然后就可以直接回到首頁(yè)進(jìn)行提問(wèn)了，右上角可以進(jìn)入推理設(shè)置頁(yè)面，與ChatterUI差不多。

如果說(shuō)你覺(jué)得以上兩個(gè)app的英文不太看得懂，而且想要更簡(jiǎn)單易上手，那么我的建議是MNN，這是由阿里開(kāi)發(fā)的開(kāi)源app，整合了多個(gè)在手機(jī)等小型移動(dòng)設(shè)備上運(yùn)行效果良好的AI模型，涵蓋了DeepSeek、Qwen、LLama等通用模型及一些專業(yè)模型，可以根據(jù)需要直接點(diǎn)擊下載。

圖源：雷科技

下載完成后點(diǎn)擊即可加載使用，全程傻瓜式操作，但是也有個(gè)缺陷，那就是不能像ChatterUI和PocketPal那樣直接調(diào)整模型的推理參數(shù)，只能通過(guò)對(duì)話的方式讓AI嘗試著把回答變得更具創(chuàng)意一些。

以上三個(gè)app基本可以覆蓋大多數(shù)的本地AI部署需求，不管你是單純想要個(gè)問(wèn)答助手，還是想要個(gè)隨身的解悶軟件，亦或是想折騰不同的AI模型，看看其本地部署的效果，都可以輕松應(yīng)對(duì)，而且比通過(guò)Termux來(lái)部署要簡(jiǎn)單方便得多。

手機(jī)本地AI：性能不重要，隱私有保障

AI部署完了，那么就到了喜聞樂(lè)見(jiàn)的體驗(yàn)環(huán)節(jié)，作為對(duì)比，我還下載了1.5B版本的DeepSeek-R1，理論上1.5B的版本可以被部署到8G甚至6G內(nèi)存的手機(jī)里，可以說(shuō)是最泛用的。

本來(lái)我是對(duì)1.5B版本的DeepSeek不抱太大希望的，但是沒(méi)想到這玩意開(kāi)局就給我來(lái)了個(gè)「驚喜」。我先是慣例的詢問(wèn)AI身份，看看他能否認(rèn)知自己的AI模型版本，結(jié)果AI直接給我來(lái)了一套深度分析，從“對(duì)問(wèn)題感到困惑”到“AIBot是誰(shuí)（就是你自己呀）”，再到“AI Bot和User（我）之間的關(guān)系”，最后他給出了一個(gè)結(jié)論：

是，AI Bot是**人工智能**。它沒(méi)有生命，也沒(méi)有意識(shí)，只是一個(gè)功能模型或程序，并非人類。當(dāng)你詢問(wèn)“你是誰(shuí)”，AI Bot的回答其實(shí)是**沒(méi)有實(shí)體存在的**，它本身并非人來(lái)回答的問(wèn)題。

這種提問(wèn)方式提醒我們?cè)谑褂肁I技術(shù)時(shí)需要謹(jǐn)慎，尤其是涉及基礎(chǔ)概念的問(wèn)答時(shí)。

我直接一個(gè)問(wèn)號(hào)就想打出去了，好家伙，這是加載了什么參數(shù)庫(kù)？怎么上來(lái)就是哲學(xué)模式？因?yàn)榛卮疬^(guò)于抽象，以至于我反復(fù)確認(rèn)加載的1.5B而非7B版本。最后通過(guò)仔細(xì)查看思考過(guò)程，我發(fā)現(xiàn)可能是app的接口設(shè)置出現(xiàn)了一些問(wèn)題，導(dǎo)致其與AI大模型之間的交流出現(xiàn)了問(wèn)題，讓AI以為這場(chǎng)對(duì)話有三個(gè)角色，自己正在作為旁觀者回答我的問(wèn)題。

圖源：雷科技

簡(jiǎn)單來(lái)說(shuō)，當(dāng)時(shí)的場(chǎng)景就相當(dāng)于User（我）指著AI Bot（ChatterUI）問(wèn)DeepSeek：你（他）是誰(shuí)，然后DeepSeek對(duì)著AI Bot就是一堆分析，最后得出了結(jié)論：這就是程序。只能說(shuō)，AI這玩意玩久了，依然是處處有驚喜，特別是DeepSeek這種“發(fā)散性思維”的AI，經(jīng)常能夠給出一些讓你眼前一亮（或者一黑）的回答。

不過(guò)在后續(xù)的追問(wèn)下，這個(gè)只有1.5B參數(shù)量的模型很快就露出了馬腳，開(kāi)始前言不搭后語(yǔ)，答非所問(wèn)，徹底變成了被玩壞的狀態(tài)，只能說(shuō)1.5B的模型確實(shí)難堪大用。而在切換成7B版本后，AI就輕松給出了正確的回答，然后我又追問(wèn)了一個(gè)簡(jiǎn)單的問(wèn)題：告訴我番茄炒蛋的做法，雖然AI先是說(shuō)無(wú)法給出菜譜，但是隨后也是列出了做法。

不得不說(shuō)，本地部署的AI在穩(wěn)定性等方面確實(shí)存在問(wèn)題，與在線模式的AI體驗(yàn)有著非常明顯的區(qū)別，而且不同app出現(xiàn)的問(wèn)題也會(huì)各不相同，比如PocketPal就偶爾會(huì)出現(xiàn)思考到一半無(wú)法繼續(xù)的問(wèn)題，后續(xù)發(fā)現(xiàn)是思維鏈長(zhǎng)度設(shè)置有問(wèn)題，修改后就正常了。

而且，驍龍8至尊版+16G運(yùn)存的手機(jī)，AI推理和生成速度都非常不錯(cuò)，已經(jīng)完全滿足日常問(wèn)答和使用的需求，這一點(diǎn)也是讓我頗為意外，事實(shí)上這個(gè)速度已經(jīng)不比一些筆記本電腦差。

圖源：雷科技

而在后續(xù)的一些提問(wèn)里，7B的DeepSeek也是勉強(qiáng)答上了我的一些提問(wèn)，比如當(dāng)遇到一個(gè)癲癇癥發(fā)作的病人時(shí)該如何進(jìn)行急救、在野外受傷沒(méi)有人幫助時(shí)該怎么自救等。基本上我就是設(shè)定了一個(gè)無(wú)法使用網(wǎng)絡(luò)的場(chǎng)景，并且我急需一些幫助，在這種情況下離線部署的AI或許就是你最后的助力了。

圖源：雷科技

畢竟如果可以聯(lián)網(wǎng)的話，非隱私問(wèn)題直接問(wèn)DeepSeek app或者其他第三方AI，可以得到更好更完善的回答。至于隱私性問(wèn)題，我的建議是大家如果真有需求，可以去騰訊云等云服務(wù)商那里買個(gè)API接口，然后通過(guò)chatbox在本地部署一個(gè)在線滿血版AI客戶端。

如果你對(duì)自己的隱私保護(hù)非常上心，那么找一臺(tái)有20G以上顯存的電腦，或者在華為云等云服務(wù)器供應(yīng)商那里租一個(gè)云服務(wù)器，用來(lái)部署自己的專屬AI模型也是可選項(xiàng)。

回到正題，在手機(jī)上部署AI大模型，有意義嗎？我認(rèn)為是有的。如果說(shuō)電腦上部署7B版AI是“多此一舉”，那么在手機(jī)上部署就不一樣了。雖然能力是相似的，但是手機(jī)上的離線AI確實(shí)有用，他可以在你無(wú)網(wǎng)且需要幫助時(shí)，給你提供最基礎(chǔ)的建議，有時(shí)候或許就是這個(gè)小小的建議，就能讓你脫困也說(shuō)不定。

再給大家總結(jié)一下三個(gè)app的本地部署效果，如果你追求穩(wěn)定可用，那么MNN是最好的選擇，在測(cè)試中也是回答質(zhì)量最穩(wěn)定的，而ChatterUI和PocketPal雖然功能豐富，但是也更容易出BUG，適合有一定AI基礎(chǔ)和編程基礎(chǔ)的人使用。

最后，希望大家都可以玩得開(kāi)心。

來(lái)源：雷科技

       原文標(biāo)題 : 手機(jī)本地部署DeepSeek？實(shí)測(cè)真能用：AI隱私有保障了？