动漫成人精品一二区区中,最新日本少妇无底线精油按摩视频

成本僅 100 美元！大神 Andrej Karpathy 不到 100 美元克隆 ChatGPT

2025-11-14 18:18

來源： OFweek人工智能網(wǎng)

特斯拉前AI總監(jiān)、OpenAI創(chuàng)始成員、AI大神 Andrej Karpathy 帶來新作 nanochat。

與 Karpathy 之前類似的代碼庫 nanoGPT 不同，nanochat 是一個極簡的、從零開始的全棧訓(xùn)練/推理流程。僅僅基于一個單一且依賴性極低的代碼庫，即可克隆出簡單的 ChatGPT。

Karpathy 表示，“你只需啟動一個云 GPU 設(shè)備，運行一個腳本，只需 4 小時，就可以在類似 ChatGPT 的 Web UI 中與你的 LLM 進(jìn)行交流。”

Karpathy 稱，這是他寫過最瘋狂的文章之一。

nanochat 具備以下特征：

使用新的 Rust 實現(xiàn)來訓(xùn)練標(biāo)記器
在 FineWeb 上預(yù)訓(xùn)練 Transformer LLM，通過多項指標(biāo)評估 CORE 得分
對 SmolTalk 的用戶助理對話、多項選擇題、工具使用進(jìn)行中期訓(xùn)練
SFT，在世界知識多項選擇題（ARC-E/C、MMLU）、數(shù)學(xué)（GSM8K）、代碼（HumanEval）上評估聊天模型
RL 模型可選地在 GSM8K 上使用“GRPO”
在具有 KV 緩存的引擎中高效推理模型，簡單的預(yù)填充/解碼，工具使用（輕量級沙箱中的 Python 解釋器），通過 CLI 或類似 ChatGPT 的 WebUI 與其對話。
寫一份 markdown 報告卡，總結(jié)并游戲化整個事情。

大約 12 小時的訓(xùn)練時間超過了 GPT-2 的核心指標(biāo)。當(dāng)成本增加到 1000 美元左右時，Nanochat 會變得更加連貫，可以解決簡單的數(shù)學(xué)/代碼問題并進(jìn)行多項選擇題測試。

一個深度為 30 的模型訓(xùn)練了 24 小時，在 MMLU 上可以達(dá)到 40 秒，在 ARC-Easy 上可以達(dá)到 70 秒，在 GSM8K 上可以達(dá)到 20 秒。

Karpathy 的目標(biāo)是將完整的“強基線”堆棧整合到一個內(nèi)聚、精簡、可讀、可修改且最大程度可分叉的倉庫中。nanochat 將成為 LLM101n 的頂點項目。Karpathy 認(rèn)為，它有潛力發(fā)展成為一個研究工具或基準(zhǔn)，類似于之前的 nanoGPT。

目前，nanochat 的整體框架已經(jīng)足夠完善，Karpathy 已將其上傳到 GitHub 上。

訓(xùn)練過程

Karpathy 使用了 FineWeb-EDU 數(shù)據(jù)集，這是一組簡單的、完全混洗過的數(shù)據(jù)集。

評估結(jié)果表明，平均 4.8 個原文字符就能變成 1 個 token。與 GPT-2（擁有 50257 個 token）相比，nanochat 的 token 生成器在文本壓縮方面全面優(yōu)于 GPT-2，但數(shù)學(xué)部分稍差一點。圖源：Karpathy GitHub

他訓(xùn)練 LLM 通過預(yù)測序列中的下一個 token 來壓縮網(wǎng)絡(luò)文本，同時 LLM 也從中獲得了大量關(guān)于世界的知識。

首先，訓(xùn)練一個 20 層的 Transformer，需要對 112 億個標(biāo)記進(jìn)行訓(xùn)練。隨著時間推移，模型對下一個 token 的預(yù)測更加準(zhǔn)確。此外，CORE 得分也在上升。

訓(xùn)練/驗證的每字節(jié)比特數(shù) (bpb) 達(dá)到了約 0.81，核心指標(biāo)也上升到了 0.22，略高于 GPT-2 Large（0.21）。

下一步是中期訓(xùn)練，Karpathy 將進(jìn)一步在 smol-SmolTalk 上對模型進(jìn)行微調(diào)。結(jié)果顯示：

模型在各個知識領(lǐng)域的多項選擇題中表現(xiàn)得更好。
數(shù)學(xué)性能仍然不太強，只能解決 2% 的問題。

訓(xùn)練中期之后是監(jiān)督微調(diào) (SFT) 階段。SFT 會拉伸數(shù)據(jù)行并進(jìn)行填充，完全模仿測試時格式。

這是微調(diào)后的效果：

僅花費不到 100 美元。

團(tuán)隊使用高度簡化的 GRPO 訓(xùn)練循環(huán)，其優(yōu)勢在于簡單的均值獎勵轉(zhuǎn)移。訓(xùn)練保留了 GR（“群體相關(guān)”）部分來計算獎勵的優(yōu)勢。

可以看到，獎勵增加了，這代表模型正在學(xué)習(xí)。準(zhǔn)確率也在上升。模型規(guī)模越大，改進(jìn)效果越顯著。

最終結(jié)果顯示：

包括 SFT 在內(nèi)的整個過程耗時 3 小時 51 分鐘，總成本為 92.4 美元。

Karpathy 表示，nanochat 可以調(diào)整任何內(nèi)容，包括更改標(biāo)記器、更改任何數(shù)據(jù)、調(diào)整超參數(shù)、改進(jìn)優(yōu)化等等。代碼庫設(shè)置得非常容易，只需使用 --depth 更改層數(shù)，其他所有內(nèi)容都基于此。

更多技術(shù)細(xì)節(jié)請關(guān)注：https://github.com/karpathy/nanochat/discussions/1

參考資料：

https://github.com/karpathy/nanochat/discussions/1