清華團(tuán)隊(duì)推出基于圖的深度學(xué)習(xí)工具包CogDL v0.1
能用來(lái)做什么?
那么,研究者和使用者可以利用 CogDL 做些什么?主要有三點(diǎn):跟進(jìn) SOTA、復(fù)現(xiàn)實(shí)驗(yàn),以及自定義模型和數(shù)據(jù)。
跟進(jìn) SOTA。CogDL 跟進(jìn)最新發(fā)布的算法,包含不同任務(wù)下 SOTA 的實(shí)現(xiàn),同時(shí)建立了不同任務(wù)下所有模型的 leaderboard(排行榜),研究人員和開發(fā)人員可以通過 leaderboard 比較不同算法的效果。
復(fù)現(xiàn)實(shí)驗(yàn)。論文模型的可復(fù)現(xiàn)性是非常重要的。CogDL 通過實(shí)現(xiàn)不同論文的模型也是對(duì)模型可復(fù)現(xiàn)性的一個(gè)檢驗(yàn)。
自定義模型和數(shù)據(jù)!皵(shù)據(jù)-模型-訓(xùn)練”三部分在 CogDL 中是獨(dú)立的,研究者和使用者可以自定義其中任何一部分,并復(fù)用其他部分,從而提高開發(fā)效率。
怎么用?
有兩種方法:命令行直接運(yùn)行,通過 API 調(diào)用
命令行直接運(yùn)行。通過命令行可以直接指定 "task"、"model"、"dataset" 以及對(duì)應(yīng)的超參數(shù),并且支持同時(shí)指定多個(gè)模型和多個(gè)數(shù)據(jù)集,更方便。代碼如下:
# 監(jiān)督GraphSAGEpython scripts/train.py --task node_classification --dataset pubmed --model graphsage -seed 0 1 2 3 4 5# 無(wú)監(jiān)督GraphSAGEpython scripts/train.py --task unsupervised_node_classification --dataset pubmed --model unsup_graphsage# DeepWalk + Node2Vec算法 + BlogCatalog + Wikipedia數(shù)據(jù)集python script/train.py --task unsupervised_node_classificatoin --dataset blogcatalog wikipedia --model deepwalk node2vec
通過 API 調(diào)用。在代碼中調(diào)用 CogDL 的數(shù)據(jù)、模型、任務(wù)構(gòu)建 API,方便使用自定義數(shù)據(jù)集和模型,更靈活。代碼如下:
# 獲取模型/數(shù)據(jù)/訓(xùn)練的參數(shù)args = get_default_args()args.task = 'node_classification'args.dataset = 'cora'args.model = 'gcn'# 建立數(shù)據(jù)集dataset = build_dataset(args)args.num_features = dataset.num_featuresargs.num_classes = dataset.num_classesargs.num_layers = 2# 建立模型model = build_model(args)# 訓(xùn)練+驗(yàn)證task = build_task(args, dataset=dataset, model=model)ret = task.train()
CogDL 支持自定義數(shù)據(jù)集和模型,并且提供了自動(dòng)調(diào)參的例子。
據(jù) CogDL 研究者介紹,從 2019 年啟動(dòng)以來(lái),該項(xiàng)目經(jīng)過了多次密集的研發(fā),到目前已經(jīng)整合了圖領(lǐng)域的重要任務(wù)及其相關(guān)的經(jīng)典和前沿的模型。
CogDL 開發(fā)者表示,“起初,我們只是整合了實(shí)驗(yàn)室內(nèi)部從事相關(guān)領(lǐng)域研究的同學(xué)所使用的相關(guān)代碼,為了方便實(shí)驗(yàn)室其余的同學(xué)運(yùn)行相關(guān)的實(shí)驗(yàn)。后來(lái),我們決定將代碼開源出來(lái),讓更多的研究和開發(fā)人員能夠借助我們的代碼從事相關(guān)工作!
如今,CogDL 已經(jīng)上線了 CogDL v0.1.1。
“我們?cè)黾恿艘恍┳钋把氐膱D神經(jīng)網(wǎng)絡(luò)模型,包括圖自監(jiān)督模型、圖預(yù)訓(xùn)練模型。用戶可以利用圖上預(yù)訓(xùn)練好的模型做不同的下游任務(wù)。在下游任務(wù)方面,我們?cè)黾恿酥R(shí)圖譜的鏈接預(yù)測(cè)任務(wù),方便從事知識(shí)圖譜領(lǐng)域的用戶進(jìn)行相關(guān)實(shí)驗(yàn)。” CogDL 開發(fā)者說。
具體而言,在監(jiān)督節(jié)點(diǎn)分類任務(wù)上,增加了 GRAND 和 DisenGCN,GRAND 在 Cora、PubMed、Citeseer 上取得了 SOTA 或者接近 SOTA 的效果;無(wú)監(jiān)督節(jié)點(diǎn)分類任務(wù)上,增加了 DGI、MVGRL、GraphSAGE(無(wú)監(jiān)督實(shí)現(xiàn));在鏈接預(yù)測(cè)任務(wù)上,增加了知識(shí)圖譜上的鏈接預(yù)測(cè) GNN 模型 RGCN 和 CompGCN;以及增加了圖上的預(yù)訓(xùn)練模型 GCC。
另外,CogDL 也提供了使用 optuna 進(jìn)行超參數(shù)搜索的 example,通過指定 "模型,數(shù)據(jù)集,參數(shù)" 即可自動(dòng)實(shí)現(xiàn)超參數(shù)的搜索。
接下來(lái),CogDL 研究者希望在現(xiàn)有基礎(chǔ)上,繼續(xù)補(bǔ)充其余的圖領(lǐng)域的下游任務(wù),添加更多的數(shù)據(jù)集,更新每個(gè)任務(wù)的排行榜;同時(shí)增加最前沿的關(guān)于預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型,支持用戶直接使用預(yù)訓(xùn)練好的模型來(lái)進(jìn)行相關(guān)應(yīng)用;以及完善 CogDL 的教程和文檔,讓剛接觸圖領(lǐng)域的初學(xué)者能夠快速上手。
談及最終的愿景,CogDL 研究者表示,一方面希望從事圖數(shù)據(jù)領(lǐng)域的研究人員可以方便地利用 CogDL 來(lái)做實(shí)驗(yàn),另一方面希望面向?qū)嶋H應(yīng)用的開發(fā)人員可以利用 CogDL 來(lái)快速地搭建相關(guān)下游應(yīng)用,最終打造一個(gè)完善的圖領(lǐng)域的研發(fā)生態(tài)。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
3月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
4月30日立即下載>> 【村田汽車】汽車E/E架構(gòu)革新中,新智能座艙挑戰(zhàn)的解決方案
-
5月15-17日立即預(yù)約>> 【線下巡回】2025年STM32峰會(huì)
-
即日-5.15立即報(bào)名>>> 【在線會(huì)議】安森美Hyperlux™ ID系列引領(lǐng)iToF技術(shù)革新
-
5月15日立即下載>> 【白皮書】精確和高效地表征3000V/20A功率器件應(yīng)用指南
-
5月16日立即參評(píng) >> 【評(píng)選啟動(dòng)】維科杯·OFweek 2025(第十屆)人工智能行業(yè)年度評(píng)選
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺(tái)
- 5 國(guó)產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計(jì)算迎來(lái)商業(yè)化突破,但落地仍需時(shí)間
- 7 東陽(yáng)光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長(zhǎng)空間
- 8 地平線自動(dòng)駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營(yíng)收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機(jī)器人東風(fēng)翻身?