Finetune 語言模型所需要的 GPU memory 比較多,往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + DistributedSampler 兩種進行模型分散式訓練的方式。
[PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練

挖掘資料價值的現代探員
Finetune 語言模型所需要的 GPU memory 比較多,往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + DistributedSampler 兩種進行模型分散式訓練的方式。
這篇文章紀錄我串接非官方 ChatGPT API 「試圖」取得 NLP 資訊抽取任務標籤的過程。結論是…
大家最想知道,核武級的 ChatGPT 出現後該如何應對?
未來的運作方式可能會變成像是 人類先有一個 idea ,先請 AI 做初步的資料蒐集、整理,再由人類做判斷、再使用 類似 Prompt Engineering 的方式進行微調,用這樣的方式和 AI 協作。
本文介紹自然語言處理中的經典任務之一:語義角色標註,並分享開源專案「事件三元組抽取」如何利用語義角色標注的結果,以及復現心得、改良想法
使用 pre-trained model BERT 進行各種 NLU 下游任務 fine-tuning 時,會有輸入限制 …
適逢上週五2019數位奇點獎,敝公司獲得【最佳數據科技創新獎】銅獎;當中的案件我們使用到tfidf產生的文本向量做KMe …
本篇筆記 Python自然語言處理入門的常用方法 Word2Vec,及其延伸:Doc2Vec,表述他們之間的關聯,並以P …