Finetune 語言模型所需要的 GPU memory 比較多，往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + DistributedSampler 兩種進行模型分散式訓練的方式。
[PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練
NLP
經典 NLP 任務標籤生成：串接非官方 ChatGPT API
這篇文章紀錄我串接非官方 ChatGPT API 「試圖」取得 NLP 資訊抽取任務標籤的過程。結論是…
NLP 界的核武：ChatGPT 實測心得和未來應用分析
大家最想知道，核武級的 ChatGPT 出現後該如何應對？
未來的運作方式可能會變成像是 人類先有一個 idea ，先請 AI 做初步的資料蒐集、整理，再由人類做判斷、再使用 類似 Prompt Engineering 的方式進行微調，用這樣的方式和 AI 協作。
【自然語言處理】基於語義角色標註的事件三元組抽取實作
本文介紹自然語言處理中的經典任務之一：語義角色標註，並分享開源專案「事件三元組抽取」如何利用語義角色標注的結果，以及復現心得、改良想法
【自然語言處理】Longformer 中文長文本 BERT 模型 – 新聞分類實作
使用 pre-trained model BERT 進行各種 NLU 下游任務 fine-tuning 時，會有輸入限制 …
【自然語言處理】認識文本分析｜給我一段話，我告訴你重點在哪：對文本重點字詞加權的TF-IDF方法
適逢上週五2019數位奇點獎，敝公司獲得【最佳數據科技創新獎】銅獎；當中的案件我們使用到tfidf產生的文本向量做KMe …
【自然語言處理】認識文本分析｜Word2Vec, Doc2Vec 比較 (附Python程式碼)
本篇筆記 Python自然語言處理入門的常用方法 Word2Vec，及其延伸：Doc2Vec，表述他們之間的關聯，並以P …