Finetune 語言模型所需要的 GPU memory 比較多，往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + DistributedSampler 兩種進行模型分散式訓練的方式。
[PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練
經典 NLP 任務標籤生成：串接非官方 ChatGPT API
這篇文章紀錄我串接非官方 ChatGPT API 「試圖」取得 NLP 資訊抽取任務標籤的過程。結論是…
NLP 界的核武：ChatGPT 實測心得和未來應用分析
大家最想知道，核武級的 ChatGPT 出現後該如何應對？
未來的運作方式可能會變成像是 人類先有一個 idea ，先請 AI 做初步的資料蒐集、整理，再由人類做判斷、再使用 類似 Prompt Engineering 的方式進行微調，用這樣的方式和 AI 協作。
Git 協作不可不知的重要指令
以下整理 套件開發協作時常遇到與用到的 Git 指令： SSH Key 與 HTTPS 的差別 其中 <repo_ …
【自然語言處理】基於語義角色標註的事件三元組抽取實作
本文介紹自然語言處理中的經典任務之一：語義角色標註，並分享開源專案「事件三元組抽取」如何利用語義角色標注的結果，以及復現心得、改良想法
【Python 網路爬蟲】克服網站反爬蟲機制的 8 種做法
隨著公開資料使用的普及化，網站對自家資料的保護也越來越嚴謹。開發者如何在符合道德和不觸發網站擋爬機制的同時，合法取得所需 …
【Python】複製一份 conda 環境的各種方式
使用 .yml 檔案 將當前環境設置輸出為 environment.yml ，再用來創建配置一致的新環境 更新現有環境 …
【除錯紀錄】MAC 更新後 git 指令出現 xcrun: error
更新 Mac 到 12.3.1 後，日常使用 git 進行版控時，出現以下錯誤訊息： 解法是要安裝/升級 XCode c …
【自然語言處理】Longformer 中文長文本 BERT 模型 – 新聞分類實作
使用 pre-trained model BERT 進行各種 NLU 下游任務 fine-tuning 時，會有輸入限制 …
【2021 Shopee Code League】解題紀錄｜Week1：Multi-Channel Contact Problem
以下用中文解釋題意和解題思考過程，若有誤、更優解等建議，歡迎留言或私訊。 本週題意 基本上希望的目的是，將聯繫蝦皮客服的 …