Finetune 語言模型所需要的 GPU memory 比較多，往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + DistributedSampler 兩種進行模型分散式訓練的方式。
[PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練
資料科學
經典 NLP 任務標籤生成：串接非官方 ChatGPT API
這篇文章紀錄我串接非官方 ChatGPT API 「試圖」取得 NLP 資訊抽取任務標籤的過程。結論是…
Git 協作不可不知的重要指令
以下整理 套件開發協作時常遇到與用到的 Git 指令： SSH Key 與 HTTPS 的差別 其中 <repo_ …
【資料探索性分析】#1 電商零售 – 天貓電商用戶行為
（一）主題 從天貓 TMall 用戶網站行為紀錄，透過視覺化整理： 基本的資料分布 比較不同用戶分組的行為分布差異 …
【Python 資料科學教程】環境架設、Numpy, Pandas 基礎 – Data Science with Python
不管是提升工作技能或對資料有興趣，都可以簡單上手 Python 數據分析，文末我們將提供 Colab 範本給讀者進行練習 …
【給初學者】自學三階段，教你入門資料分析 4 大環節
前言 有鑒於資料領域廣受各路工作者喜愛，未來各大公司一定也會導入更多有關數據應用，資料分析能力將成為基本門檻。本篇整理站 …
資料科學初學者建模易犯的錯誤盤點
並非每次我們接觸到的資料，針對每一個預測標的，都有獨立、整理好的特徵值；尤其是在面對時間序列資料時，我們也希望捕捉預測標 …
【技術分享】tensorflow-gpu 安裝紀錄 (Windows Server 2016)
系統環境確認 Windows Server 2016 GeForce GTX 1070 Ti Python 3.7 Vi …
【資源整理】資料分析學習路徑整理
職稱滿天飛，資料分析師、數據分析師、資料科學家、數據工程師、AI工程師、機器學習工程師…，我認為有一個光譜可由淺入深分類 …
【自然語言處理】認識文本分析｜給我一段話，我告訴你重點在哪：對文本重點字詞加權的TF-IDF方法
適逢上週五2019數位奇點獎，敝公司獲得【最佳數據科技創新獎】銅獎；當中的案件我們使用到tfidf產生的文本向量做KMe …