Skip to Content
Data Agent

Data Agent

挖掘資料價值的現代探員

  • Home
  • 自然語言處理
  • 資料科學
    • 網路爬蟲
    • 資料分析
    • 資料庫
  • 自學 Python
  • 職涯分享
  • 網站追蹤工具
  • About
  • Contact
turned on computer monitor displaying text
NLP Python PyTorch 資料科學

[PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練

turned on computer monitor displaying text
NLP 網路爬蟲 資料科學

經典 NLP 任務標籤生成:串接非官方 ChatGPT API

openai-chatgpt
NLP

NLP 界的核武:ChatGPT 實測心得和未來應用分析

turned on computer monitor displaying text
資料產品開發

Git 協作不可不知的重要指令

the chronicles of narnia book
NLP

【自然語言處理】基於語義角色標註的事件三元組抽取實作

NLP Python PyTorch 資料科學

[PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練

by JiunYi YangUpdated on 2023-01-202023-01-07
turned on computer monitor displaying text

Finetune 語言模型所需要的 GPU memory 比較多,往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + DistributedSampler 兩種進行模型分散式訓練的方式。

繼續閱讀
turned on computer monitor displaying text
NLP 網路爬蟲 資料科學

經典 NLP 任務標籤生成:串接非官方 ChatGPT API

by martech_jyUpdated on 2023-01-102022-12-19

這篇文章紀錄我串接非官方 ChatGPT API 「試圖」取得 NLP 資訊抽取任務標籤的過程。結論是…

繼續閱讀
openai-chatgpt
NLP

NLP 界的核武:ChatGPT 實測心得和未來應用分析

by martech_jyUpdated on 2022-12-102022-12-09

大家最想知道,核武級的 ChatGPT 出現後該如何應對?

未來的運作方式可能會變成像是 人類先有一個 idea ,先請 AI 做初步的資料蒐集、整理,再由人類做判斷、再使用 類似 Prompt Engineering 的方式進行微調,用這樣的方式和 AI 協作。

繼續閱讀
turned on computer monitor displaying text
資料產品開發

Git 協作不可不知的重要指令

by martech_jyUpdated on 2022-06-292022-06-27

以下整理 套件開發協作時常遇到與用到的 Git 指令: SSH Key 與 HTTPS 的差別 其中 <repo_ …

繼續閱讀
the chronicles of narnia book
NLP

【自然語言處理】基於語義角色標註的事件三元組抽取實作

by martech_jyUpdated on 2022-06-262022-06-26

本文介紹自然語言處理中的經典任務之一:語義角色標註,並分享開源專案「事件三元組抽取」如何利用語義角色標注的結果,以及復現心得、改良想法

繼續閱讀
turned on computer monitor displaying text
網路爬蟲

【Python 網路爬蟲】克服網站反爬蟲機制的 8 種做法

by martech_jyUpdated on 2022-06-032022-06-03

隨著公開資料使用的普及化,網站對自家資料的保護也越來越嚴謹。開發者如何在符合道德和不觸發網站擋爬機制的同時,合法取得所需 …

繼續閱讀
turned on computer monitor displaying text
Python

【Python】複製一份 conda 環境的各種方式

by JiunYi YangUpdated on 2022-06-272022-05-27

使用 .yml 檔案 將當前環境設置輸出為 environment.yml ,再用來創建配置一致的新環境 更新現有環境 …

繼續閱讀
data agent 資料探員
Debugging

【除錯紀錄】MAC 更新後 git 指令出現 xcrun: error

by martech_jyUpdated on 2022-05-272022-05-23

更新 Mac 到 12.3.1 後,日常使用 git 進行版控時,出現以下錯誤訊息: 解法是要安裝/升級 XCode c …

繼續閱讀
the chronicles of narnia book
NLP

【自然語言處理】Longformer 中文長文本 BERT 模型 – 新聞分類實作

by JiunYi YangUpdated on 2022-05-042022-05-03

使用 pre-trained model BERT 進行各種 NLU 下游任務 fine-tuning 時,會有輸入限制 …

繼續閱讀
green grass field near trees and building
競賽紀錄

【2021 Shopee Code League】解題紀錄|Week1:Multi-Channel Contact Problem

by JiunYi YangUpdated on 2022-06-032021-03-07

以下用中文解釋題意和解題思考過程,若有誤、更優解等建議,歡迎留言或私訊。 本週題意 基本上希望的目的是,將聯繫蝦皮客服的 …

繼續閱讀

文章導覽

Page 1 Page 2 ... Page 4 Next

訂閱電子報

部落格統計

  • 4,339 次點閱

最熱門的內容

  • 【自然語言處理】Longformer 中文長文本 BERT 模型 – 新聞分類實作 (1,376)
  • 【Python 網路爬蟲】克服網站反爬蟲機制的 8 種做法 (1,162)
  • 【Python】複製一份 conda 環境的各種方式 (1,012)
  • 【給初學者】自學三階段,教你入門資料分析 4 大環節 (995)
  • 【2021 Shopee Code League】解題紀錄|Week1:Multi-Channel Contact Problem (781)

Recent Posts

  • [PyTorch] 使用 torch.distributed 在單機多 GPU 上進行分散式訓練
  • 經典 NLP 任務標籤生成:串接非官方 ChatGPT API
  • NLP 界的核武:ChatGPT 實測心得和未來應用分析
  • Git 協作不可不知的重要指令
  • 【自然語言處理】基於語義角色標註的事件三元組抽取實作

Archives

  • 2023 年 1 月
  • 2022 年 12 月
  • 2022 年 6 月
  • 2022 年 5 月
  • 2021 年 3 月
  • 2021 年 2 月
  • 2020 年 9 月
  • 2020 年 8 月
  • 2020 年 6 月
  • 2020 年 5 月
  • 2020 年 2 月
  • 2019 年 12 月

訂閱電子報

標籤

A/B Testing Beginner Brand Marketing chatGPT Data Analytics Database Data Engineer Data Science Dentsu Doc2Vec git Google Analytics Google Tag Manager GPU growth iBuzz Internship Isobar Marketing MySQL NCCU NLP openai Python Pytorch selenium Text Mining TF-IDF Word2Vec 增長黑客 學習資源 實習經驗 數據 文本探勘 書摘 潛在客戶 精準行銷 統計 網站分析 網站追蹤 線上課程 行銷預算 資料分析 電通安吉斯 顯著性檢測
© Copyright 2023 Data Agent. All Rights Reserved. Elegant Fashion | Developed By Rara Themes. Powered by WordPress.