Technical

台灣資料工程師職場觀察 (2024)——資料領域的改變與困境

2024-06-06 · 1 min read · Data Engineering Career Data

在過去一年的觀察下來發現有許許多多的公司或集團，當跨過數位化的門檻且資料量成長到一定程度以後，建立一個 Data Team 就變成許多公司會認真考慮的選項了，但在此時也遇到了許多的困境。

論文選讀 — Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding

2021-04-19 · 2 min read · Machine Learning Data Engineering Data Paper

一般的異常偵測 (Anomaly Detection) 系統中，最基礎的就是用靜態閾值 (Static Threshold) 來作為判斷異常的基準，如記憶體使用率超過 85%、硬碟使用量超過 90% 等，但時常需要有經驗的人提供一個「看起來合理的範圍」。本篇是由 NASA 噴射推進實驗室所發表的 paper，示範了他們使用的動態閾值的方法 (Dynamic Threshold)。如果用在產品中的話，應該可以在說明中加上一行告示「本系統包含 NASA 噴射推進實驗室之技術」

簡單易懂的現代推薦系統 Recommender Systems

2020-06-29 · 1 min read · Machine Learning Data

在這個資訊超載的年代，使用者有限的注意力也成為各種串流平台、網路廣告、電商等數位服務的兵家必爭之地。這篇文章將會概略的談論推薦系統常見的幾種方式。本篇內容節錄自我在 DataCon.TW 2019 的分享《推薦系統：從 Data Pipeline 到 Machine Learning》

這張發票透露了你的什麼訊息？

2020-05-03 · 1 min read · Privacy Data

前陣子跟同事聊到一個話題，目前 App Store 上面有許多發票對獎 App。但是實體發票掃進去以後，如果中獎了還要想辦法找到那張發票，感覺非常不實用。那麼用了以後有什麼差別嗎？

論文選讀 — Real-Time Personalization using Embeddings for Search Ranking at Airbnb

2018-09-03 · 3 min read · Programming Machine Learning Paper Data

這是我第一次嘗試的系列，因為我工作上也是做推薦系統相關，讀到這篇覺得有很多地方的想法很有趣與實用，因此嘗試寫一篇來介紹。這篇是 Airbnb 八月底在 KDD 2018 發表熱騰騰的 paper，他們試圖建立使用者與房間的 embedding，以此作為搜尋排序的基準。

台灣資料工程師職場觀察與回顧 (2021)

2021-02-27 · 1 min read · Data Engineering Career Data

幾年來也寫了一些文章，但好像從來沒有好好自我介紹過，因此想要寫一篇文章作為對自己目前經歷的總結，以及分享我對這領域職場的看法。

拋棄混亂無章的工作排程－使用 Airflow 管理

2020-06-24 · 3 min read · Programming Data Engineering Data

你是否有許多工作依靠 crontab 來管理，結果除了四散各處難以管理外，許多有相依性的功能又沒辦法保證順序？明明前一個工作失敗了，後一個依舊開始執行，結果使修復工作更加複雜？這個時候 Apache Airflow 也許就是你的好選擇。

篩選資料用的 SQL Join : Left Semi, Left Anti

2019-12-02 · 1 min read · Programming SQL

不管是查詢資料庫或是處理資料的 Dataframe 等，相信大家對於使用 SQL 語法 Join 不同資料表的情境都不會太陌生，而最常見的就是使用 Inner Join 與 Outer Join。但之前也有遇到「不需要拿另一張表的資料，但要用它來過濾特定資料」的情況，這時候就可以考慮使用 Left Semi/Anti Join。