資料工程師的日常

台灣資料工程師職場觀察 (2024)——資料領域的改變與困境

2024-06-06 · 1 min read · Data Engineering Career Data

在過去一年的觀察下來發現有許許多多的公司或集團，當跨過數位化的門檻且資料量成長到一定程度以後，建立一個 Data Team 就變成許多公司會認真考慮的選項了，但在此時也遇到了許多的困境。

論文選讀 — Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding

2021-04-19 · 2 min read · Machine Learning Data Engineering Data Paper

一般的異常偵測 (Anomaly Detection) 系統中，最基礎的就是用靜態閾值 (Static Threshold) 來作為判斷異常的基準，如記憶體使用率超過 85%、硬碟使用量超過 90% 等，但時常需要有經驗的人提供一個「看起來合理的範圍」。本篇是由 NASA 噴射推進實驗室所發表的 paper，示範了他們使用的動態閾值的方法 (Dynamic Threshold)。如果用在產品中的話，應該可以在說明中加上一行告示「本系統包含 NASA 噴射推進實驗室之技術」

簡單易懂的現代推薦系統 Recommender Systems

2020-06-29 · 1 min read · Machine Learning Data

在這個資訊超載的年代，使用者有限的注意力也成為各種串流平台、網路廣告、電商等數位服務的兵家必爭之地。這篇文章將會概略的談論推薦系統常見的幾種方式。本篇內容節錄自我在 DataCon.TW 2019 的分享《推薦系統：從 Data Pipeline 到 Machine Learning》

這張發票透露了你的什麼訊息？

2020-05-03 · 1 min read · Privacy Data

前陣子跟同事聊到一個話題，目前 App Store 上面有許多發票對獎 App。但是實體發票掃進去以後，如果中獎了還要想辦法找到那張發票，感覺非常不實用。那麼用了以後有什麼差別嗎？

論文選讀 — Real-Time Personalization using Embeddings for Search Ranking at Airbnb

2018-09-03 · 3 min read · Programming Machine Learning Paper Data

這是我第一次嘗試的系列，因為我工作上也是做推薦系統相關，讀到這篇覺得有很多地方的想法很有趣與實用，因此嘗試寫一篇來介紹。這篇是 Airbnb 八月底在 KDD 2018 發表熱騰騰的 paper，他們試圖建立使用者與房間的 embedding，以此作為搜尋排序的基準。

Adobe LightRoom 的替代選項

2024-02-25 · 1 min read · Hobby Photography

近年較少拍照之後，讓我對於訂閱制的收費方式感到厭煩，於是我試圖從幾個類似的軟體中找學替代方案。

我三十歲的時候（中）——生存回報

2023-05-06 · 1 min read · Year Review

如同標題所說，這篇大概只會是關於我三十歲生活的簡單生活雜記、混亂與自白。

我三十歲的時候（上）——毀滅與重生？

2022-12-04 · 1 min read · Year Review

在 2017 年中的時候，社群網站上流行過一個話題是「我三十歲的時候…」，以此來述說對當時的回顧及對比現在的種種改變，於是我當初便發了一篇「我三十歲的時候…等我五年後才能說」，而時間就默默地到了現在。技術上來說接下來一整年依舊是我的三十歲生活，但是為了避免被久等的朋友（？）們蓋布袋，姑且還是先從這五年來的故事開始說起吧。

夢境 – 執政官

2022-01-12 · 1 min read · Dream

我仔細的檢查著身上的裝備，確認著手上裝著消音管的手槍一切正常。轉頭看著身邊同樣一身黑色全副武裝的「執政官」們，我點了點頭來告訴他們我準備好了。隨著隊長舉起右手向前揮動了兩下，也代表著這次「沉默整座莊園」的行動正式開始。

我的 2021 回顧

2022-01-11 · 1 min read · Year Review

從去年的生日開始去身心科就醫，經歷了不斷起起伏伏的情緒波動、時增時減的藥物服用劑量。雖然短期內還沒有看到一絲「康復」的可能，但也漸漸的學習到了怎麼觀察自己的狀態，以及怎麼幫助自己穩定下來。