-
在過去一年的觀察下來發現有許許多多的公司或集團，當跨過數位化的門檻且資料量成長到一定程度以後，建立一個 Data Team 就變成許多公司會認真考慮的選項了，但在此時也遇到了許多的困境。
Read More -
一般的異常偵測 (Anomaly Detection) 系統中，最基礎的就是用靜態閾值 (Static Threshold) 來作為判斷異常的基準，如記憶體使用率超過 85%、硬碟使用量超過 90% 等，但時常需要有經驗的人提供一個「看起來合理的範圍」。本篇是由 NASA 噴射推進實驗室所發表的 paper，示範了他們使用的動態閾值的方法 (Dynamic Threshold)。 如果用在產品中的話，應該可以在說明中加上一行告示「本系統包含 NASA 噴射推進實驗室之技術」
Read More -
-
你是否有許多工作依靠 crontab 來管理，結果除了四散各處難以管理外，許多有相依性的功能又沒辦法保證順序？明明前一個工作失敗了，後一個依舊開始執行，結果使修復工作更加複雜？ 這個時候 Apache Airflow 也許就是你的好選擇。
Read More -
哈囉，大家今天過得好嗎？在 Data Pipeline 這系列的上一篇文章中已經介紹過了整個 Data Pipeline 大概長什麼樣子？會有哪些需要用到的東西？如果還不熟悉的可以先去看一下。 這篇將會專門介紹 Data Collector 這個角色。
Read More -
對於許多軟體服務來說，Log 是一種埋藏的金礦，甚至對於廣告平台來說更是直接關係到營收多寡的東西，因此如何建立穩定可靠的 Data Pipeline 就成為一件非常重要的事情，本文將介紹如何從零開始建構整個流程。
Read More -
在監控整體服務營運成效時，一直有個疑問是「單從純量的圖形來看時，我實在看不出每天有什麼不一樣」以及「當不同事件相差數十倍時，我沒辦法在同一張表看出兩者各自的變化，更無法看出彼此間是否有什麼關聯」。 想了許久以後我那連入門都算不上的統計知識突然派上用場了，使用了最簡單的平均數與標準差。
Read More