EN
Principal Data Engineer · 台灣 · 開放全遠端

童曉瑜John Tung · Hsiao-Yu Tung

GCP、AWS、Azure 上都跑過 production,工作流程編排用過 Airflow;但這幾年最常做的,其實是把別人搭得太重的東西,改回一個會照排程跑的 query。工具看需求挑。本科是中文文字探勘與輿情分析,帶過 2.5 年 Data Team(期間也一直親自寫 code),後來選擇從管理回到 Principal IC 角色。

Selected Work代表作
$300 → <$1月成本 · 1/300

接手 pipeline 重寫

接手一條跑在 Composer + Apps Script 上的營收資料管線,整套換成 BigQuery External Tables + Scheduled Queries。產出一樣、更新時效一樣,月支出降到原本的 1/300。之後一直在套用的心得:多數人口中的「資料管線」其實不需要一套笨重的排程系統,需要的只是一段會照排程自己跑的 SQL 查詢。

15 jobsCloud Run · 排程化

多平台社群 ingestion

把 Facebook、Instagram、Threads、YouTube 四個平台的數據,從抓取到入庫一條龍存進 BigQuery — 15+ 個 Cloud Run Job、各自錯開時間排程,並擴充 GA4 官網/App 流量。原始資料只新增、不覆蓋,保留每次抓取的完整歷史(不只最新狀態),再用 dbt 整理成乾淨、可直接查詢的分析表,最後接成編輯與行銷每天打開的儀表板。

2 appsStreamlit · OIDC + ACL

兩座正式營運儀表板

以 Streamlit on Cloud Run 打造兩座營運儀表板——一座看集團數位營收、一座看社群媒體成效,搭配 Google 登入。自助式的權限管理(三層角色 + 操作稽核紀錄)讓主管自己增刪成員,不必重新部署、也不必找工程師;並埋點做產品與功能採用分析。

60d · 0 人工Token 自動更新

Threads OAuth 2.0 全自動化

雙帳號 OAuth 授權、涵蓋 8 種權限,再用每週自動執行的 Cloud Run Job,透過 Secret Manager 安全更新 60 天效期的存取金鑰(token)。把原本「金鑰快過期就通知值班、再請人手動重新授權」的流程,升級成完全自動、不需要任何人介入。

0 backend純前端 · 免維運

給非工程師的自助 OAuth 工具

架在 Cloudflare Pages 上的自助授權工具。社群編輯可以自己完成整個 API 授權流程,不用開單、不用找工程師。純靜態網頁、沒有後端伺服器,幾乎不用維護。

Gemini 2.5BigQuery AI.GENERATE · 已上線

LLM-augmented data pipelines

在 BigQuery 裡直接呼叫 Gemini 2.5 Flash(用內建的 AI.GENERATE 函式),不必另外架一套 AI 推論服務。做兩件事:一是把約 3.3 萬則留言與 3,200 篇貼文自動分類情緒與主題,整理成兩張可直接查詢的分析表,而且只對新資料計算(不重跑舊的、省成本);主題標籤對齊新聞台自家的版面分類,而不是全擠進籠統的「財經」(否則七成資料會落在同一類),再做一層清洗、吸收模型輸出的雜訊。二是儀表板上的「AI 建議」:只根據當期數字,自動生成輿情摘要、負評焦點、以及給編輯部的下一步,並用嚴格的「不得編造」規則把它綁在真實數據上。兩者共用一層快取,讓 AI 的呼叫成本固定在低點、不隨使用人數增加。

768d + eval嵌入 · LLM-as-judge

語意分群 + RAG 檢索地基

用 Vertex 嵌入模型(768 維、中文 multilingual)+ KMEANS 把負評分群,再讓 LLM 為每群命名主題 — 把「兩成是負面」變成「他們到底在氣什麼」。在這之上做了一層留言檢索,並用每週的 LLM-as-judge 自動評測把關:雙層品質門檻,檢索品質跌破就讓 job 失敗,避免改了程式或模型/資料漂移後悄悄變差。這是 RAG 的「嵌入 + 檢索」那半,已上線並有守門 — 編輯台語意搜尋的歷史檔則是下一層。

4 jobsGA4 Data API · 已上線

GA4 網站分析 ingestion

透過 GA4 Data API 把集團官網與 App 的流量接進平台 — 4 個 Cloud Run Job,並做出一張文章流量排行表。非工程師要開的「檢視者」權限,一樣走 Cloudflare Pages 上的自助頁,不用找工程師。

SoV + 統計競品對標 · 跨 BU

競品對標 + 跨事業單位分析

以官方公開 API 抓競品數據(YouTube + Instagram)做題材聲量(share of voice)比較。再把外部因子 — 台股加權指數與景氣燈號 — 接上營收,跑 Mann-Kendall 趨勢檢定、Sen's slope、季節分解與 lead-lag 相關。於是一個數字不再只是「漲了」,而能分辨是「順風成長」、「逆勢成長(這部分才是我們的本事)」、還是「被大環境拖累」。

3 xls → PDFReportLab · 自動排版

報紙版面 PDF 產製工具

用 Streamlit + ReportLab 解析股市行情資料檔,自動排版成可直接印的月營收一覽表報紙版面(實際印出的版型),取代原本人工排版。

25h / 49h新鮮度 warn / error

沉默失敗偵測

監控資料的新鮮度(dbt source freshness:超過 25 小時沒更新就警示、49 小時就報錯),再加上 Cloud Monitoring 自動掃描工作失敗的紀錄並發出通知。讓上游 API 壞掉、或某個工作中途掛掉,不會默默壞好幾天才被人發現。

+28 / −1Diff · merged

openclaw gateway deadlock 修復OSS · 2026-05

找出一個讓 gateway 在套件升級後永遠無法重啟的死結(deadlock,發生在 SIGUSR1 listener 與 dynamic import 之間),它悄悄壞掉了六天。用 production log 加上實機重現確認,送出一個只動幾行的精準修補(PR #84890,已合併)。

In Flight正在做
編輯台語意搜尋
用「意思」搜尋歷史文章 — 嵌入與檢索地基已上線(負評分群 + 留言 RAG 檢索),正延伸到歷史文章;評估 BigQuery Vector Search 與自架 Elasticsearch 兩條路,讓編輯不必靠關鍵字、改用語意檢索。
遷移收尾
下線舊的排程系統 — 新架構已開始產出數據,正把最後一條營收資料管線從舊的 Composer / Apps Script 完全退役。
Side Projects側專案
台灣實坪交易資料庫 — 用 dbt-duckdb 清理政府的實價登錄資料,再用同一套查詢核心同時提供 REST(FastAPI)與 MCP(FastMCP)兩種介面對外服務;含 API 金鑰與用量額度、自助申請、OAuth 會員後台、Cloudflare 邊緣防護。另外訓練了一個房價估價模型(LightGBM,誤差中位數約 12%),先做好、待有需求再開。已上線 apimcp.realping.tw。探索資料授權與 API・MCP 訂閱變現。
Stack技術
資料工程
BigQuery · dbt(raw / staging / marts)· Cloud Run Jobs + Cloud Scheduler · Airflow · PySpark / Spark · Apache Iceberg · Fluentd · 爬蟲 ETL(Scrapy / Selenium)
雲端
GCP(Cloud Run · Scheduler · Secret Manager · Monitoring · GKE · Compute Engine · Cloud Storage)· AWS(Data Pipeline · S3 · 跨雲 ETL)· Azure
AI / GenAI / LLMOps
BigQuery AI.GENERATE 呼叫 Gemini · 接地生成 · Vertex 嵌入 + KMEANS · RAG 檢索 + LLM-as-judge 評測 · 古典 ML(XGBoost / RandomForest / SVM / LightGBM)· 中文文字探勘 / NLP
分析 / 視覺化
Streamlit(Cloud Run + OIDC + ACL)· Looker Studio / Data Studio · Superset · Mann-Kendall / Sen's slope / lead-lag · SEO(Sitemap / json-ld)
DevOps / CI-CD
Docker · Cloud Build · GitHub Actions · Ansible · Kubernetes · Poetry / pytest / ruff · Scrum · Jira · GitLab
程式語言 / 資料庫
Python · SQL · BigQuery / MySQL / SQLite / MariaDB · MongoDB · Redis · Elasticsearch
Writing寫作
Open To開放合作形式
正職
全遠端正職,含 EOR。
合約 / 接案
GCP・Airflow・dbt 的資料平台與管線建置、LLM / RAG 導入。
顧問 / 副業
可並行的顧問與技術諮詢。