嚴苛的約束條件與人類架構師的關鍵決策
這套系統能跑得穩、活得久,最重要的靈魂並非 AI 產生的程式碼,而是人類架構師在起步與遭遇瓶頸時給出的精準決策與系統約束。許多 AI 助手在面對大量資料時,往往傾向使用「1 篇新聞存成 1 個 Markdown 檔案」或「直接塞滿資料庫」這類看似直覺但後患無窮的方案。
破除「單篇 Markdown」盲點:提出 Daily JSON 封裝法
致命陷阱:Cloudflare Pages 免費版有「全站檔案數不得超過 20,000 個」的物理鐵律。系統每天抓取約 700 篇新聞,若一篇一個檔案,不到 1 個月網站就會累積突破 2 萬檔而直接爆炸無法發布!
決策突破:架構師及時煞車並定調——「嚴禁每篇新聞單獨存檔!改以天為單位聚合(data/daily/YYYY/MM/YYYY-MM-DD.json)」。即使收錄了超過 35,000 篇新聞,全站檔案數依然穩穩維持在 450 個以內,僅用掉限額的 2.2%,徹底破解了 Pages 的儲存死穴。
堅持「0 負擔歸零原則」:D1 熱存暫存區清空機制
架構智慧:Cloudflare D1 雖然讀取免費額度高達 500 萬次,但儲存上限僅有 5GB。若將數萬篇長篇全文永久堆積在 D1,不僅會過早撞到容量天花板,還會導致全表掃描查詢變慢。
決策突破:將 D1 表 3(news_contents)嚴格定義為「熱暫存區(Hot Buffer)」。一旦本機 Stage 2 管線將內文固化為靜態 Daily JSON 後,立即對 D1 執行批量清空,讓熱存區始終維持在 0 行!既保證了最新文章在毫秒內被前端讀取,又實現了 D1 永久 0 負擔。
純 Web Native 技術棧:嚴禁重型編譯框架
許多現代專案動輒導入 React/Vue/Tailwind/Next.js,導致 CI/CD 構建動輒耗費數分鐘,甚至產生龐大的 node_modules 與 bundle 開銷。架構師嚴格立下規矩:全站採用純 HTML5 + CSS3 + 原生 JavaScript (ES6+)。
結果證明:Git Push 觸發 Cloudflare Pages 部署平均只需 10~15 秒,無任何打包失敗風險,前端載入速度全綠燈滿分。
三表分片與雙循環管線架構
整個新聞雷達由「雲端 24/7 邊緣探針」與「本機 Linux 固化守護行程」兩大循環無縫串聯:
- freebie-news-cron:每分鐘並行巡邏台灣 8 大主流媒體 RSS。
- 原子雜湊認領 (Claim-First):以網址雜湊寫入
news_seen_urls,在毫秒內杜絕跨頻道重複抓取。 - freebie-news-extractor:每分鐘智慧認領 Pending 文章,深度清洗 HTML、提煉記者與內文,寫入 D1 表 3 熱存區。
- Systemd User Timer:本機 Linux 伺服器每小時自動喚醒一次。
- 封裝 Daily JSON:將 D1 熱存文章精準追加進
data/daily/YYYY/MM/YYYY-MM-DD.json。 - D1 清空歸零:刪除表 3 已固化資料,維持 D1 零儲存壓力。
- 自動部署:Git Commit & Push 推送至
main分支,觸發 Pages 秒級全球更新。
📋 D1 邊緣資料庫的三表極簡設計
| 資料表名稱 | 職責定位 | 資料特性與容量策略 |
|---|---|---|
rss_hourly_feeds |
小時分片進料庫 | 按 YYYY-MM-DD-HH 存放每小時原始進料與 Pending 計數器。 |
news_hourly_index |
小時分片前端索引 | 存放標題、來源、分類、發布時間。狀態由 pending ➔ d1 ➔ md 動態流轉。 |
news_contents |
D1 熱暫存庫 (Hot Buffer) | 僅放剛抽取完成、尚未固化的內文。Stage 2 固化完成後立即清空,長期維持 0 行! |
news_seen_urls |
全庫唯一雜湊去重表 | 以 SHA-256 URL Hash 為 Primary Key,原子性杜絕任何搶文與重複收錄。 |
實戰踩坑記:那些教科書沒寫的深水區難題
從 66 秒到 2 秒:破解 Cloudflare 50 Subrequests 限制
遭遇瓶頸:早期版本在抓取 RSS 時,針對每次巡邏掃到的約 300 篇新連結,直接在 for 迴圈中逐筆執行 await env.DB.prepare().run()。結果不僅單次巡邏耗時高達 66 秒,更嚴重的是直接撞爛了 Cloudflare Workers Scheduled Event 「單次執行最多 50 個 Subrequest」 的上限,導致排程無預警被 Cloudflare 雲端直接中斷!
架構重構:改採 env.DB.batch(stmts) 進行 50 條分塊批次執行。原本 300 多次單獨網路往返瞬間收斂成 6 次批次交易:
🚀 結果:巡邏總耗時從 66.8 秒暴跌至 2.09 秒(效能提升 32 倍),Subrequest 完美控制在限額之內!
🛡️ CAS 樂觀鎖與版本號機制:根絕分片並發覆蓋
在多個 Worker 實例並行執行時,若兩個進程同時讀取了同一個小時分片(如 2026-09-27-11),先寫入的結果可能會被後寫入的覆蓋(Check-then-insert race)。
我們在 rss_hourly_feeds 與 news_hourly_index 中引入了 version 欄位,利用 SQL 的 CAS(Compare-And-Swap)條件更新:
若更新失敗(changes === 0),Worker 會自動重新讀取最新分片並重試,徹底保證了分片資料的 100% 最終一致性。
🔄 冷熱雙層降級回退:0 讀取費用的毫秒級查詢
使用者在前端閱讀新聞時,API 端點(/api/news)設計了優雅的雙層降級機制:
- 熱層(1 小時內最新新聞):若狀態為
d1,直接從 D1 表 3 讀取內文(極速毫秒級響應)。 - 冷層(已固化歷史新聞):若狀態為
md,API 會直接返回 Daily JSON 路徑指引,前端直接向 Cloudflare Pages 全球 CDN 發起靜態資源請求。
💡 這意味著高達 99% 的歷史新聞閱讀量完全不消耗任何 D1 資料庫讀取次數,全由 Pages CDN 靜態快取硬扛,實現真正的無限量免費支撐!
人機結對開發的體悟與總結
回顧這套系統的打造歷程,這是一個絕佳的「人類領域洞察與架構決策 ✕ AI 快速實作與優化迭代」的結對範例:
- 人類負責把關全局邊界:設下 0 成本、免綁卡、20,000 檔案上限防禦、Daily JSON 封裝邏輯與 D1 歸零策略。這些戰略性的關鍵決策,若沒有人類經驗的引導,AI 極容易在局部代碼中走向死胡同。
- AI 負責高速實作與防禦調優:從正則清洗各大媒體髒資料、Wrangler D1 Batch 轉換、Systemd 指數退避重試到 Web native 介面構建,AI 以驚人的執行力迅速將架構藍圖變為可靠程式碼。
- 系統自我演進與永續運轉:如今系統已自主運轉數月,歷經無數次網路斷線、媒體改版與邊緣重啟,每次都能依循自愈規則迅速恢復常態。
「萬事起頭難,AI 來幫忙。」——只要目標明確、架構決策精準,即使完全不花一分錢,每個人都能在邊緣運算時代搭建出企業級的強韌服務。