實戰技術白皮書 • Architecture Postmortem

新聞雷達是怎麼煉成的?
0 成本打造 24/7 台灣新聞即時庫與 35,000+ 篇靜態封裝全紀錄

市面上絕大多數爬蟲專案不是仰賴昂貴的商業新聞 API,就是得租一台每個月繳費的 VPS 跑常駐程式。這篇文章完整公開我們如何「不花一毛錢、免綁信用卡、無中港澳節點」,透過人類架構師的關鍵決策與 AI 結對程式設計,打造出一個每日吞吐 700+ 篇新聞、穩定運行數月不間斷的邊緣超韌性架構。

35,200+
全庫累積採集新聞
99.5%
千字全文深度抽取率
< 450
全站靜態檔案總數 (解鎖上限)
$0.00
伺服器與資料庫月度帳單
01

嚴苛的約束條件與人類架構師的關鍵決策

這套系統能跑得穩、活得久,最重要的靈魂並非 AI 產生的程式碼,而是人類架構師在起步與遭遇瓶頸時給出的精準決策與系統約束。許多 AI 助手在面對大量資料時,往往傾向使用「1 篇新聞存成 1 個 Markdown 檔案」或「直接塞滿資料庫」這類看似直覺但後患無窮的方案。

🧑‍💻 人類架構師關鍵決策 #1

破除「單篇 Markdown」盲點:提出 Daily JSON 封裝法

致命陷阱:Cloudflare Pages 免費版有「全站檔案數不得超過 20,000 個」的物理鐵律。系統每天抓取約 700 篇新聞,若一篇一個檔案,不到 1 個月網站就會累積突破 2 萬檔而直接爆炸無法發布!

決策突破:架構師及時煞車並定調——「嚴禁每篇新聞單獨存檔!改以天為單位聚合(data/daily/YYYY/MM/YYYY-MM-DD.json)」。即使收錄了超過 35,000 篇新聞,全站檔案數依然穩穩維持在 450 個以內,僅用掉限額的 2.2%,徹底破解了 Pages 的儲存死穴。

🧑‍💻 人類架構師關鍵決策 #2

堅持「0 負擔歸零原則」:D1 熱存暫存區清空機制

架構智慧:Cloudflare D1 雖然讀取免費額度高達 500 萬次,但儲存上限僅有 5GB。若將數萬篇長篇全文永久堆積在 D1,不僅會過早撞到容量天花板,還會導致全表掃描查詢變慢。

決策突破:將 D1 表 3(news_contents)嚴格定義為「熱暫存區(Hot Buffer)」。一旦本機 Stage 2 管線將內文固化為靜態 Daily JSON 後,立即對 D1 執行批量清空,讓熱存區始終維持在 0 行!既保證了最新文章在毫秒內被前端讀取,又實現了 D1 永久 0 負擔。

🧑‍💻 人類架構師關鍵決策 #3

純 Web Native 技術棧:嚴禁重型編譯框架

許多現代專案動輒導入 React/Vue/Tailwind/Next.js,導致 CI/CD 構建動輒耗費數分鐘,甚至產生龐大的 node_modules 與 bundle 開銷。架構師嚴格立下規矩:全站採用純 HTML5 + CSS3 + 原生 JavaScript (ES6+)。
結果證明:Git Push 觸發 Cloudflare Pages 部署平均只需 10~15 秒,無任何打包失敗風險,前端載入速度全綠燈滿分。

02

三表分片與雙循環管線架構

整個新聞雷達由「雲端 24/7 邊緣探針」與「本機 Linux 固化守護行程」兩大循環無縫串聯:

☁️ 第一階段:雲端 24/7 邊緣採集與抽取
  • freebie-news-cron:每分鐘並行巡邏台灣 8 大主流媒體 RSS。
  • 原子雜湊認領 (Claim-First):以網址雜湊寫入 news_seen_urls,在毫秒內杜絕跨頻道重複抓取。
  • freebie-news-extractor:每分鐘智慧認領 Pending 文章,深度清洗 HTML、提煉記者與內文,寫入 D1 表 3 熱存區。
🖥️ 第二階段:本機 Systemd 每日固化與發布
  • Systemd User Timer:本機 Linux 伺服器每小時自動喚醒一次。
  • 封裝 Daily JSON:將 D1 熱存文章精準追加進 data/daily/YYYY/MM/YYYY-MM-DD.json。
  • D1 清空歸零:刪除表 3 已固化資料,維持 D1 零儲存壓力。
  • 自動部署:Git Commit & Push 推送至 main 分支,觸發 Pages 秒級全球更新。

📋 D1 邊緣資料庫的三表極簡設計

資料表名稱 職責定位 資料特性與容量策略
rss_hourly_feeds 小時分片進料庫 按 YYYY-MM-DD-HH 存放每小時原始進料與 Pending 計數器。
news_hourly_index 小時分片前端索引 存放標題、來源、分類、發布時間。狀態由 pending ➔ d1 ➔ md 動態流轉。
news_contents D1 熱暫存庫 (Hot Buffer) 僅放剛抽取完成、尚未固化的內文。Stage 2 固化完成後立即清空,長期維持 0 行!
news_seen_urls 全庫唯一雜湊去重表 以 SHA-256 URL Hash 為 Primary Key,原子性杜絕任何搶文與重複收錄。
03

實戰踩坑記:那些教科書沒寫的深水區難題

⚡ 效能翻倍實戰 #1

從 66 秒到 2 秒:破解 Cloudflare 50 Subrequests 限制

遭遇瓶頸:早期版本在抓取 RSS 時,針對每次巡邏掃到的約 300 篇新連結,直接在 for 迴圈中逐筆執行 await env.DB.prepare().run()。結果不僅單次巡邏耗時高達 66 秒,更嚴重的是直接撞爛了 Cloudflare Workers Scheduled Event 「單次執行最多 50 個 Subrequest」 的上限,導致排程無預警被 Cloudflare 雲端直接中斷!

架構重構:改採 env.DB.batch(stmts) 進行 50 條分塊批次執行。原本 300 多次單獨網路往返瞬間收斂成 6 次批次交易:

// 採用 env.DB.batch 分塊批次執行 (每批 50 條),徹底根絕單條 await 耗盡限額 const BATCH_SIZE = 50; for (let i = 0; i < candidateClaims.length; i += BATCH_SIZE) { const chunk = candidateClaims.slice(i, i + BATCH_SIZE); const stmts = chunk.map(c => env.DB.prepare(`INSERT OR IGNORE INTO news_seen_urls (url_hash, url, hour_key, created_at) VALUES (?, ?, ?, CURRENT_TIMESTAMP);`) .bind(c.item.url_hash, c.item.url, c.hourKey) ); const batchRes = await env.DB.batch(stmts); // 僅計為 1 次 Subrequest! }

🚀 結果:巡邏總耗時從 66.8 秒暴跌至 2.09 秒(效能提升 32 倍),Subrequest 完美控制在限額之內!

🛡️ CAS 樂觀鎖與版本號機制:根絕分片並發覆蓋

在多個 Worker 實例並行執行時,若兩個進程同時讀取了同一個小時分片(如 2026-09-27-11),先寫入的結果可能會被後寫入的覆蓋(Check-then-insert race)。
我們在 rss_hourly_feeds 與 news_hourly_index 中引入了 version 欄位,利用 SQL 的 CAS(Compare-And-Swap)條件更新:

UPDATE rss_hourly_feeds SET feeds_json = ?, version = version + 1 WHERE hour_key = ? AND version = ?; -- 僅在 version 未被其他人變動時生效

若更新失敗(changes === 0),Worker 會自動重新讀取最新分片並重試,徹底保證了分片資料的 100% 最終一致性。

🔄 冷熱雙層降級回退:0 讀取費用的毫秒級查詢

使用者在前端閱讀新聞時,API 端點(/api/news)設計了優雅的雙層降級機制:

  • 熱層(1 小時內最新新聞):若狀態為 d1,直接從 D1 表 3 讀取內文(極速毫秒級響應)。
  • 冷層(已固化歷史新聞):若狀態為 md,API 會直接返回 Daily JSON 路徑指引,前端直接向 Cloudflare Pages 全球 CDN 發起靜態資源請求。

💡 這意味著高達 99% 的歷史新聞閱讀量完全不消耗任何 D1 資料庫讀取次數,全由 Pages CDN 靜態快取硬扛,實現真正的無限量免費支撐!

04

人機結對開發的體悟與總結

回顧這套系統的打造歷程,這是一個絕佳的「人類領域洞察與架構決策 ✕ AI 快速實作與優化迭代」的結對範例:

  1. 人類負責把關全局邊界:設下 0 成本、免綁卡、20,000 檔案上限防禦、Daily JSON 封裝邏輯與 D1 歸零策略。這些戰略性的關鍵決策,若沒有人類經驗的引導,AI 極容易在局部代碼中走向死胡同。
  2. AI 負責高速實作與防禦調優:從正則清洗各大媒體髒資料、Wrangler D1 Batch 轉換、Systemd 指數退避重試到 Web native 介面構建,AI 以驚人的執行力迅速將架構藍圖變為可靠程式碼。
  3. 系統自我演進與永續運轉:如今系統已自主運轉數月,歷經無數次網路斷線、媒體改版與邊緣重啟,每次都能依循自愈規則迅速恢復常態。

「萬事起頭難,AI 來幫忙。」——只要目標明確、架構決策精準,即使完全不花一分錢,每個人都能在邊緣運算時代搭建出企業級的強韌服務。