每日抓取管道:GitHub 热门 + AI 资讯

用 Node 脚本配合 GitHub Actions,每天北京时间 6 点抓取 GitHub Trending 与 AI 新闻,清洗后生成站内 JSON 快照。

维护中立项 2026-09-02Node.jsGitHub Actions数据抓取自动化

想解决什么问题

每天刷 GitHub Trending 和几个 AI 资讯站挺费时间,信息还散在不同页面里。于是写了一条管道:定时把数据抓下来、去重、压成一句中文摘要,最后以 JSON 快照的形式提交进仓库——站点构建时直接读文件,完全不依赖运行时接口。

执行流程

  1. 抓取:请求 GitHub Trending 列表页与若干 AI 资讯源的 RSS
  2. 清洗:剔除重复仓库,按当日新增 star 排序,过滤广告与低质量条目
  3. 摘要:把英文标题和简介压缩成一句中文,控制在前 60 字内
  4. 落盘:写入 src/data/ 下以日期命名的 JSON,由机器人自动提交

定时任务

on:
  schedule:
    # 北京时间 6:00 == UTC 22:00
    - cron: '0 22 * * *'
  workflow_dispatch:

踩过的坑

后续计划