# rss-aggregator

**Repository Path**: scriptshop/rss-aggregator

## Basic Information

- **Project Name**: rss-aggregator
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-09-18
- **Last Updated**: 2026-09-18

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# RSS 聚合器（rss-aggregator）

多源 RSS / Atom 抓取聚合：**解析 → 去重 → 增量更新**，输出 CSV 数据 + Markdown 摘要，可挂定时任务做信息监控。

## 功能特性

- 多源抓取：`feeds.txt` 每行一个 feed 地址，自由增删
- **增量去重**：`state.json` 记录已见条目链接，重复运行只输出新增（`--full` 可全量）
- HTML 摘要清洗：去标签、还原实体、压缩空白
- 单源失败不影响其它源，自动重试
- 输出双份：CSV（结构化数据）+ Markdown（可直接发群的摘要）
- requests 控制超时，避免个别源卡死整个任务

## 技术栈

Python 3.10+ · feedparser · requests

## 安装

```bash
pip install -r requirements.txt
```

## 使用方法

```bash
python main.py                        # 抓取全部源，输出新增条目
python main.py --per-feed 10 --full   # 每源取 10 条，全量输出
python main.py --feeds my_feeds.txt   # 自定义 feed 列表
```

### feeds.txt 示例

```
https://www.ruanyifeng.com/blog/atom.xml
https://sspai.com/feed
https://www.ifanr.com/feed
```

## 输出示例（真实运行结果）

```
python main.py
```

| 来源 | 标题 | 链接 | 发布时间 | 摘要 |
|---|---|---|---|---|
| 阮一峰的网络日志 | 科技爱好者周刊（第 412 期）：禁止 issue，只用 PR | http://www.ruanyifeng.com/blog/2026/09/weekly-issue-412.html | 2026-09-11T00:11:50Z | 这里记录每周值得分享的科技内容，周五发布。 |
| 少数派 | 具透 \| macOS 27 正式版来了，这些是你值得了解新细节 | https://sspai.com/post/114643 | Thu, 17 Sep 2026 15:00:00 +0800 | 除了只支持 Apple Silicon，macOS 27 Golden Gate 还有这些变化。 |
| 爱范儿 | 【标题示例】 | 【链接示例】 | 【时间】 | 【摘要】 |

同时生成 `output/rss_digest.md` 摘要文件，可直接阅读或转发。

## 运行截图

【放 1～2 张：终端运行截图 + Markdown 摘要文件截图】

## 项目结构

```
rss-aggregator/
├── main.py          命令行入口
├── aggregator.py    抓取/清洗/去重/增量逻辑
├── feeds.txt        feed 列表（可编辑）
├── requirements.txt
├── state.json       （运行生成）增量去重状态
└── output/          （运行生成）
    ├── rss_digest.csv
    └── rss_digest.md
```

## 注意事项

- 部分网站的 feed 可能失效或拒绝访问（日志会标出失败源），换源即可
- 增量去重基于"链接"判断；换 feed 源时建议同时删掉旧 `state.json`
- 配合 cron / 任务计划程序可做每日信息汇总

## 合规声明

本工具仅采集各网站公开提供的 RSS / Atom feed，遵守各源的使用条款与访问频率。仅供学习与研究使用。

## License

MIT