📰 coleta automática · toda segunda, 00:00 UTC
O brnews-db percorre dezenas de feeds RSS (e páginas HTML) de
veículos brasileiros, normaliza tudo e grava um snapshot
JSONL novo no repositório. Nada é sobrescrito nem apagado —
o acervo só cresce.
A lista inteira vive em rss.txt:
Nome do feed|https://exemplo.com/feed. Usar
Veículo - Editoria no nome já alimenta os campos de
agrupamento. Páginas sem RSS entram com o sufixo | HTML.
O coletor tenta direct → proxy → mirror até obter conteúdo
válido — driblando bloqueios de portais a IPs de datacenter —
e extrai manchetes por RSS, JSON-LD, cards ou Markdown.
Cada execução gera data/<ano>/news-<data>.jsonl
com um relatório por feed e uma linha nova no índice. Snapshots antigos
nunca mudam: dá para auditar qualquer semana do histórico.
Cada linha do JSONL carrega o nome do feed, o veículo e a editoria — filtrar e categorizar depois é trivial:
{"feed_name":"Metrópoles - Coluna Juris","feed_slug":"metropoles-coluna-juris",
"feed_group":"Metrópoles","feed_section":"Coluna Juris","feed_kind":"rss",
"title":"...","link":"...","published":"2026-10-04T18:30:00Z","summary":"..."}# ranking de notícias por feed
jq -r '.feed_name' data/2026/news-*.jsonl | sort | uniq -c | sort -rn
O esquema completo (27 campos) e receitas com jq, Python e pandas
estão na
documentação dos dados.