类 Jina Reader 的 RAG 数据处理中的关键组件:“网页数据爬取” — FireCrawl 开源,目前 1.8K Star ⭐️

1. 爬取、转换、清洗网页内容,转换为 LLM 友好的 Markdown 文本
2. 支持 /scrape、/crawl、/search 等 API,支持 SSR/SPA 网页,与 Langchain/LlamaIndex 集成