这段时间做Enconvo的AI搜索和基于整站的知识库，用到了网页内容抓取服务，分享出来，供大家参考 :
1. jina: 优点：开源、免费 缺点：网络稳定性不是很好 （https://jina.ai/reader） …
月度归档： 2024 年 4 月
一个基于AI技术进行网页数据爬取的 Python 网页爬虫工具：ScrapeGraphAI
ScrapeGraphAI通过使用LLM和图逻辑来创建针对网站、文档和 XML 文件的抓取流程。 用户只需要指 …
类 Jina Reader 的 RAG 数据处理中的关键组件：“网页数据爬取” — FireCrawl 开源，目前 1.8K Star ⭐️
1. 爬取、转换、清洗网页内容，转换为 LLM 友好的 Markdown 文本 2. 支持 /scrape、/ …
类 Jina Reader 的 RAG 数据处理中的关键组件：“网页数据爬取” — FireCrawl 开源，目前 1.8K Star ⭐️ 查看全文 »
notesnook.com
数据安全的私人笔记 数据加密 + 多端同步 + 笔记分享 + 密码保护 + 富文本编辑 ✦ @reactjs …
模仿 抖音|TikTok 的移动端短视频项目，完全度90%。使用了最新的 Vue 全家桶技术栈，基于 Vue3、Vite5 、Pinia实现 https://github.com/zyronon/douyin
Gitee pages: https://zyronon.gitee.io/douyin/ Vercel: h …
想开发AI相关的小程序，或者在国内应用市场上架App的开发者，可能都遇到平台要求提供《算法备案》的坑。但是搞个大模型再去网信办备案的成本就太高了，分享一个实践过的方法，亲测有效：
👉向平台提供已备案的大模型截图➕合作协议 以通义千问为例🌟 0.硬性要求是至少产生100token的消耗（模型 …
想开发AI相关的小程序，或者在国内应用市场上架App的开发者，可能都遇到平台要求提供《算法备案》的坑。但是搞个大模型再去网信办备案的成本就太高了，分享一个实践过的方法，亲测有效： 查看全文 »
简洁精致的 uptime 状态监控页面 Statusnook，现已开源，可一键部署。
Statusnook 提供了状态摘要，允许你添加事件和维护时间表，并支持使用 Slack 或邮件来告知用户最新 …
Cohere工具包：快速构建和部署RAG应用
Cohere开源的工具包，用于开发RAG应用，可以一键部署到微软Azure上，也可以本地部署。 Github： …
AnyText(非官方实现)
安装 #0. clone project git clone https://github.com/Malet …
