webshift 人工智能搜索 版

WebShift：高效的 HTML 去噪库

WebShift 是一个 Rust 库，旨在清理嘈杂的网页，使其适合大型语言模型 (LLM) 消费。它有效地剥离了无关的元素，如脚本、广告和导航菜单，确保只有必要的文本被处理。该库作为 MCP 服务器运行，并提供多种功能，包括 HTML 去噪、文本重写和网页内容获取。用户可以通过不同的功能标志自定义其功能，以满足特定需求。

该库提供多种用例，例如纯 HTML 到文本的管道、保持 HTML 结构的文本重写器，以及与各种搜索后端集成的网页内容客户端。WebShift 对于构建需要干净、预算控制文本的 AI 代理的开发者特别有用。它保证输出大小限制，并提供结构化的 JSON 输出，使其成为高效处理网页内容的多功能工具。