大家好,很高兴又见面了,我是"高级前端进阶",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发。
1. 什么是 Lightpanda
以前,开发者抓取网页只需要简单发出 HTTP 请求,类似于 cURL。而随着 JavaScript 的发展,这一切都变得非常棘手,例如:
- 大量的 Ajax、单页应用、无限加载、“点击显示”、即时搜索等
- 大量的 JS Web 框架:React、Vue、Angular 等
那么又为何不使用真正的 Web 浏览器呢? 这是因为浏览器是一个庞大的桌面应用,如果在服务器上大规模使用,则需要数百或数千个 Chrome 实例,且存在明显的缺陷:
- 占用大量 RAM 和 CPU,运行成本高昂
- 难以大规模打包、部署和维护
- 许多功能可能根本用不上
而 Lightpanda 是一款专为无头使用而设计的开源浏览器,核心功能包括:
- Javascript 执行
- 支持 Web API,且部分正在开发中
- 通过 CDP 与 Playwright、Puppeteer 兼容,且部分正在开发中
CDP 是 "Chrome DevTools Protocol" 的缩写,其是一种允许客户端(如浏览器扩展或外部程序)与 Chrome 或 Chromium 浏览器进行通信的协议。通过该协议,客户端能够检查和调试网页,以及控制浏览器的行为,其提供了丰富的接口用于网络请求监控、DOM 操作、JavaScript 执行等功能。
Lightpanda 可用于 AI 代理、LLM 、抓取和测试的快速 Web 自动化,典型特征包括:
- 超低内存占用,例如:比 Chrome 少 9 倍
- 执行速度极快,例如:比 Chrome 快 11 倍
- 即时启动
最后值得一提的是 Lightpanda 不是 Chromium 的另一个迭代,而是采用完全重写的策略:
- 不基于 Chromium、Blink 或 WebKit
- 考虑优化的底层系统编程语言 Zig,基于 Zig 0.14.0 编写,同时还依赖于 zig-js-runtime (带有 v8)、Netsurf libs 和 Mimalloc
- 没有图形渲染
目前 Lightpanda 在 Github 通过 AGPL-3.0 协议开源,有超过 7.8k 的 star,是一个强大的 AI 相关的前端开源项目,值得长期关注。
2. 如何使用 Lightpanda
安装
开发者可以从 Linux x86_64 和 MacOS aarch64 的 nightly 版本下载最后一个二进制文件,例如 Linux 可以执行下面命令:
curl -L -o lightpanda https://github.com/lightpanda-io/browser/releases/download/nightly/lightpanda-x86_64-linux && \
chmod a+x ./lightpanda
如果是 Mac 则可以执行下面命令:
curl -L -o lightpanda https://github.com/lightpanda-io/browser/releases/download/nightly/lightpanda-aarch64-macos && \
chmod a+x ./lightpanda
接着使用下面的方式打开 URL:
./lightpanda fetch --dump https://lightpanda.io
启动 CDP 服务器
./lightpanda serve --host 127.0.0.1 --port 9222
一旦 CDP 服务器启动,开发者可以通过配置 browserWSEndpoint 来运行 Puppeteer 脚本:
import puppeteer from "puppeteer-core";
// 使用 browserWSEndpoint 传递 Lightpanda 的 CDP 服务器地址
const browser = await puppeteer.connect({
browserWSEndpoint: "ws://127.0.0.1:9222",
});
// 用 puppeteer.connect 替换 puppeteer.launch,且其余脚本不变
const context = await browser.createBrowserContext();
const page = await context.newPage();
// 打开地址
await page.goto("https://wikipedia.com/");
// 打开页面
const links = await page.evaluate(() => {
return Array.from(document.querySelectorAll("a")).map((row) => {
return row.getAttribute("href");
});
});
// 抓取链接
console.log(links);
await page.close();
await context.close();
await browser.disconnect();
// 断开连接
最后值得一提的是,Lightpanda 目前仍处于开发中且处于测试阶段,同时依赖于指定的环境,例如:
- Debian 12、Ubuntu 22.04、Ubuntu 24.04,基于 x86-64 和 arm64 架构
- macOS 13 Ventura 或更高版本
- Windows 10+、Windows Server 2016+ 或 Windows Subsystem for Linux (WSL)
而且 Lightpanda 还支持自定义构建,例如对于基于 Debian/Ubuntu 的 Linux 可以如下操作:
sudo apt install xz-utils \
python3 ca-certificates git \
pkg-config libglib2.0-dev \
gperf libexpat1-dev \
cmake clang
Mac平台可以简单执行:
brew install cmake
参考资料
https://github.com/lightpanda-io/browser
https://lightpanda.io/
https://lightpanda.io/docs/systems-requirements
https://x.com/lightpanda_io