AI 时代秒杀 Chromium 的 Lightpanda 自动化无头浏览器强势来袭!

大家好,很高兴又见面了,我是"高级前端进阶",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发。

1. 什么是 Lightpanda

以前,开发者抓取网页只需要简单发出 HTTP 请求,类似于 cURL。而随着 JavaScript 的发展,这一切都变得非常棘手,例如:

  • 大量的 Ajax、单页应用、无限加载、“点击显示”、即时搜索等
  • 大量的 JS Web 框架:React、Vue、Angular 等

那么又为何不使用真正的 Web 浏览器呢? 这是因为浏览器是一个庞大的桌面应用,如果在服务器上大规模使用,则需要数百或数千个 Chrome 实例,且存在明显的缺陷:

  • 占用大量 RAM 和 CPU,运行成本高昂
  • 难以大规模打包、部署和维护
  • 许多功能可能根本用不上

而 Lightpanda 是一款专为无头使用而设计的开源浏览器,核心功能包括:

  • Javascript 执行
  • 支持 Web API,且部分正在开发中
  • 通过 CDP 与 Playwright、Puppeteer 兼容,且部分正在开发中

CDP 是 "Chrome DevTools Protocol" 的缩写,其是一种允许客户端(如浏览器扩展或外部程序)与 Chrome 或 Chromium 浏览器进行通信的协议。通过该协议,客户端能够检查和调试网页,以及控制浏览器的行为,其提供了丰富的接口用于网络请求监控、DOM 操作、JavaScript 执行等功能。

Lightpanda 可用于 AI 代理、LLM 、抓取和测试的快速 Web 自动化,典型特征包括:

  • 超低内存占用,例如:比 Chrome 少 9 倍
  • 执行速度极快,例如:比 Chrome 快 11 倍
  • 即时启动

最后值得一提的是 Lightpanda 不是 Chromium 的另一个迭代,而是采用完全重写的策略:

  • 不基于 Chromium、Blink 或 WebKit
  • 考虑优化的底层系统编程语言 Zig,基于 Zig 0.14.0 编写,同时还依赖于 zig-js-runtime (带有 v8)、Netsurf libs 和 Mimalloc
  • 没有图形渲染

目前 Lightpanda 在 Github 通过 AGPL-3.0 协议开源,有超过 7.8k 的 star,是一个强大的 AI 相关的前端开源项目,值得长期关注。

2. 如何使用 Lightpanda

安装

开发者可以从 Linux x86_64 和 MacOS aarch64 的 nightly 版本下载最后一个二进制文件,例如 Linux 可以执行下面命令:

curl -L -o lightpanda https://github.com/lightpanda-io/browser/releases/download/nightly/lightpanda-x86_64-linux && \
chmod a+x ./lightpanda

如果是 Mac 则可以执行下面命令:

curl -L -o lightpanda https://github.com/lightpanda-io/browser/releases/download/nightly/lightpanda-aarch64-macos && \
chmod a+x ./lightpanda

接着使用下面的方式打开 URL:

./lightpanda fetch --dump https://lightpanda.io

启动 CDP 服务器

./lightpanda serve --host 127.0.0.1 --port 9222

一旦 CDP 服务器启动,开发者可以通过配置 browserWSEndpoint 来运行 Puppeteer 脚本:

import puppeteer from "puppeteer-core";
// 使用 browserWSEndpoint 传递 Lightpanda 的 CDP 服务器地址
const browser = await puppeteer.connect({
  browserWSEndpoint: "ws://127.0.0.1:9222",
});
// 用 puppeteer.connect 替换 puppeteer.launch,且其余脚本不变
const context = await browser.createBrowserContext();
const page = await context.newPage();
// 打开地址
await page.goto("https://wikipedia.com/");
// 打开页面
const links = await page.evaluate(() => {
  return Array.from(document.querySelectorAll("a")).map((row) => {
    return row.getAttribute("href");
  });
});
// 抓取链接
console.log(links);
await page.close();
await context.close();
await browser.disconnect();
// 断开连接

最后值得一提的是,Lightpanda 目前仍处于开发中且处于测试阶段,同时依赖于指定的环境,例如:

  • Debian 12、Ubuntu 22.04、Ubuntu 24.04,基于 x86-64 和 arm64 架构
  • macOS 13 Ventura 或更高版本
  • Windows 10+、Windows Server 2016+ 或 Windows Subsystem for Linux (WSL)

而且 Lightpanda 还支持自定义构建,例如对于基于 Debian/Ubuntu 的 Linux 可以如下操作:

sudo apt install xz-utils \
    python3 ca-certificates git \
    pkg-config libglib2.0-dev \
    gperf libexpat1-dev \
    cmake clang

Mac平台可以简单执行:

brew install cmake

参考资料

https://github.com/lightpanda-io/browser

https://lightpanda.io/

https://lightpanda.io/docs/systems-requirements

https://x.com/lightpanda_io

原文链接:,转发请注明来源!