Dev.to Security 🔐 Cybersecurity 👁 0 📖 1 min read

如何改造scrapy的TLS指纹和HTTP2指纹?

改造 Scrapy 的 TLS 与 HTTP/2 指纹,核心思路是替换默认的下载器处理器(Download Handler)。因为 Scrapy 原生的 Twisted 栈生成的指纹与真实浏览器差异显著,社区主流方案是接入 curl_cffi、rnet 等底层库,由它们负责完成浏览器级别的 TLS 握手和 HTTP/2 帧构造。 🚀 主流方案:使用专用插件替换 Download Handler 这是最推荐的方式,

改造 Scrapy 的 TLS 与 HTTP/2 指纹,核心思路是替换默认的下载器处理器(Download Handler)。因为 Scrapy 原生的 Twisted 栈生成的指纹与真实浏览器差异显著,社区主流方案是接入 curl_cffi、rnet 等底层库,由它们负责完成浏览器级别的 TLS 握手和 HTTP/2 帧构造。

🚀 主流方案:使用专用插件替换 Download Handler

这是最推荐的方式,通常只需修改配置和请求元数据(meta)即可,对业务代码的侵入性最小。

方案一:scrapy-impersonate(基于 curl_cffi,成熟度高)

scrapy-impersonate 是目前最流行的选择之一,它包装了 curl_cffi,能模拟浏览器的 TLS 签名(JA3)以及 HTTP/2 指纹。

安装:

pip install scrapy-impersonate

配置 settings.py:

# 必须切换为 asyncio reactor
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"

# 替换默认的下载处理器
DOWNLOAD_HANDLERS = {
    "http": "scrapy_impersonate.ImpersonateDownloadHandler",
    "https": "scrapy_impersonate.ImpersonateDownloadHandler",
}

# 让 curl_cffi 根据模拟的浏览器自动设置 User-Agent
USER_AGENT = None

# 可选:启用随机浏览器中间件,让每个请求随机使用一种浏览器指纹
DOWNLOADER_MIDDLEWARES = {
    "scrapy_impersonate.RandomBrowserMiddleware": 1000,
}

在请求中指定指纹:
通过 meta 中的 impersonate 键,可以为单个请求指定要模拟的浏览器。如果不指定,则会使用库的默认值。

import scrapy

class MySpider(scrapy.Spider):
    name = "fingerprint_spider"

    def start_requests(self):
        for browser in ["chrome133a", "firefox133", "safari17_0"]:
            yield scrapy.Request(
                "https://tls.browserleaks.com/json",
                meta={"impersonate": browser},
                dont_filter=True,
            )

    def parse(self, response):
        data = response.json()
        self.logger.info(f"JA3: {data.get('ja3_hash')}")

支持的浏览器标识包括 chrome110、chrome133a、edge99、safari15_5、firefox133 等。

方案二:scrapy-curl-cffi(更底层的直接控制)

scrapy-curl-cffi 是另一个基于 curl_cffi 的选项,它的特点是允许通过 curl_cffi_options 传递更精细的底层参数。

安装:

pip install scrapy-curl-cffi

配置 settings.py:

DOWNLOAD_HANDLERS = {
    "http": "scrapy_curl_cffi.handlers.CurlCffiDownloadHandler",
    "https": "scrapy_curl_cffi.handlers.CurlCffiDownloadHandler",
}

DOWNLOADER_MIDDLEWARES = {
    "scrapy_curl_cffi.middlewares.CurlCffiMiddleware": 200,
    "scrapy_curl_cffi.middlewares.DefaultHeadersMiddleware": 400,
    "scrapy_curl_cffi.middlewares.UserAgentMiddleware": 500,
    # 禁用 Scrapy 原生的对应中间件
    "scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware": None,
    "scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None,
}

TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"

使用方式:将参数放在 Request.meta["curl_cffi_options"] 中。除了 impersonate,还可以直接指定 JA3 字符串、Akamai 指纹或额外的指纹选项。

yield scrapy.Request(
    "https://tls.browserleaks.com/json",
    meta={
        "curl_cffi_options": {
            "impersonate": "chrome",
            # "ja3": "771,4865-4866-4867-49195...", # 直接指定 JA3 字符串
            # "akamai": "1:65536;2:0;4:6291456;...", # 指定 Akamai HTTP/2 指纹
        }
    },
)

其他可选插件

  • scrapy-rnet:基于 rnet 库(使用 BoringSSL),同样提供浏览器级的 TLS/HTTP2 指纹模拟。配置方式与 scrapy-impersonate 类似,通过 meta={"impersonate": Impersonate.Chrome132} 指定指纹。需要注意它要求 Python 3.12+ 和 Scrapy 2.12+。
  • scrapy-fake-tls:同样是 curl_cffi 的封装,支持通过 meta["impersonate"] 进行请求级指纹轮换,并在 settings.py 中通过 CURL_CFFI_IMPERSONATE 设置默认浏览器。

🔧 原生/底层修改思路(不推荐,局限性大)

如果不引入外部库,仅修改 Scrapy/Twisted 的配置,能触及的层面非常有限:

  • JA3(有限修改):scrapy-ja3 这类包通过修改 Scrapy 打包的 DEFAULT_CIPHERS 来尝试伪造 JA3 哈希。但这只能改变密码套件列表,无法控制 TLS 扩展、椭圆曲线等关键字段,生成的指纹仍然不完整,极易被识别。
  • HTTP/2(基本不可行):Scrapy 对 HTTP/2 的支持本身就是实验性的,且存在明确限制(如固定帧大小、不支持 h2c 等)。其 HTTP/2 的 SETTINGS 帧、窗口大小、优先级树等参数几乎无法通过简单配置修改成与浏览器一致。

因此,依赖 curl_cffi 或 rnet 的插件方案是实际可行的唯一路径。

⚠️ 关键注意事项

  1. 必须切换 Twisted Reactor:所有基于 curl_cffi/rnet 的方案都依赖 asyncio,必须在 settings.py 中设置 TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor",否则无法正常工作。
  2. User-Agent 的自动管理:启用模拟后,建议将 USER_AGENT 设为 None 或空值,让底层库根据模拟的浏览器自动生成匹配的 UA,避免 UA 与 TLS 指纹不一致而暴露。
  3. HTTP/2 支持是隐式的:当你使用 scrapy-impersonate 或 scrapy-curl-cffi 并指定 impersonate: chrome 时,底层 curl_cffi 会自动使用与 Chrome 匹配的 HTTP/2 设置与服务器通信,无需额外开启 Scrapy 那个实验性的 H2DownloadHandler。你得到的 HTTP/2 指纹(如 SETTINGS 帧参数)是贴近所选浏览器的。
  4. 维护性与版本匹配:这些插件的可用浏览器版本列表会随 curl_cffi 更新。应定期更新插件,并确保代码中使用的 impersonate 标识(如 chrome133a)在库的支持列表中,避免因版本不匹配导致模拟失效。
📰 Read the original article on Dev.to Security

Originally published by Dev.to Security. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.