Dev.to Security 🔐 Cybersecurity 👁 0 📖 1 min read

如何改造scrapy-redis的TLS指纹和HTTP2指纹?

先说结论:scrapy-redis 本身不决定指纹。 它只接管调度器、去重和队列,TLS/HTTP2 指纹是 Scrapy 下载器(Twisted + pyOpenSSL + h2)发出的。所以要改的是下载层,scrapy-redis 部分基本不用动。 方案一:只调 Scrapy 原生参数(效果有限) DOWNLOADER_CLIENT_TLS_CIPHERS = "ECDHE-ECDSA-AES128-G

先说结论:scrapy-redis 本身不决定指纹。 它只接管调度器、去重和队列,TLS/HTTP2 指纹是 Scrapy 下载器(Twisted + pyOpenSSL + h2)发出的。所以要改的是下载层,scrapy-redis 部分基本不用动。

方案一:只调 Scrapy 原生参数(效果有限)

DOWNLOADER_CLIENT_TLS_CIPHERS = "ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:..."
DOWNLOADER_CLIENT_TLS_METHOD = "TLSv1.2"

这只能改 cipher 列表,JA3 会变,但扩展顺序、GREASE、ALPS、签名算法等控制不了。HTTP/2 的 SETTINGS 帧、WINDOW_UPDATE、伪头顺序也写死在 h2 库里。结果是指纹"不像 Scrapy",但也不像任何真实浏览器,对 Akamai、Cloudflare 这类检测基本无效。

方案二:把下载器换成 curl_cffi(推荐)

curl_cffi 基于 curl-impersonate,能同时模拟浏览器的 TLS 指纹(JA3/JA4)和 HTTP/2 指纹(Akamai fingerprint)。最省事的是用 scrapy-impersonate:

# settings.py
DOWNLOAD_HANDLERS = {
    "http": "scrapy_impersonate.ImpersonateDownloadHandler",
    "https": "scrapy_impersonate.ImpersonateDownloadHandler",
}
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"

# scrapy-redis 配置照旧
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

它靠 request.meta["impersonate"] 生效。RedisSpider 的请求是从 Redis 里的 URL 生成的,所以用一个下载中间件统一注入最方便:

class ImpersonateMiddleware:
    def process_request(self, request, spider):
        request.meta.setdefault("impersonate", "chrome")  # 或具体版本如 chrome124

meta 里只是字符串,序列化进 Redis 队列没有问题。

方案三:自定义 JA3 / Akamai 指纹

如果要精确指定指纹而不是用预设浏览器,可以自己写中间件直接调 curl_cffi:

from curl_cffi.requests import AsyncSession
from scrapy.http import HtmlResponse

class CurlCffiMiddleware:
    def __init__(self):
        self.session = AsyncSession()

    async def process_request(self, request, spider):
        r = await self.session.request(
            request.method, request.url,
            headers=request.headers.to_unicode_dict(),
            data=request.body or None,
            proxy=request.meta.get("proxy"),
            ja3="771,4865-4866-4867-...,0-23-65281-...,29-23-24,0",
            akamai="1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p",
        )
        headers = {k: v for k, v in r.headers.items()
                   if k.lower() not in ("content-encoding", "content-length")}
        return HtmlResponse(request.url, status=r.status_code,
                            headers=headers, body=r.content, request=request)

Akamai 字符串的四段分别是:SETTINGS 帧 | WINDOW_UPDATE 值 | PRIORITY 帧 | 伪头顺序(Chrome 是 m,a,s,p,Firefox 是 m,p,a,s)。响应体已被 curl 解压,所以要去掉 content-encoding 头,否则 Scrapy 会二次解压报错。

容易踩的坑

  • UA 与指纹要一致:模拟 Chrome 的 TLS 却带 Scrapy 默认 UA,会直接暴露。要么把 USER_AGENT 和 DEFAULT_REQUEST_HEADERS 清掉让 curl_cffi 用自带的浏览器头,要么手动设成与模拟版本匹配的整套头(含 sec-ch-ua 等)。
  • 请求头顺序:Scrapy 的 Headers 会改大小写和顺序,而头顺序也是检测项,这是优先用 curl_cffi 默认头的另一个原因。
  • 并发设置:下载器换掉后,Scrapy 的 CONCURRENT_REQUESTS 仍然生效,但连接复用由 curl 管理。
  • 版本:预设的浏览器版本名随 curl_cffi 版本变化,以你安装版本的文档为准。

验证

让爬虫请求 https://tls.peet.ws/api/all 或 https://tls.browserleaks.com/json,把返回的 ja3、ja4、akamai_hash 与真实浏览器访问的结果对比,一致才算改造成功。

如果目标站还有 JS 挑战或行为检测,光改指纹不够,需要上 scrapy-playwright 这类真实浏览器方案。

📰 Read the original article on Dev.to Security

Originally published by Dev.to Security. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.