如何改造scrapy-redis的TLS指纹和HTTP2指纹?
先说结论:scrapy-redis 本身不决定指纹。 它只接管调度器、去重和队列,TLS/HTTP2 指纹是 Scrapy 下载器(Twisted + pyOpenSSL + h2)发出的。所以要改的是下载层,scrapy-redis 部分基本不用动。 方案一:只调 Scrapy 原生参数(效果有限) DOWNLOADER_CLIENT_TLS_CIPHERS = "ECDHE-ECDSA-AES128-G
先说结论:scrapy-redis 本身不决定指纹。 它只接管调度器、去重和队列,TLS/HTTP2 指纹是 Scrapy 下载器(Twisted + pyOpenSSL + h2)发出的。所以要改的是下载层,scrapy-redis 部分基本不用动。
方案一:只调 Scrapy 原生参数(效果有限)
DOWNLOADER_CLIENT_TLS_CIPHERS = "ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:..."
DOWNLOADER_CLIENT_TLS_METHOD = "TLSv1.2"
这只能改 cipher 列表,JA3 会变,但扩展顺序、GREASE、ALPS、签名算法等控制不了。HTTP/2 的 SETTINGS 帧、WINDOW_UPDATE、伪头顺序也写死在 h2 库里。结果是指纹"不像 Scrapy",但也不像任何真实浏览器,对 Akamai、Cloudflare 这类检测基本无效。
方案二:把下载器换成 curl_cffi(推荐)
curl_cffi 基于 curl-impersonate,能同时模拟浏览器的 TLS 指纹(JA3/JA4)和 HTTP/2 指纹(Akamai fingerprint)。最省事的是用 scrapy-impersonate:
# settings.py
DOWNLOAD_HANDLERS = {
"http": "scrapy_impersonate.ImpersonateDownloadHandler",
"https": "scrapy_impersonate.ImpersonateDownloadHandler",
}
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"
# scrapy-redis 配置照旧
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
它靠 request.meta["impersonate"] 生效。RedisSpider 的请求是从 Redis 里的 URL 生成的,所以用一个下载中间件统一注入最方便:
class ImpersonateMiddleware:
def process_request(self, request, spider):
request.meta.setdefault("impersonate", "chrome") # 或具体版本如 chrome124
meta 里只是字符串,序列化进 Redis 队列没有问题。
方案三:自定义 JA3 / Akamai 指纹
如果要精确指定指纹而不是用预设浏览器,可以自己写中间件直接调 curl_cffi:
from curl_cffi.requests import AsyncSession
from scrapy.http import HtmlResponse
class CurlCffiMiddleware:
def __init__(self):
self.session = AsyncSession()
async def process_request(self, request, spider):
r = await self.session.request(
request.method, request.url,
headers=request.headers.to_unicode_dict(),
data=request.body or None,
proxy=request.meta.get("proxy"),
ja3="771,4865-4866-4867-...,0-23-65281-...,29-23-24,0",
akamai="1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p",
)
headers = {k: v for k, v in r.headers.items()
if k.lower() not in ("content-encoding", "content-length")}
return HtmlResponse(request.url, status=r.status_code,
headers=headers, body=r.content, request=request)
Akamai 字符串的四段分别是:SETTINGS 帧 | WINDOW_UPDATE 值 | PRIORITY 帧 | 伪头顺序(Chrome 是 m,a,s,p,Firefox 是 m,p,a,s)。响应体已被 curl 解压,所以要去掉 content-encoding 头,否则 Scrapy 会二次解压报错。
容易踩的坑
-
UA 与指纹要一致:模拟 Chrome 的 TLS 却带 Scrapy 默认 UA,会直接暴露。要么把
USER_AGENT和DEFAULT_REQUEST_HEADERS清掉让 curl_cffi 用自带的浏览器头,要么手动设成与模拟版本匹配的整套头(含sec-ch-ua等)。 - 请求头顺序:Scrapy 的 Headers 会改大小写和顺序,而头顺序也是检测项,这是优先用 curl_cffi 默认头的另一个原因。
-
并发设置:下载器换掉后,Scrapy 的
CONCURRENT_REQUESTS仍然生效,但连接复用由 curl 管理。 - 版本:预设的浏览器版本名随 curl_cffi 版本变化,以你安装版本的文档为准。
验证
让爬虫请求 https://tls.peet.ws/api/all 或 https://tls.browserleaks.com/json,把返回的 ja3、ja4、akamai_hash 与真实浏览器访问的结果对比,一致才算改造成功。
如果目标站还有 JS 挑战或行为检测,光改指纹不够,需要上 scrapy-playwright 这类真实浏览器方案。
Originally published by Dev.to Security. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.