Scrapy 中如何在多个解析函数间传递变量值

在 scrapy 爬虫中，局部变量无法跨回调函数访问；若需将 parse() 中生成的日期（如 scrapedate）传递至深层解析函数（如 parse_race()），应通过 spider 实例属性（self.scrapedate）实现状态共享。

Scrapy 的请求-响应流程是异步且基于回调的：parse() 生成的 Request 对象在后续被调度执行时，会调用指定的回调函数（如 parse_date），但此时原始 parse() 的局部作用域已销毁，其中定义的变量（如 scrapedate）不可访问。因此，直接在 parse_race() 中引用 scrapedate 会导致 NameError: name 'scrapedate' is not defined。

正确做法是将该值提升为 Spider 实例的属性（即 self.scrapedate），使其在整个爬虫生命周期内可被任意回调方法读取。注意：由于 Scrapy 可能并发处理多个请求，不能简单地将 self.scrapedate 作为全局共享变量使用——必须确保每个请求链携带其对应的上下文。更健壮、推荐的方式是使用 cb_kwargs（Scrapy 1.7+ 支持），将参数显式传递给回调函数：

import scrapy
from datetime import datetime, timedelta
from dogscraper.items import DogItem

racedate = '2025-01-25'
days = 2
realdate = datetime.strptime(racedate, '%Y-%m-%d').date()
scrape_list = [(realdate - timedelta(days=x)).strftime('%Y-%m-%d') for x in range(days)]

class DogspiderSpider(scrapy.Spider):
    name = "dogspider"
    allowed_domains = ["www.thedogs.com.au"]
    start_urls = ["https://www.thedogs.com.au/racing/" + racedate]

    def parse(self, response):
        for scrapedate in scrape_list:
            next_dateurl = 'https://www.thedogs.com.au/racing/' + scrapedate
            # ✅ 推荐：使用 cb_kwargs 安全传递上下文
            yield scrapy.Request(
                url=next_dateurl,
                callback=self.parse_date,
                cb_kwargs={'scrapedate': scrapedate}
            )

    def parse_date(self, response, scrapedate):  # ← 参数自动注入
        nswmeetings = response.css('table.meeting-grid')[0].css('td.meetings-venues__name')
        for meeting in nswmeetings:
            meeting_url = meeting.css('a::attr(href)').get()
            if meeting_url:
                nextmeeting = 'https://www.thedogs.com.au' + meeting_url
                yield scrapy.Request(
                    url=nextmeeting,
                    callback=self.parse_meeting,
        
            cb_kwargs={'scrapedate': scrapedate}  # 向下透传
                )

    def parse_meeting(self, response, scrapedate):
        races = response.css('a.race-box.race-box--result')
        for race in races:
            race_url = race.css('::attr(href)').get()
            if race_url:
                nextrace = 'https://www.thedogs.com.au' + race_url
                yield scrapy.Request(
                    url=nextrace,
                    callback=self.parse_race,
                    cb_kwargs={'scrapedate': scrapedate}  # 持续透传
                )

    def parse_race(self, response, scrapedate):  # ← 最终接收
        dogs = response.css('tr.accordion__anchor.race-runner')
        for dog in dogs:
            dog_item = DogItem()
            dog_item['date'] = scrapedate  # ✅ 安全赋值
            # ... 其他字段提取逻辑
            yield dog_item

✅ 优势说明：

• cb_kwargs 是 Scrapy 原生支持的线程安全机制，避免多请求间属性覆盖风险；
• 语义清晰，显式声明依赖，便于调试与维护；
• 符合函数式回调设计原则，不依赖隐式状态。

⚠️ 注意事项：

• 若仍选择 self.scrapedate = ... 方式，请确保无并发请求冲突（例如禁用并发：custom_settings = {'CONCURRENT_REQUESTS': 1}），否则将导致数据错乱；
• 所有 cb_kwargs 传入的参数必须在对应回调函数签名中声明，否则抛出 TypeError；
• 始终校验 CSS 选择器结果（如 .get() 返回 None 时需跳过），避免 IndexError 或 AttributeError。

综上，优先使用 cb_kwargs 传递上下文变量，这是 Scrapy 官方推荐、高可靠、易扩展的最佳实践。