From e332d346f6ca7850c7773cb8df12b5006ed90540 Mon Sep 17 00:00:00 2001
From: liam <liam.li@qq.com>
Date: Wed, 9 Sep 2026 08:05:57 +0000
Subject: [PATCH] Add V6 stock strategy analysis and JD fapai scrape skill

- Add V6 strategy section to us-stock-trading-evaluation: fixes indicator
  dilution, SMA period hardcode, and stoploss tier issues; includes hyperopt
  results and backtest comparison
- Add jd-fapai-scrape skill: Playwright-based scraper for JD judicial auction
  properties with incremental update support

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
---
 quant/us-stock-trading-evaluation.md    |  89 ++++
 skills/jd-fapai-scrape/SKILL.md         | 123 ++++++
 skills/jd-fapai-scrape/requirements.txt |   1 +
 skills/jd-fapai-scrape/scrape.py        | 551 ++++++++++++++++++++++++
 skills/jd-fapai-scrape/url_structure.md | 179 ++++++++
 5 files changed, 943 insertions(+)
 create mode 100644 skills/jd-fapai-scrape/SKILL.md
 create mode 100644 skills/jd-fapai-scrape/requirements.txt
 create mode 100644 skills/jd-fapai-scrape/scrape.py
 create mode 100644 skills/jd-fapai-scrape/url_structure.md

diff --git a/quant/us-stock-trading-evaluation.md b/quant/us-stock-trading-evaluation.md
index 4de5fa5..fc9171c 100644
--- a/quant/us-stock-trading-evaluation.md
+++ b/quant/us-stock-trading-evaluation.md
@@ -593,6 +593,95 @@ OKX 现货 API ◄──── freqtrade 执行下单 ◄───────
 
 ---
 
+### 4.9 V6 策略：修代码硬伤 + 调止损 + Hyperopt + 回测验证
+
+V5-Stock 跑通后深度分析发现 3 个问题，V6 针对性修复并跑 hyperopt 验证。
+
+#### 4.9.1 三个问题与 V6 修复
+
+**问题 1：指标被非开盘 K 线稀释（代码硬伤）**
+
+V5-Stock 的 `populate_indicators` 在完整 24/7 dataframe 上计算 ATR/ADX/SMA/通道。OKX 代币化股票 96 根/天 K 线中仅 ~19% 在美股交易时段（9:30-16:00 ET），62% 周末 K 线近似 0 波动。ATR 被稀释 ~16%，通道高低点被平盘 K 线拉偏。
+
+V6 修复：在 `populate_indicators` 中提取交易时段子集 `mh`，仅在 `mh` 上计算全部指标，然后用 `reindex(dataframe.index, method='ffill')` forward-fill 回完整 dataframe。实测验证：ATR 从稀释值恢复 1.16x，无 NaN 结构问题。Freqtrade 的 `StrategyResultValidator` 要求返回的 dataframe 行数/末行日期/末行收盘不变，此方法保留所有原始行。
+
+**问题 2：SMA 周期 `* 96` 硬编码**
+
+V5 原版 `ma_span_long_days * 96` 假设 96 根/天全是有效 K 线（加密 24/7 语义）。代币化股票仅 26 根/天是交易时段。V6 改为 `* 26`（`MARKET_CANDLES_PER_DAY = 26`），`ma_span_long_days=2` → 52 根交易时段 K 线 = 2 个交易日，与 V5 加密版语义一致。
+
+**问题 3：止损阶梯为加密尺度**
+
+V5 的 `custom_stoploss` 利润阈值 5%/15%/30% 适合加密 10x 杠杆。股票 1x 下单笔 30% 利润极罕见。V6 下调到 3%/8%/15%（保本+0.5%/允许 5% 回撤/允许 8% 回撤）。
+
+#### 4.9.2 V6 参数搜索范围
+
+| 参数 | V5-Stock 范围 | V6 范围 | 原因 |
+|------|-------------|---------|------|
+| `up_line_span` | 100-400 | 50-150 | 交易时段 K 线，50-150 = 2-6 交易日 |
+| `buy_stop_profit_span` | 50-200 | 20-80 | 1-3 交易日 |
+| `ma_span_long_days` | 1-5 | 1-5 | ×26 后 = 26-130 |
+| `adx_threshold` | 15-40 | 15-35 | 股票 ADX 常态 15-30 |
+| `up_line_offset` | -0.2~0.4 | -0.3~0.3 | 真实 ATR 下范围居中 |
+| `buy_stop_profit_offset` | -0.2~0.2 | -0.2~0.4 | 同上 |
+| `max_slippage` | 0.005-0.03 | 0.005-0.03 | 不变 |
+
+`startup_candle_count` 600 → 800（覆盖 up_line_span=150 的 ~781 根预热，剩余 ~21 交易日用于信号生成）。
+
+#### 4.9.3 三方回测对比
+
+回测区间：2026-07-24 ~ 2026-08-23（29 天，~21 个有效交易日）。24 只标的，XSNOW/XSMH 因数据不足被跳过。
+
+| 维度 | V5-Stock（旧代码+旧参数） | V6 默认（新代码+默认参数） | V6 优化（新代码+Hyperopt 参数） |
+|------|--------------------------|---------------------------|-------------------------------|
+| 交易数 | 32 | 33 | 51 |
+| 收益率 | +4.74% | +1.56% | -1.14% |
+| 胜率 | 43.8% | 57.6% | 62.7% |
+| Sharpe（closed） | 2.35 | 1.46 | -1.59 |
+| 最大回撤 | 4.71% | 3.74% | 5.73% |
+| 被拒入场信号 | 119 | 77 | 21 |
+| 平均持仓 | 3d 9h | 2d 20h | 16h 28m |
+
+**Hyperopt 最优参数（Epoch 295/300，Objective=0.05952）**
+
+```python
+# Buy
+adx_threshold = 25, buy_stop_profit_span = 38, ma_span_long_days = 5
+max_slippage = 0.027, up_line_offset = 0.26, up_line_span = 104
+# Sell
+buy_stop_profit_offset = 0.17
+# ROI（hyperopt 新发现，V5/V5-Stock 原为 {"0": 100} 禁用）
+{"0": 0.257, "89": 0.063, "255": 0.018, "545": 0}
+# Stoploss
+-0.084
+```
+
+#### 4.9.4 分析与结论
+
+**V6 代码改进有效但未带来收益提升：**
+- V6 默认参数 vs V5-Stock：胜率从 43.8% → 57.6%，回撤从 4.71% → 3.74%，但收益从 +4.74% → +1.56%。指标修复（ATR 恢复真实水平）和止损阶梯下调改善了风险控制，但默认参数（`up_line_span=80, adx=20, up_line_offset=0.0`）较 V5-Stock 默认值（`340, 25, -0.18`）更保守，入场更少、利润更小。
+- 交易时段指标计算确实生效——被拒信号从 119 降到 77（V5-Stock 拒了更多噪声信号），说明 ATR/通道基于真实交易时段波动后，`confirm_trade_entry` 的滑点检查更精准。
+
+**Hyperopt 过拟合（核心问题）：**
+- 300 轮 hyperopt 在 29 天数据上收敛，最优 epoch 的 Objective 从 2.57 → 0.059（持续下降，收敛正常）。
+- 但最优参数回测收益 -1.14%，远不如 V6 默认 +1.56% 和 V5-Stock +4.74%。
+- 根因：Hyperopt 找到一组高胜率（62.7%）但负期望参数。ROI 止盈（39 笔 ROI 退出，82.1% 胜率，avg +0.95%）快速锁利，但被 ROI 截断的赢家平均仅赚 0.95%，而 11 笔 channel_exit 亏损平均亏 -3.06%——盈亏比倒挂。
+- `ma_span_long_days=5`（搜索范围上限）和 `up_line_offset=0.26`（偏积极）说明 hyperopt 在小样本上过拟合到了少数大波动标的（XSOXL 亏 -2.80%，XTSM 亏 -1.00%）。
+- **结论：29 天 / ~21 个有效交易日的数据量不足以支撑可靠的 hyperopt。需要至少 3-6 个月历史数据。**
+
+**配置覆盖陷阱（已修复）：**
+- 初次回测 V6 优化参数时，config 的 `minimal_roi: {"0": 100}` 覆盖了 hyperopt 找到的 ROI 表，导致只有 buy/sell 参数生效（25 trades, -0.32%）。
+- Freqtrade 参数加载顺序：策略类默认 → hyperopt JSON → config 覆盖。config 中的 `minimal_roi`/`stoploss` 会覆盖 hyperopt 结果。
+- 修复：config 中改为 hyperopt 找到的值后方才生效（51 trades, -1.14%）。
+
+#### 4.9.5 建议
+
+1. **V6 代码保留**：指标计算修复（交易时段子集 + forward-fill）、`* 26` 修复、股票止损阶梯——这些是正确的工程改进
+2. **Hyperopt 结果暂不用**：29 天数据过拟合严重，等 OKX 积累 3-6 个月历史数据后重跑
+3. **短期用 V6 默认参数或 V5-Stock 参数**：V5-Stock 参数（`up_line_span=340, adx=25, up_line_offset=-0.18`）在当前数据上收益最高，可作为 V6 的备选参数
+4. **XSOXL 是持续性亏损标的**：在 V5-Stock、V6 默认、V6 优化三个版本中均亏损，考虑从 whitelist 移除
+
+---
+
 ## 5. 综合推荐
 
 按"聚焦策略不写框架"的目标排序：
diff --git a/skills/jd-fapai-scrape/SKILL.md b/skills/jd-fapai-scrape/SKILL.md
new file mode 100644
index 0000000..afab212
--- /dev/null
+++ b/skills/jd-fapai-scrape/SKILL.md
@@ -0,0 +1,123 @@
+---
+name: jd-fapai-scrape
+description: 抓取京东法拍房搜索结果并支持增量更新。通过 Playwright 渲染京东法拍 H5 页面，拦截 API 响应，提取完整房源数据。支持项目链接、拍卖轮次、智能增量更新（遇到已知数据即停止，不全量下载）。
+---
+
+# 京东法拍房源抓取
+
+## 用途
+
+从京东司法拍卖频道搜索结果页抓取全部房源信息：
+- 房源标题与地址（完整不截断）
+- 项目链接（`https://m.jd.com/product/{skuId}.html`）
+- 起拍价 / 当前价 / 均价
+- 户型 / 面积 / 用途 / 小区名称
+- 拍卖轮次（一拍/二拍/变卖，从 API 标签或折扣率推断）
+- 拍卖状态 / 出价次数 / 围观人数
+- 拍卖开始与结束时间
+- 增量追踪字段（`_first_seen` / `_last_seen`）
+
+## 前置条件
+
+```bash
+pip install playwright
+python3 -m playwright install chromium
+# 或 apt install chromium-browser
+```
+
+## 使用方法
+
+### 首次抓取
+
+```bash
+# 默认抓取塘厦镇
+python3 skills/jd-fapai-scrape/scrape.py
+
+# 抓取东莞市全部法拍房（~4000 条，约 3 分钟）
+python3 skills/jd-fapai-scrape/scrape.py --keyword 东莞市 --output-dir ../法拍/data
+
+# 自定义参数
+python3 skills/jd-fapai-scrape/scrape.py --keyword 长安 --sort-field 11 --cate-id 15
+```
+
+### 增量更新
+
+```bash
+# 加 -i 标志，只下载新房源，遇到已知 paimaiId 即停止
+python3 skills/jd-fapai-scrape/scrape.py --keyword 东莞市 --output-dir ../法拍/data -i
+```
+
+增量模式的智能行为：
+- 读取已有 `{keyword}_法拍房源.json` 中的所有 `paimaiId`
+- 按最新发布排序加载（`spo_sortField=11`）
+- **每加载一批（~40 条）检查是否全部已知**，如果是则立即停止
+- 典型增量更新只需加载 1-2 批（~30 秒），而非全量下载 100 批（~3 分钟）
+- 新房源添加 `_first_seen` 和 `_last_seen` 时间戳
+- 已有房源更新可变字段（当前价、状态、出价次数等）并刷新 `_last_seen`
+
+## 去重机制
+
+**去重 key = `paimaiId`（拍卖ID）**
+
+- 每次拍卖有唯一的 `paimaiId`，同一房产的一拍和二拍是不同的 `paimaiId`，各自保留
+- 不会因为标题相同而合并不同拍卖轮次
+- `paimaiId` 对应唯一的详情页 URL（`https://m.jd.com/product/{skuId}.html`），等价于按 URL 去重
+
+## 命令行参数
+
+| 参数 | 默认值 | 说明 |
+|------|--------|------|
+| `--keyword` | 塘厦 | 搜索关键词 |
+| `--cate-id` | 15 | 类目 ID（15=法拍房） |
+| `--sort-field` | 11 | 排序（11=最新发布） |
+| `--max-scrolls` | 100 | 最大滚动次数 |
+| `--output-dir` | . | 输出目录 |
+| `--incremental` / `-i` | false | 增量更新模式 |
+
+## 输出文件
+
+| 文件 | 内容 |
+|------|------|
+| `{keyword}_法拍房源.csv` | CSV 表格（26 列，最新发布在前） |
+| `{keyword}_法拍房源.json` | 完整原始 JSON（含增量追踪字段） |
+| `{keyword}_增量日志.log` | 每次增量更新的新增/变更记录（仅增量模式） |
+
+### CSV 列说明
+
+| 列 | 说明 |
+|----|------|
+| 序号 / 拍卖ID / SKU ID | 唯一标识 |
+| 标题 | 完整房产标题 |
+| **项目链接** | `https://m.jd.com/product/{skuId}.html` |
+| 位置 / 用途 / 户型 / 面积(㎡) / 小区 / 均价 | 房产属性 |
+| 起拍价 / 当前价 / 折扣率 | 价格信息 |
+| **拍卖轮次** | 一拍/二拍/变卖（API 标签或折扣率推断） |
+| **标签** | 全部标签（诉讼资产、低于评估价等） |
+| 状态 / 出价次数 / 围观人数 | 拍卖状态 |
+| 开始时间 / 结束时间 | 拍卖时间 |
+| 拍卖类型 | 司法拍卖等 |
+| **首次发现** / **最后更新** | 增量追踪时间戳 |
+
+## 工作原理
+
+1. **Playwright 渲染**：headless Chromium 打开京东法拍 H5 页面
+2. **SSR 数据提取**：页面加载后从 `<script>` 标签中解析内嵌的 page 1 数据（约 40 条）
+3. **API 拦截**：监听 `api.m.jd.com` 响应，捕获三个 API：
+   - `getSearchData`（appid=paimai）→ 房源列表 page 2+（标题、价格、户型、面积等）
+   - `getPaimaiCurrentInfoByIdsForApi` → 实时拍卖状态（当前价、出价、围观）
+   - `getAuctionLabelConfigs` → 拍卖标签（一拍/二拍/变卖等）
+4. **无限滚动**：自动滚动触发加载更多
+5. **智能停止**：增量模式下，检测到一批数据全部已知即停止（SSR page 1 和 API 各批都检查）
+6. **拍卖轮次推断**：优先用 API 标签，无标签时从折扣率推断（7折≈一拍, 5.6折≈二拍/变卖）
+7. **排序**：保持 API 返回顺序（spo_sortField=11 已按发布时间降序），不重新排序
+8. **增量合并**：按 `paimaiId` 去重合并，新数据在前，旧数据在后
+
+## 注意事项
+
+- 京东法拍 API 有风控验证，必须通过浏览器渲染，无法直接调用 API
+- 页面是 JS SPA，但第一页数据通过 SSR 内嵌在 HTML `<script>` 标签中，需单独提取
+- API 只返回 page 2+，只拦截 API 会漏掉 page 1（包括最新发布的房源）
+- URL 中的位置参数（`tttparams`、`spo_lat`、`spo_lng`）影响搜索结果范围
+- API 每页约 40 条，东莞市全量约 4000 条（可能为 API 上限）
+- 拍卖标签（一拍/二拍）仅对部分数据能从 API 获取，其余从折扣率推断
+- 同一房产的多次拍卖（一拍流拍后二拍）有不同的 `paimaiId`，各自独立保留
diff --git a/skills/jd-fapai-scrape/requirements.txt b/skills/jd-fapai-scrape/requirements.txt
new file mode 100644
index 0000000..13cbe37
--- /dev/null
+++ b/skills/jd-fapai-scrape/requirements.txt
@@ -0,0 +1 @@
+playwright>=1.40
diff --git a/skills/jd-fapai-scrape/scrape.py b/skills/jd-fapai-scrape/scrape.py
new file mode 100644
index 0000000..d3ce595
--- /dev/null
+++ b/skills/jd-fapai-scrape/scrape.py
@@ -0,0 +1,551 @@
+#!/usr/bin/env python3
+"""
+京东法拍房源抓取脚本 v3
+- 项目链接 (detail_url): https://m.jd.com/product/{skuId}.html
+- 拍卖轮次 (auction_round): 优先从 getAuctionLabelConfigs API 获取，无标签时从折扣率推断
+- 去重 key = paimaiId（每次拍卖唯一，同一房产的一拍/二拍为不同 paimaiId，各自保留）
+- 增量更新：遇到已知 paimaiId 即停止滚动，不全量下载
+- 按发布时间降序排序（最新在前）
+
+用法:
+  python3 scrape.py --keyword 东莞市 --output-dir data         # 首次抓取
+  python3 scrape.py --keyword 东莞市 --output-dir data -i     # 增量更新
+"""
+
+import argparse
+import csv
+import datetime
+import json
+import os
+import sys
+import time
+from collections import Counter
+
+BASE_URL = (
+    "https://pro.m.jd.com/mall/active/3Rja7L2jmC72Ta8eoa31VFDvaAjf/index.html"
+    "?pageParamMiddle=judicature_search_middle"
+    "&pageParam=judicature_icon_search_after"
+    "&pageFrom=judicature_search_home"
+    "&tabParam=all"
+    "&fixSearchParams=false"
+    "&navh=49"
+    "&stath=33"
+    "&tttparams=W6cw9AU4eyJhZGRyZXNzSWQiOjEzODUwMzYwMCwiYXJlYUNvZGUiOjAsImNvcm5lciI6MSwiZF9icmFuZCI6IkhPTk9SIiwiZGwiOjIsImdMYXQiOiIyMi42MjM4MjkiLCJnTG5nIjoiMTE0LjAyNzk0OCIsImdwc19hcmVhIjoiMTlfMTYwN18zMTU1XzYyMTE5IiwibGF0IjoyMi41OTkwMzcsImxic0FyZWEiOiIxOV8xNjA3XzMxNTVfNjIxMTkiLCJsYnNMYXQiOiIyMi42MDA1MzciLCJsYnNMbmciOiIxMTQuMDE0Njk4IiwibG5nIjoxMTQuMDE2ODksIm1vZGVsIjoiVkVSLUFOMTAiLCJvcyI6IjE2IiwicG9zTGF0IjoiMjIuNjIzODI5IiwicG9zTG5nIjoiMTE0LjAyNzk0OCIsInByc3RhdGUiOiIwIiwic2NhbGUiOjMsInVlbXBzIjoiMC0yLTk5OSIsInVuX2FyZWEiOiIxOV8xNjA3XzQ3Mzg4XzYyMTM5Iiwid2lkdGgiOjEwNj8B9"
+    "&spo_lng=114.01689"
+    "&spo_lbsEffect=2"
+    "&spo_reqSource=1"
+    "&spo_multiThirdCateIds={cate_id}"
+    "&spo_lat=22.599037"
+    "&spo_keyword={keyword}"
+    "&spo_sortField={sort_field}"
+)
+
+STATUS_MAP = {0: "未开始", 1: "进行中", 2: "已结束", 3: "已撤回", 4: "已流拍"}
+AUCTION_TYPE_MAP = {1: "诉讼拍卖", 5: "司法拍卖", 7: "商业拍卖"}
+
+
+def find_chromium():
+    for path in [
+        "/usr/bin/chromium-browser", "/usr/bin/chromium",
+        "/usr/bin/google-chrome", "/usr/bin/google-chrome-stable",
+    ]:
+        if os.path.isfile(path):
+            return path
+    return None
+
+
+def ts_to_str(ts):
+    if ts:
+        try:
+            return datetime.datetime.fromtimestamp(ts / 1000).strftime(
+                "%Y-%m-%d %H:%M:%S"
+            )
+        except Exception:
+            return str(ts)
+    return ""
+
+
+def infer_round_from_discount(discount_rate):
+    """从折扣率推断拍卖轮次（7折≈一拍, 5.6折≈二拍/变卖, 10折≈无折扣）"""
+    if not discount_rate:
+        return ""
+    if discount_rate >= 9.5:
+        return "无折扣"
+    if discount_rate >= 6.5:
+        return "一拍(推断)"
+    if discount_rate >= 5.0:
+        return "二拍/变卖(推断)"
+    return "低折扣"
+
+
+def load_existing(json_path):
+    if not os.path.exists(json_path):
+        return [], set()
+    with open(json_path, "r", encoding="utf-8") as f:
+        data = json.load(f)
+    known_ids = {item["paimaiId"] for item in data if "paimaiId" in item}
+    return data, known_ids
+
+
+def fetch_listings(keyword, cate_id, sort_field, max_scrolls,
+                   known_paimai_ids=None, early_stop=True):
+    url = BASE_URL.format(cate_id=cate_id, keyword=keyword, sort_field=sort_field)
+    print(f"搜索 URL: {url}")
+    print(f"关键词: {keyword} | 类目ID: {cate_id} | 排序: {sort_field}")
+
+    if known_paimai_ids is not None and early_stop:
+        print(f"增量模式: 已知 {len(known_paimai_ids)} 个 paimaiId，遇到已知项即停止")
+
+    try:
+        from playwright.sync_api import sync_playwright
+    except ImportError:
+        print("错误: 未安装 Playwright，请运行: pip install playwright")
+        sys.exit(1)
+
+    chromium_path = find_chromium()
+
+    with sync_playwright() as p:
+        launch_args = ["--no-sandbox", "--disable-gpu", "--disable-dev-shm-usage"]
+        if chromium_path:
+            browser = p.chromium.launch(
+                executable_path=chromium_path, headless=True, args=launch_args
+            )
+        else:
+            try:
+                browser = p.chromium.launch(headless=True, args=launch_args)
+            except Exception:
+                print("错误: 未找到 Chromium，请运行:")
+                print("  python3 -m playwright install chromium")
+                sys.exit(1)
+
+        context = browser.new_context(
+            user_agent=(
+                "Mozilla/5.0 (Linux; Android 13; VER-AN10) "
+                "AppleWebKit/537.36 (KHTML, like Gecko) "
+                "Chrome/116.0.0.0 Mobile Safari/537.36"
+            ),
+            viewport={"width": 375, "height": 812},
+            is_mobile=True,
+        )
+        page = context.new_page()
+
+        # 用 dict 在闭包中累积数据
+        all_listings = {}
+        current_info = {}
+        label_configs = {}
+        state = {"search_call_count": 0, "stopped_early": False}
+
+        def handle_response(response):
+            resp_url = response.url
+            if "api.m.jd.com" not in resp_url or "functionId=" not in resp_url:
+                return
+
+            try:
+                body = response.text()
+                if not body or len(body) <= 50:
+                    return
+                data = json.loads(body)
+            except Exception:
+                return
+
+            if "getSearchData" in resp_url:
+                state["search_call_count"] += 1
+                result_data = data.get("data", {}).get("resultData", [])
+                for item in result_data:
+                    d = item.get("data", {})
+                    if d and "paimaiId" in d:
+                        all_listings[d["paimaiId"]] = d
+
+                # 增量模式：本批全部已知就停
+                if known_paimai_ids is not None and early_stop and result_data:
+                    new_in_batch = [
+                        item for item in result_data
+                        if item.get("data", {}).get("paimaiId") not in known_paimai_ids
+                    ]
+                    if len(new_in_batch) == 0:
+                        print(f"  第 {state['search_call_count']} 批数据全部已知，停止滚动")
+                        state["stopped_early"] = True
+
+            elif "getPaimaiCurrentInfoByIdsForApi" in resp_url:
+                if data.get("statusCode") == 200:
+                    for pid, info in data.get("data", {}).items():
+                        current_info[pid] = info
+
+            elif "getAuctionLabelConfigs" in resp_url:
+                if data.get("code") == 0:
+                    for pid, config in data.get("data", {}).items():
+                        labels = config.get("labelConfigs", [])
+                        label_configs[pid] = [
+                            l.get("labelName", "") for l in labels
+                        ]
+
+        page.on("response", handle_response)
+
+        print("正在打开页面...")
+        page.goto(url, wait_until="networkidle", timeout=60000)
+        print("页面加载完成。")
+
+        # 从 SSR 内嵌数据中提取 page 1（API 只返回 page 2+，page 1 在 HTML 里）
+        ssr_listings = page.evaluate("""() => {
+            const scripts = document.querySelectorAll('script');
+            for (const s of scripts) {
+                const text = s.textContent || '';
+                if (!text.includes('resultData') || !text.includes('paimaiId')) continue;
+                const idx = text.indexOf('"resultData"');
+                if (idx === -1) continue;
+                const arrStart = text.indexOf('[', idx);
+                if (arrStart === -1) continue;
+                let depth = 0, arrEnd = -1;
+                for (let i = arrStart; i < text.length; i++) {
+                    if (text[i] === '[') depth++;
+                    else if (text[i] === ']') { depth--; if (depth === 0) { arrEnd = i + 1; break; } }
+                }
+                if (arrEnd === -1) continue;
+                try {
+                    const arr = JSON.parse(text.substring(arrStart, arrEnd));
+                    return arr.map(item => item.data || item).filter(d => d && d.paimaiId);
+                } catch(e) { continue; }
+            }
+            return [];
+        }""")
+        if ssr_listings:
+            for d in ssr_listings:
+                if "paimaiId" in d:
+                    all_listings[d["paimaiId"]] = d
+            # 增量模式：检查 page 1 是否全部已知
+            if known_paimai_ids is not None and early_stop:
+                new_in_ssr = [d for d in ssr_listings
+                    if d.get("paimaiId") not in known_paimai_ids]
+                if len(new_in_ssr) == 0:
+                    print(f"  SSR page 1: {len(ssr_listings)} 条全部已知，停止")
+                    state["stopped_early"] = True
+            print(f"  SSR page 1: 提取 {len(ssr_listings)} 条")
+
+        time.sleep(3)
+
+        # 无限滚动
+        prev_count = 0
+        no_progress = 0
+
+        for i in range(max_scrolls):
+            if state["stopped_early"]:
+                break
+
+            page.evaluate("window.scrollTo(0, document.body.scrollHeight)")
+            time.sleep(2)
+
+            curr_count = len(all_listings)
+            if curr_count > prev_count:
+                label_count = len(label_configs)
+                print(f"  第 {i+1} 次滚动: 累计 {curr_count} 条 (标签 {label_count})")
+                prev_count = curr_count
+                no_progress = 0
+            else:
+                no_progress += 1
+
+            page_text = page.evaluate("document.body.innerText")
+            if "没有更多" in page_text or "到底了" in page_text:
+                print(f"  第 {i+1} 次滚动时到达底部")
+                break
+
+            if no_progress >= 5:
+                print(f"  连续 {no_progress} 次无新数据，停止")
+                break
+
+        if not state["stopped_early"]:
+            page.evaluate("window.scrollTo(0, document.body.scrollHeight)")
+            time.sleep(3)
+
+        # 滚动结束后等待标签 API 响应
+        time.sleep(2)
+
+        browser.close()
+
+    # 合并三个 API 的数据
+    results = []
+    for pid, listing in all_listings.items():
+        # 构造项目链接
+        sku_id = listing.get("skuId", "")
+        listing["detail_url"] = (
+            f"https://m.jd.com/product/{sku_id}.html" if sku_id else ""
+        )
+
+        # 合并实时信息
+        if str(pid) in current_info:
+            info = current_info[str(pid)]
+            listing["_currentPrice"] = info.get("currentPrice")
+            listing["_auctionStatus"] = info.get("auctionStatus")
+            listing["_bidCount"] = info.get("bidCount")
+            listing["_accessNumber"] = info.get("accessNumber")
+            listing["_startTime"] = info.get("startTime")
+            listing["_endTime"] = info.get("endTime")
+
+        # 拍卖轮次：优先用 API 标签，无标签时从折扣率推断
+        labels = label_configs.get(str(pid), [])
+        round_labels = [
+            l for l in labels if l in ("一拍", "二拍", "三拍", "变卖", "重新拍卖")
+        ]
+        if round_labels:
+            listing["auction_round"] = "、".join(round_labels)
+        else:
+            listing["auction_round"] = infer_round_from_discount(
+                listing.get("discountRate")
+            )
+        listing["all_labels"] = "、".join(labels) if labels else ""
+
+        results.append(listing)
+
+    return results, state["stopped_early"]
+
+
+def sort_by_publish_time(listings):
+    # API (spo_sortField=11) 已按发布时间降序返回，直接保持原顺序
+    return list(listings)
+
+
+def merge_incremental(new_listings, existing_path, now_str):
+    with open(existing_path, "r", encoding="utf-8") as f:
+        existing = json.load(f)
+
+    existing_map = {item["paimaiId"]: item for item in existing if "paimaiId" in item}
+    new_paimai_ids = set()
+    new_items = []
+    updated_items = []
+
+    for item in new_listings:
+        pid = item.get("paimaiId")
+        if pid is None:
+            continue
+        new_paimai_ids.add(pid)
+        if pid not in existing_map:
+            item["_first_seen"] = now_str
+            item["_last_seen"] = now_str
+            new_items.append(item)
+        else:
+            old = existing_map[pid]
+            old["_last_seen"] = now_str
+            for key in ["_currentPrice", "_auctionStatus", "_bidCount",
+                        "_accessNumber", "_startTime", "_endTime",
+                        "currentPrice", "currentPriceCN", "paimaiStatus",
+                        "displayStatus", "auction_round", "all_labels"]:
+                if key in item:
+                    old[key] = item[key]
+            updated_items.append(old)
+
+    merged = []
+    seen = set()
+    for item in new_listings:
+        pid = item.get("paimaiId")
+        if pid and pid not in seen:
+            if pid in existing_map:
+                merged.append(existing_map[pid])
+            else:
+                merged.append(item)
+            seen.add(pid)
+    for item in existing:
+        pid = item.get("paimaiId")
+        if pid and pid not in seen:
+            merged.append(item)
+            seen.add(pid)
+
+    return merged, new_items, updated_items
+
+
+def save_csv(listings, csv_path):
+    with open(csv_path, "w", newline="", encoding="utf-8-sig") as f:
+        writer = csv.writer(f)
+        writer.writerow([
+            "序号", "拍卖ID", "标题", "项目链接", "位置", "用途", "户型",
+            "面积(㎡)", "小区", "均价", "起拍价(元)", "当前价(元)",
+            "当前价(万)", "折扣率", "拍卖轮次", "标签", "状态",
+            "出价次数", "围观次数", "开始时间", "结束时间",
+            "SKU ID", "拍卖类型", "首次发现", "最后更新",
+        ])
+
+        for i, item in enumerate(listings):
+            house = item.get("houseAttributes", {})
+            writer.writerow([
+                i + 1,
+                item.get("paimaiId", ""),
+                item.get("title", ""),
+                item.get("detail_url", ""),
+                "、".join(item.get("location", [])),
+                house.get("housePurpose", ""),
+                house.get("houseTypeInfo", ""),
+                house.get("houseArea", ""),
+                house.get("plotName", ""),
+                house.get("averagePrice", ""),
+                item.get("startPrice", ""),
+                item.get("_currentPrice", item.get("currentPrice", "")),
+                item.get("currentPriceCN", ""),
+                item.get("discountRate", ""),
+                item.get("auction_round", ""),
+                item.get("all_labels", ""),
+                STATUS_MAP.get(
+                    item.get("_auctionStatus", item.get("paimaiStatus")), ""
+                ),
+                item.get("_bidCount", ""),
+                item.get("_accessNumber", ""),
+                ts_to_str(item.get("_startTime")),
+                ts_to_str(item.get("_endTime")),
+                item.get("skuId", ""),
+                AUCTION_TYPE_MAP.get(
+                    item.get("auctionType"),
+                    str(item.get("auctionType", "")),
+                ),
+                item.get("_first_seen", ""),
+                item.get("_last_seen", ""),
+            ])
+
+
+def print_stats(listings, new_items=None, updated_items=None, early_stopped=False):
+    print(f"\n{'=' * 60}")
+    print(f"房源总数: {len(listings)} 条")
+    if new_items is not None:
+        print(f"本次新增: {len(new_items)} 条")
+    if updated_items is not None:
+        print(f"本次更新: {len(updated_items)} 条")
+    if early_stopped:
+        print(f"(增量模式: 遇到已知数据即停止，未全量下载)")
+    print(f"{'=' * 60}")
+
+    prices = [
+        item.get("_currentPrice") or item.get("currentPrice", 0)
+        for item in listings
+        if item.get("_currentPrice") or item.get("currentPrice")
+    ]
+    if prices:
+        print(f"\n价格统计:")
+        print(f"  最低: ¥{min(prices):,.2f}")
+        print(f"  最高: ¥{max(prices):,.2f}")
+        print(f"  平均: ¥{sum(prices) / len(prices):,.2f}")
+        print(f"  中位: ¥{sorted(prices)[len(prices) // 2]:,.2f}")
+
+    statuses = Counter(
+        STATUS_MAP.get(
+            item.get("_auctionStatus", item.get("paimaiStatus")), "未知"
+        )
+        for item in listings
+    )
+    print(f"\n状态分布:")
+    for s, c in statuses.most_common():
+        print(f"  {s}: {c} 条")
+
+    rounds = Counter(item.get("auction_round", "") for item in listings)
+    print(f"\n拍卖轮次分布:")
+    for r, c in rounds.most_common():
+        if r:
+            print(f"  {r}: {c} 条")
+
+    if new_items:
+        print(f"\n新增房源 (前 10 条):")
+        for i, item in enumerate(new_items[:10]):
+            price = item.get("_currentPrice") or item.get("currentPrice", 0)
+            print(f"  [{i+1}] {item.get('title', 'N/A')[:50]}")
+            print(f"      ¥{price:,.0f} | {item.get('auction_round','')} | "
+                  f"{ts_to_str(item.get('_startTime'))}")
+            print(f"      {item.get('detail_url','')}")
+
+
+def scrape(keyword="塘厦", cate_id="15", sort_field="11",
+           max_scrolls=100, output_dir=".", incremental=False):
+    os.makedirs(output_dir, exist_ok=True)
+
+    now_str = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+    print(f"运行时间: {now_str}")
+    print(f"模式: {'增量更新' if incremental else '首次抓取'}")
+    print()
+
+    json_path = os.path.join(output_dir, f"{keyword}_法拍房源.json")
+    csv_path = os.path.join(output_dir, f"{keyword}_法拍房源.csv")
+
+    known_ids = None
+    if incremental:
+        existing, known_ids = load_existing(json_path)
+        if not known_ids:
+            print("未找到已有数据，转为首次抓取模式")
+            incremental = False
+        else:
+            print(f"已有数据: {len(existing)} 条, 已知 {len(known_ids)} 个 paimaiId")
+
+    new_listings, early_stopped = fetch_listings(
+        keyword, cate_id, sort_field, max_scrolls,
+        known_paimai_ids=known_ids if incremental else None,
+        early_stop=incremental,
+    )
+    print(f"\n本次抓取: {len(new_listings)} 条")
+
+    if incremental:
+        merged, new_items, updated_items = merge_incremental(
+            new_listings, json_path, now_str
+        )
+        print(f"合并后总数: {len(merged)} 条")
+        print(f"新增: {len(new_items)} 条 | 更新: {len(updated_items)} 条")
+
+        with open(json_path, "w", encoding="utf-8") as f:
+            json.dump(merged, f, indent=2, ensure_ascii=False)
+        save_csv(merged, csv_path)
+
+        log_path = os.path.join(output_dir, f"{keyword}_增量日志.log")
+        with open(log_path, "a", encoding="utf-8") as f:
+            f.write(f"\n{'=' * 60}\n")
+            f.write(f"时间: {now_str}\n")
+            f.write(f"新增: {len(new_items)} 条 | 更新: {len(updated_items)} 条\n")
+            f.write(f"提前停止: {'是' if early_stopped else '否'}\n")
+            for item in new_items:
+                price = item.get("_currentPrice") or item.get("currentPrice", 0)
+                f.write(f"  [新] {item.get('title', 'N/A')[:60]} | "
+                        f"{item.get('auction_round','')} | ¥{price:,.0f} | "
+                        f"{ts_to_str(item.get('_startTime'))}\n"
+                        f"       {item.get('detail_url','')}\n")
+            for item in updated_items:
+                price = item.get("_currentPrice") or item.get("currentPrice", 0)
+                f.write(f"  [更] {item.get('title', 'N/A')[:60]} | "
+                        f"{item.get('auction_round','')} | ¥{price:,.0f} | "
+                        f"{ts_to_str(item.get('_startTime'))}\n")
+
+        print(f"\n输出文件:")
+        print(f"  JSON: {json_path}")
+        print(f"  CSV:  {csv_path}")
+        print(f"  日志: {log_path}")
+
+        print_stats(merged, new_items, updated_items, early_stopped=early_stopped)
+        return merged
+    else:
+        sorted_listings = sort_by_publish_time(new_listings)
+        for item in sorted_listings:
+            item["_first_seen"] = now_str
+            item["_last_seen"] = now_str
+
+        with open(json_path, "w", encoding="utf-8") as f:
+            json.dump(sorted_listings, f, indent=2, ensure_ascii=False)
+        save_csv(sorted_listings, csv_path)
+
+        print(f"\n输出文件:")
+        print(f"  JSON: {json_path}")
+        print(f"  CSV:  {csv_path}")
+
+        print_stats(sorted_listings)
+        return sorted_listings
+
+
+if __name__ == "__main__":
+    parser = argparse.ArgumentParser(description="京东法拍房源抓取（支持增量更新）")
+    parser.add_argument("--keyword", default="塘厦", help="搜索关键词 (默认: 塘厦)")
+    parser.add_argument("--cate-id", default="15", help="类目ID (默认: 15=法拍房)")
+    parser.add_argument("--sort-field", default="11", help="排序 (默认: 11=最新发布)")
+    parser.add_argument("--max-scrolls", type=int, default=100, help="最大滚动次数")
+    parser.add_argument("--output-dir", default=".", help="输出目录")
+    parser.add_argument("--incremental", "-i", action="store_true",
+                        help="增量更新：只下载新房源，遇到已知项即停止")
+
+    args = parser.parse_args()
+
+    scrape(
+        keyword=args.keyword,
+        cate_id=args.cate_id,
+        sort_field=args.sort_field,
+        max_scrolls=args.max_scrolls,
+        output_dir=args.output_dir,
+        incremental=args.incremental,
+    )
diff --git a/skills/jd-fapai-scrape/url_structure.md b/skills/jd-fapai-scrape/url_structure.md
new file mode 100644
index 0000000..d8902f1
--- /dev/null
+++ b/skills/jd-fapai-scrape/url_structure.md
@@ -0,0 +1,179 @@
+# 京东法拍房搜索 URL 结构说明
+
+## 一、URL 总体结构
+
+```
+https://pro.m.jd.com/mall/active/{activityId}/index.html?{query_params}
+```
+
+| 部分 | 值 | 说明 |
+|------|-----|------|
+| 协议/域名 | `https://pro.m.jd.com` | 京东移动端 H5 活动页服务器 |
+| 路径 | `/mall/active/3Rja7L2jmC72Ta8eoa31VFDvaAjf/index.html` | 活动 ID，对应司法拍卖（法拍）频道首页 |
+
+> **最小可用 URL**：路径中的活动 ID 本身就标识了法拍频道，即使不带任何查询参数也能打开法拍首页。
+
+---
+
+## 二、查询参数详解
+
+### 2.1 页面上下文参数（控制页面渲染状态）
+
+| 参数 | 示例值 | 必填 | 说明 |
+|------|--------|------|------|
+| `pageParam` | `judicature_icon_search_after` | ✅ | 页面状态：从司法图标搜索进入结果页 |
+| `pageFrom` | `judicature_search_home` | ✅ | 来源页面：司法搜索首页 |
+| `tabParam` | `all` | ✅ | 当前 Tab："all" = 全部 |
+| `pageParamMiddle` | `judicature_search_middle` | ✅ | 中间页参数（SSR 渲染需要） |
+| `fixSearchParams` | `false` | ❌ | 是否固定搜索条件 |
+| `navh` | `49` | ❌ | 导航栏高度（px） |
+| `stath` | `33` | ❌ | 状态栏高度（px） |
+
+### 2.2 搜索条件参数（`spo_` 前缀，核心筛选字段）
+
+| 参数 | 示例值 | 必填 | 说明 |
+|------|--------|------|------|
+| `spo_keyword` | `塘厦` | ✅ | **搜索关键词**（URL 编码） |
+| `spo_sortField` | `11` | ✅ | **排序字段**：`11` = 按最新发布排序 |
+| `spo_multiThirdCateIds` | `15` | ✅ | **类目 ID**：`15` = 法拍房 |
+| `spo_lat` | `22.599037` | ✅ | 定位纬度（影响搜索结果） |
+| `spo_lng` | `114.01689` | ✅ | 定位经度（影响搜索结果） |
+| `spo_lbsEffect` | `2` | ✅ | LBS 效果模式 |
+| `spo_reqSource` | `1` | ✅ | 请求来源标识 |
+
+### 2.3 设备/位置信息（`tttparams`，base64 编码 JSON）
+
+原始值是一段 base64 编码，解码后为 JSON 对象，包含：
+
+| 字段 | 示例值 | 说明 |
+|------|--------|------|
+| `addressId` | `138503600` | 京东地址 ID |
+| `d_brand` | `HONOR` | 手机品牌 |
+| `model` | `VER-AN10` | 手机型号 |
+| `gLat` / `gLng` | `22.623829` / `114.027948` | GPS 定位 |
+| `lbsLat` / `lbsLng` | `22.600537` / `114.014698` | LBS 基站定位 |
+| `gps_area` | `19_1607_3155_62119` | GPS 区域编码（省_市_区_街道） |
+| `un_area` | `19_1607_47388_62139` | 用户区域编码 |
+| `scale` | `3` | 屏幕缩放 |
+| `os` | `16` | 系统版本 |
+
+> 区域编码 `19_1607_3155_62119` 对应：广东(19)_深圳(1607)_塘厦镇(3155)
+
+### 2.4 时间戳
+
+| 参数 | 示例值 | 说明 |
+|------|--------|------|
+| `_ts` | `1788869426803` | 毫秒级时间戳 |
+
+### 2.5 UTM 分享/推广追踪
+
+| 参数 | 示例值 | 说明 |
+|------|--------|------|
+| `utm_user` | `plusmember` | 用户身份 |
+| `utm_source` | `androidapp` | 来源平台 |
+| `utm_medium` | `appshare` | 分享媒介 |
+| `utm_campaign` | `t_335139774` | 活动 ID |
+| `utm_term` | `Wxfriends_shareid...` | 微信好友分享 ID |
+| `ad_od` | `share` | 广告类型 |
+| `gx` / `gxd` | `RnAonzoTNmGdh8lR5Q` / `...` | 京东内部追踪参数 |
+
+---
+
+## 三、完整 URL（脚本实际使用）
+
+```
+https://pro.m.jd.com/mall/active/3Rja7L2jmC72Ta8eoa31VFDvaAjf/index.html
+  ?pageParamMiddle=judicature_search_middle
+  &pageParam=judicature_icon_search_after
+  &pageFrom=judicature_search_home
+  &tabParam=all
+  &fixSearchParams=false
+  &navh=49
+  &stath=33
+  &tttparams=<base64编码的位置信息>
+  &spo_lng=114.01689
+  &spo_lbsEffect=2
+  &spo_reqSource=1
+  &spo_multiThirdCateIds=15
+  &spo_lat=22.599037
+  &spo_keyword=塘厦
+  &spo_sortField=11
+```
+
+> ⚠️ `tttparams`、`spo_lat`、`spo_lng` 等位置参数影响搜索结果范围。早期使用最小 URL 时会漏掉部分房源（如塘厦搜索漏掉 51 条）。
+
+### 可替换的变量
+
+| 变量 | 替换示例 | 说明 |
+|------|----------|------|
+| `spo_keyword` | `塘厦` → `长安` | 搜索其他镇/区域 |
+| `spo_sortField` | `11`(最新) → 其他值 | 排序方式 |
+| `spo_multiThirdCateIds` | `15`(法拍房) → 其他 | 法拍类目 |
+
+---
+
+## 四、排序字段 `spo_sortField` 已知值
+
+| 值 | 排序方式 |
+|----|----------|
+| `11` | 按最新发布排序 |
+| 其他值待补充 | — |
+
+---
+
+## 五、底层 API 接口
+
+页面通过 JavaScript 动态加载数据，但**第一页数据通过 SSR 内嵌在 HTML 的 `<script>` 标签中**，不经过 API 调用。API 只负责 page 2 及之后的加载。
+
+### 数据来源
+
+| 来源 | 范围 | 获取方式 |
+|------|------|----------|
+| SSR 内嵌数据 | page 1（约 40 条） | 页面加载后从 `<script>` 标签解析 JSON |
+| `getSearchData` API | page 2+ | `page.on("response")` 拦截 API 响应 |
+| `getPaimaiCurrentInfoByIdsForApi` | 全部 | 实时拍卖状态（当前价、出价、围观） |
+| `getAuctionLabelConfigs` | 部分可见项 | 拍卖标签（一拍、二拍、变卖等） |
+
+> ⚠️ 如果只拦截 API 响应而不提取 SSR 数据，会漏掉 page 1 的全部房源（包括最新发布的房源）。
+
+### API 请求格式
+
+```
+POST https://api.m.jd.com/api?appid=paimai&functionId=getSearchData&loginType=2
+Content-Type: application/x-www-form-urlencoded
+
+body=<URL编码的JSON>
+```
+
+> ⚠️ API 有风险控制（`shieldResult.intercept: true`），直接调用返回 "no access"。需通过浏览器渲染执行风险验证后方可获取数据。
+
+### getSearchData 响应字段
+
+| 字段 | 类型 | 说明 |
+|------|------|------|
+| `paimaiId` | int | 拍卖 ID（唯一标识） |
+| `skuId` | int | 商品 SKU ID |
+| `title` | string | 房源标题/地址 |
+| `startPrice` | float | 起拍价（元） |
+| `currentPrice` | float | 当前价（元） |
+| `currentPriceCN` | string | 当前价（中文，如"125.8945万"） |
+| `discountRate` | float | 折扣率 |
+| `paimaiStatus` | int | 拍卖状态：0=未开始, 1=进行中, 2=已结束, 3=已撤回 |
+| `auctionType` | int | 拍卖类型：5=司法拍卖 |
+| `location` | array | 位置信息 |
+| `houseAttributes` | object | 房产属性（见下表） |
+| `productImage` | string | 图片路径（CDN） |
+
+### houseAttributes 子字段
+
+| 字段 | 类型 | 说明 |
+|------|------|------|
+| `houseTypeInfo` | string | 户型（如"4室1厅1卫"） |
+| `housePurpose` | string | 用途（如"住宅"） |
+| `houseArea` | float | 面积（㎡） |
+| `plotName` | string | 小区名称 |
+| `averagePrice` | string | 均价（如"8254.40元/平"） |
+| `houseFloorInfo` | int | 楼层信息 |
+| `houseEmpty` | int | 是否空置 |
+| `houseCertificate` | int | 权属证书类型 |
+| `houseLease` | int | 租赁情况 |