#!/bin/bash
# Batch scrape all Dongguan sub-regions with sortField=2
# Skips 樟木头 and 塘厦 (already scraped)
cd /root/agents/wiki

TOWNS="莞城 东城 南城 万江 石碣 石龙 茶山 石排 企石 桥头 凤岗 清溪 大朗 黄江 长安 虎门 厚街 沙田 道滘 洪梅 麻涌 中堂 高埗 大岭山 望牛墩 常平 寮步 东坑 横沥 谢岗 松山湖"

for town in $TOWNS; do
    echo "=== $(date '+%H:%M:%S') Starting $town ==="
    PYTHONUNBUFFERED=1 python3 -u skills/jd-fapai-scrape/scrape_history.py \
        --keyword "$town" --batch-label "${town}_all" \
        --max-scrolls 200 --output-dir "output/法拍"
    echo "=== $(date '+%H:%M:%S') Done $town ==="
done
echo "=== ALL DONE ==="