robots.txtに拒否されてから始めるデータ設計――中古バイクサイトに「車種×バッテリー適合表」42車種を1日で公開した話
Qiita個人開発の中古バイク検索サービス MotoHub に車種別バッテリー型番適合表を1日で公開。スクレイピングが robots.txt と利用規約で閉ざされたため手動キュレーションで対応し、型式粒度でのスキーマ設計と 4 段階のデータ検証柵（model_name_check・全置換インポート・verified_at ゲート・dry-run）を実装。投入前の dry-run で名前不一致 5 件と slug 重複による公開 URL 曖昧性を検出し、誤データ配信を防止。