robots.txtに断られてから始めるデータ設計——中古バイクサイトに「車種×バッテリー適合表」42車種を1日で公開した話
Hiroba による自動要約
個人開発の中古バイク検索サービス MotoHub に、42車種分のバッテリー適合表を1日で公開。スクレイピングが robots.txt と利用規約で不可のため手動キュレーションに切り替え、型式単位のスキーマ設計と4段階の安全柵(名前チェック・全置換インポート・公開ゲート・dry-run)を構築した結果、本番投入前に名前不一致と slug 重複という2種類の実害を検出・防止。
読んで良かったら、シェアしてみてください。
同じタグの記事が他に 4674 件あります。
関連する記事
同じタグの記事

robots.txtに拒否されてから始めるデータ設計――中古バイクサイトに「車種×バッテリー適合表」42車種を1日で公開した話
Qiita個人開発の中古バイク検索サービス MotoHub に車種別バッテリー型番適合表を1日で公開。スクレイピングが robots.txt と利用規約で閉ざされたため手動キュレーションで対応し、型式粒度でのスキーマ設計と 4 段階のデータ検証柵(model_name_check・全置換インポート・verified_at ゲート・dry-run)を実装。投入前の dry-run で名前不一致 5 件と slug 重複による公開 URL 曖昧性を検出し、誤データ配信を防止。

Claude Haiku 5.5 を選ぶ理由:Sonnet 5.5 との使い分けを実験で検証
QiitaHaiku 5.5 は Sonnet 5.5 の 1/20 の単価で同等の正解率を達成でき、特にサブエージェントなど定型的な調査業務に向いている。実験で 77 種類の分類タスクと複数のコーディング課題を検証した結果、Sonnet を指揮役に残しつつ Haiku 5.5 を調査係にすることで費用を 58% 削減できる。


コードが書けないインフラエンジニアが Claude と作る S3 + CloudFront + GitHub Actions の CI/CD
QiitaAWS 未経験者がインフラエンジニアの知識を活かし Claude と協力して、S3 と CloudFront による静的ホスティング、GitHub Actions による自動デプロイを組み上げたポモドーロタイマーアプリの構築事例。React・TypeScript は Claude が生成し、構築から公開まで半日で実現、月額料金ゼロで運用中。OIDC の sub 形式ミスマッチなど実装時の詳細な落とし穴と対策も記載。