AI 用収集クローラー

qiita.com

は〜、雑に全部拒否 * とかしてたけど、個別にやったほうが良い場合もあるんすかねえ。