Web上で大量な情報を取り扱う企業にとって、クローリング、スクレイピングされたくないページで情報が取得できてしまうことは致命的なことです。大量のデータ収集を業務とする弊社ならではの独自の知見で御社サービスに対しての不正なクローラーのアクセスを防止することができます。

クローラーの巡回を防止する方法として最も簡単な方法は特定のIPアドレスや連続アクセスの多いIPアドレスを指定し拒否することです。

ただしこの方法は意図しないアクセス拒否を行なってしまう可能性が高いこと、IPを変更した場合にアクセスが筒抜けてしまうことです。IPの変更は自動巡回を行うクローラーに組み込むことはある程度簡単に出来てしまいます。

そこでフロントエンド側での対策（javascriptによるコンテンツ生成）を施すと思いますがselenium、puppeteer等のヘッドレスブラウザでの自動操作は対策ができません。

弊社では独自で蓄積したブラウザの指紋情報を解析し、不正な自動操作をブロッキングすることができます。

自社サイトがクローリング、スクレイピングをされない状態であるかをチェックしたい、という企業様も是非ご相談ください。