Googleの検索結果により多くのページをより素早く反映させるための「クロールバジェット」を管理する方法

Googleはインターネット上のあらゆるウェブサイトをクロールして検索インデックスを作成し続けていますが、各ウェブサイトの全ページをクロールしているわけではなく、ウェブサイトに応じてクロールするページ

リンク元