ウェブ検索には今のところ「サイト検索」と「ページ検索」があり、どちらも同じウェブの検索ですが、対策の仕方は違います。このページでは、両者の基本的な違いを説明します。
たとえば Yahoo のような大手ポータルサイトの検索結果画面で、「サイト検索」とか「ページ検索」といった言葉が出てきます（カテゴリ検索という言葉も出てきますが、これは Yahoo 内のコンテンツに対する検索なので、ここでは考えません）。両者はどちらもウェブの検索ですが、対策の内容や仕掛ける時期はそれぞれ違います。細かいことを後回しにするなら、人を相手にするのが「サイト検索」への対策で、機械を相手にするのが「ページ検索」への対応だと言うことになります。
ウェブで何かを検索したとき、キーワードをタイプして検索を実行すると、数秒後にはその結果が画面に表示されます。このように一瞬で出てくるということは、ウェブの検索といっても本当のウェブそのものを毎度毎度検索しているのではなく、検索エンジンが持っているウェブ検索用のデータベースを検索して、その結果を返しているということは、すぐに想像できると思います。
この検索用のデータベースは、検索結果を左右する重要なものです。ウェブ自体が広大で、かつ拡大しつづけている空間であるため、このデータベースも管理し質を保つのは、非常な大仕事です。そしてそのためのアプローチは、現在のところ 2種類が知られています。
その一つは、とにかく人手をかけて維持するというやりかた。登録担当のスタッフが、ふさわしいサイトを実際に確かめて、適切なカテゴリに分類していくという、言わば人海戦術です。
もうひとつは、手作業に頼らず自動化によりシステム的に、ウェブ全体の索引を作ってしまうというやりかたです。実際にはウェブコンテンツを自動的に収集するソフトウェアを動かして、WWW 全体のコンテンツをもれなく集めさせるという方法でおこなわれます。そうしたソフトウェアを「検索ロボット」、ロボットによるコンテンツの収集を「巡回」とか「クロール」などと呼ぶことがあります。
簡単に言うと、上の前者のアプローチが「サイト検索」、後者のアプローチが「ページ検索」と呼ばれるものです。ポータルサイトによっては呼び方が変わることがありますが、大手ポータルは現在これら両方をユーザに提供するのが普通のようです（この文書でも、最大手の Yahoo その他にならって、この言葉を使うことにします）。[資料1 参照]
ということでサーチエンジン対策で意識する対象は、「サイト検索」の場合は審査をする人間、「ページ検索」の場合はコンテンツを集めに来たロボット、ということになります。
対策とは本来関係ないことですが、何でまた 2種類もの検索があるのかという疑問を持つ人もいるでしょう。答えは、今のところ両者のうちどちらも、ユーザから見たときに完全ではないからです。人手でやる場合、審査をすれば登録されたサイトのレベルを維持するのは可能ですが、そのぶん手間暇もかける必要があるため、なかなかウェブ全体をカバーするというのは難しいのです。一方ロボットにやらせる場合は人手は省けるけれど、検索結果はノイズも含むようになり、人間にとっては、とっつきにくいものになりがちです。そしていずれにしても、質を保つためには半端でないコストがかかります。
無理やりサーチエンジン対策に話を戻すと、こうしたそれぞれのアプローチがかかえている不完全さを意識することが、作業上なにかのヒントになることがあるかもしれません。