Найдено здесь, что было найдено опять же в Гугле

Google Sitemaps — отимизируйте поведение поискового движка у вас на сайте. Для создания карты сайта можно воспользоваться генератором

Что же это такое? В корень сайта кладете XML файл под названием sitemap.xml, sitemap.xml.gz или sitemap.gz (последние два, соответственно, сжаты gzip-ом). Этот файл содержит карту вашего сайта в таком вот стиле:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
   <url>
      <loc>http://www.yoursite.com/</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
   <url>
      <loc>http://www.yoursite.com/catalog?item=12&amp;desc=vacation_hawaii</loc>
      <changefreq>weekly</changefreq>
   </url>
   <url>
      <loc>http://www.yoursite.com/catalog?item=73&amp;desc=vacation_new_zealand</loc>
      <lastmod>2004-12-23</lastmod>
      <changefreq>weekly</changefreq>
   </url>
   <url>
      <loc>http://www.yoursite.com/catalog?item=74&amp;desc=vacation_newfoundland</loc>
      <lastmod>2004-12-23T18:00:15+00:00</lastmod>
      <priority>0.3</priority>
   </url>
   <url>
      <loc>http://www.yoursite.com/catalog?item=83&amp;desc=vacation_usa</loc>
      <lastmod>2004-11-23</lastmod>
   </url>
</urlset>

где

    * changefreq — как часто страница меняется
    * lastmod — дата последней модификации
    * loc — URL cnhfybws
    * priority — приоритет страницы внутри сайта

Сам файл sitemap не может превышать 10 мегабайт и не содержать более 50 000 ссылок. Если сайт содержит более пятидесяти тысяч ссылок, то можно создать несколько карт и объединить их в одном индексе sitemapindex.xml:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.google.com/schemas/sitemap/0.84">
   <sitemap>
      <loc>http://www.mysite.com/sitemap1.xml.gz</loc>
      <lastmod>2004-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.mysite.com/sitemap2.xml.gz</loc>
      <lastmod>2005-01-01</lastmod>
   </sitemap>
</sitemapindex>

Как говорят сами гуглевцы, "этот эксперимент или с треском провалится или превысит все наши ожидания". Проект выпущен под лицензией Attribution/Share Alike Creative Commons license и Гугль надеется, что и другие поисковики поддержат эту инициативу.

Напомню, что Гугль уже становился инициатором глобальных изменений в поисковых системах, когда предложил добавлять аттрибут nofollow в ссылках, появляющихся в различных блогах в интернете. Тогда инициативу поддержали не только блоги (такие, как LiveJournal, Blogger и создатели MovableType), но и Yahoo!, MSN Search и AskJeeves.

Предложенная Гуглем концепция карт сайта вполне может прийти на смену давно устаревшим файлам robots.txt. Посмотрим...