般来说，阻止搜索引擎收录也可能成为个seo问题，尽量让搜索引擎抓取和索引更多内容是seo们经常头疼的个问题，没有收录、索引无从谈排名。尤其对达到定规模的网站来说，使兴安seo的网站充分收录是个颇令人费神的seo技术，当页面达到比如说几十万，无论网站架构怎么设计、多么优化，100%收录都是不可能的，只能尽量提高收录率。
但有时候怎么阻止搜索引擎收录也可能成为个问题，近越来越成为问题。需要阻止收录的情况如保密信息、复制内容、广告链接等。过去常用的阻止收录方法包括密码保护、把内容放在表格后面、使用js/ajax、使用flash等。
使用flashgoogle几年前开始尝试抓取flash内容了，简单文字性内容已经能抓取。flash里面的链接也能被跟踪。表格google蜘蛛也能填表，也能抓取post请求页面。这个早能从日志中看到。
js/ajax使用js链接直以来被当作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但两三年前我看到js链接不能阻止google蜘蛛抓取，不仅js中出现的url会被爬，简单的js还能被执行找到更多url.