我们都知道隐藏页面(cloaking)是作弊手法的一种。隐藏页面通常是根据访问请求的IP地址判断是搜索引擎蜘蛛还是普通用户,然后对蜘蛛和普通用户返回不同的内容。但是根据IP不同返回不同内容,有的时候又不是作弊。所以这两者之间的界限,经常比较模糊。
根据用户的地理位置,返回不同的针对特定地理位置的内容。判断这个地理位置可以是访问的IP地址,也可以是存储在用户电脑中的cookie,也可以是注册用户所提供的地址。比如一个足球网站,如果一个已经注册过的用户提供的用户信息中地址填的是北京,当这个用户访问网站时,就返回更适合北京用户的内容,更多报道北京队的成绩等。
IP Delivery IP传送不太清楚应该怎样准确翻译,我们先叫它ip传送吧!IP delivery是上面所说地理定位的一种。因为IP地址都是分配给不同地区的ISP,根据发送访问请求的IP地址,就可以判断出用户的地理位置,然后返回相应的内容。IP delivery只是一种返回更恰当内容的技术手段,不一定就是作弊。像上面例子所说,一个没有注册的访问者来到网站,服务器通过检测用户IP地址,发现浏览者是来自北京,完全可以返回与来自上海的浏览者不同的内容。不但不是作弊,而且是更用户友好。
隐藏网页 Cloaking
这就属于作弊了。指的是搜索引擎蜘蛛访问时返回一套经过优化的内容,而普通用户访问时又返回另一套内容。鉴别是否是搜索引擎蜘蛛的方法还是包括通过IP地址判断,因为IP地址属于哪个ISP或大的网络公司是可以查出来的。这也就是隐藏网页与IP delivery常常混淆的原因。
首次点击免费 First Click Free
有一些新闻网站内容是要收费的,但是又希望被搜索引擎收录。Google提供了首次点击免费机制,也就是说用户通过Google搜索结果来到这样的收费网站,第一次点击时,用户可以看到正常内容,也就是Google蜘蛛所抓取的内容。但是同一个用户的第二次点击,将看不到新闻内容,而会被要求登录或付费。
比较IP delivery和隐藏页面就可以知道,IP delivery是正常的事,隐藏页面是作弊。搜索引擎所要求的并不是不允许使用IP delivery,而是不要把搜索引擎蜘蛛特殊处理。假设搜索引擎蜘蛛是来自纽约数据中心,网站返回的内容就应该是同样来自纽约的普通用户看到的内容,而不应该返回一套无论来自哪里的普通内容都看不到的,只有搜索引擎蜘蛛才能看到的内容。
隐藏页面其实是相当危险的技术。比如说从大家不知道是属于Google的IP地址,发出与普通浏览器一样的访问请求,抓取页面,抓取的内容与来自同一地理位置的正常蜘蛛抓取的内容一比较,就知道是否存在cloaking。
暂无评论内容