东莞网络公司告诉您什么是robots协议？？

    11月1号，百度、360、搜狗等12家搜索引擎服务企业在北京签署了《互联网搜索引擎服务自律公约》，公约规定，对于本公约公布前违反robots协议抓取的内容，在收到权利人符合法律规定的通知后，及时删除、断开侵权链接。

    在互联网高速度发展的时代，搜索引擎服务企业给整个互联网带来了70%-80%的流量，也带来了很多商机，而做为流量为重要的搜索引擎服务。它的行业就有一种robots协议，这也是搜索引擎抓取网站信息的一把钥匙。

    那么什么是robots协议呢？？

    robots协议（也称为爬虫协议、爬虫规则、机器人协议等）由荷兰籍网络工程师Martijn Koster 于1994年提出，robots协议是国际互联网界通行的道德规范，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。

    而很多网站进行的网络营销就直接跟这个协议有关，也是搜索引擎过滤不正规网站的一个把门关。所以，在今天互联网越来越发达的今天，这个协议又现得尤为重要。