logo
電話:13843226952
 
工作時間:周一至周六:8:30-5:00  周日可聯系客服QQ
   
  建站咨詢㈠ 建站咨詢㈡ 售后服務 售前咨詢  
關于陽光,吉林市網站建設,吉林市網站制作,網絡公司
 當前位置:本站首頁 >>> 電子商務

什么是robots協議?標準是什么?

日期:2018/1/5    來自:吉林市陽光網絡科技   作者:Admin   去百度查找  去Google查找

  robots協議就是robots.txt文件,是一個被放置在網站中的.TXT文件,為搜索引擎爬蟲做出提示,設置允許或者不允許兩種搜索語句,網絡爬蟲據此判斷抓取或者不抓取該網頁內容。即網站通過robots協議高速搜索引擎哪些頁面可以抓取,哪些頁面不能抓取的。robots協議的目的是保護網站數據和敏感信息、確保用戶個人信息和隱私不被侵犯。

  Robots.txt函數釋義
  常見的Robots.txt函數有“User-agent”“Disallow”“Aallow”:
  1.User-agent:表示允許搜索引擎的身份,User-agent后綴不同則表示允許訪問的搜索引擎有不同。例如:User-agent:Baiduspider表示允許百度蜘蛛,User-agent:Googlebot表示允許谷歌爬蟲,User-agent: *則表示允許所有的搜索引擎。

    2.Disallow:表示禁止訪問的內容。例如:Disallow: /表示網站禁止抓取訪問; Disallow:則表示都允許收錄;Disallow: /news/表示news這個文件夾的內容禁止訪問;Disallow: /XXX.html表示XXX.html這個網站禁止收錄;Disallow: /*.jpg$表示禁止抓取jpg格式的圖片,其他類型的圖片格式以此類推。

    3.Allow:是允許的意思,但需要注意:  他的使用一般都是結合Disallow他不能單獨出現,意思是禁止爬取那個內容,加上Allow后意思是,除了可以爬取這個外其余的都禁止!

 

 
上一篇:沒有了!
下一篇:開發電子商務網站需要了解哪些?
  陽光新聞 更多>>>
吉林網站建設_吉林網頁制作-陽光新聞
移動建站的優勢在哪?
如何規劃網站的主題
網站優化注意事項
網站建設的趨勢
網站建設對企業發展有哪些助力
小程序未來的市場前景
  招賢納士 更多>>>
誠聘銷售精英合作伙伴
誠招吉林市網站建設商務經理
招聘吉林市網站建設技術員
公司招收吉林市網站開發學員
因業務發展需要特誠聘商務代表
  網站建設專題 更多>>>
陽光科技為您提供網站改版服務
為什么網頁設計要簡練?
如何在百度提交收錄,怎樣讓自己的網站排名
什么樣的網站最受訪客喜歡?
吉林市網站建設形式與內容應統一
網站管理與團隊經營的秘訣
優質的單頁網站如何創建
 
Copyright © 2008-2019 www.xskigevw.buzz, All Rights Reserved    
電話:13843226952  聯系人:王經理
ICP備案號:吉ICP備10003760號   技術支持:吉林網站建設
打造好的吉林網絡公司!我們為您提供有品質的吉林網站建設吉林市網站建設吉林網站制作吉林網頁制作吉林網站優化吉林seo服務!
北京赛车app下载安装 双色球在线计划稳定版 股票分析报告3000字 期货配资开户 十一选五开奖结果上海爱彩乐 网络赚钱方法大全 11选5任五210注万能码 90后小伙分析股票被质疑分析2019股票 北京快三开奖结果图 冮西体彩11选5多乐彩 辽宁体彩11选5杀号方法 吉林十一选五开奖结果爱乐采 哪个app能买快乐扑克 浙江11选5什么时候开始 辽宁十一选五彩经网 18luck在线娱乐百家乐 王中王最准一肖中特公开选料