判斷搜索引擎真假蜘蛛訪問(wèn)
2023-06-11 分類(lèi)： 網(wǎng)站建設(shè)
主流搜索引擎蜘蛛抓取網(wǎng)站，都會(huì)自帶UA特征，比如百度蜘蛛U(xiǎn)A（Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。
在網(wǎng)站的訪問(wèn)日志中也會(huì)相應(yīng)記錄，但UA是可以偽造的，目前越來(lái)越多偽造UA的掃描器或采集器都在偽造搜索引擎UA來(lái)迷惑管理員，造成無(wú)法判斷是否是正規(guī)搜索引擎蜘蛛。
我們?cè)诓恢乐┲隝P段的情況下，可以通過(guò)運(yùn)行命令：nslookup 來(lái)判斷真假蜘蛛。
首先以百度蜘蛛為例，在訪問(wèn)日志中找到帶有UA記錄的IP，如：220.181.108.* 在運(yùn)行cmd命令輸入 nslookup 220.181.108.* ，運(yùn)行后結(jié)果中帶有： baiduspider-220-181-108-*.crawl.baidu.com 字樣，說(shuō)明是真百度蜘蛛，反之如果沒(méi)有則為假。
網(wǎng)站標(biāo)題：判斷搜索引擎真假蜘蛛訪問(wèn)
網(wǎng)站地址：http://www.kartarina.com/news42/264442.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、移動(dòng)網(wǎng)站建設(shè)、全網(wǎng)營(yíng)銷(xiāo)推廣、網(wǎng)站營(yíng)銷(xiāo)、外貿(mào)建站、手機(jī)網(wǎng)站建設(shè)
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容
- Linux系統(tǒng)里怎么徹底的清空屏幕 2023-06-11
- Nginx PHP 錯(cuò)誤日志輸出到log文件的設(shè)置方法 2023-06-11
- localhost不能訪問(wèn)127.0.0.1可以訪問(wèn)的原因及解決方法 2023-06-11
- 云服務(wù)器對(duì)網(wǎng)站SEO優(yōu)化有影響嗎？ 2023-06-11
- 云服務(wù)器比傳統(tǒng)服務(wù)器優(yōu)勢(shì)有哪些？ 2023-06-11
- 【重要】關(guān)于網(wǎng)站建設(shè)違法違禁內(nèi)容禁止和處理辦法通告 2023-06-11
- 為什么選擇香港云服務(wù)器的10個(gè)理由 2023-06-11
- Azure Redis緩存部署需要注意什么 2023-06-11
- Linux終端上怎么統(tǒng)計(jì)指定類(lèi)型文件的數(shù)目 2023-06-11
- Linux能Ping通卻訪問(wèn)不了網(wǎng)站，但在服務(wù)器里能wget成功 2023-06-11
- 云服務(wù)器的這些優(yōu)勢(shì)你一定要知道 2023-06-11
- 云服務(wù)器和虛擬主機(jī)這兩個(gè)哪個(gè)網(wǎng)站建設(shè)過(guò)程中效果好些？ 2023-06-11
- 中小企業(yè)使用香港云服務(wù)器的5個(gè)理由 2023-06-11
- 云服務(wù)器租用企業(yè)想要做好云計(jì)算優(yōu)化應(yīng)該如何做？ 2023-06-11
- 建站用服務(wù)器還是虛擬主機(jī)的選擇 2023-06-11
- 托管服務(wù)器和云服務(wù)器有哪些區(qū)別？ 2023-06-11
- 四川高防服務(wù)器租用的優(yōu)勢(shì) 2023-06-11
- 網(wǎng)站空間云服務(wù)器跑滿(mǎn)帶寬常見(jiàn)的原因分析 2023-06-11
- 四川服務(wù)器托管上架流程，24小時(shí)是上架 2023-06-11