如何確保讓搜索引擎輕松抓取您的網(wǎng)站？

如果您的網(wǎng)站無(wú)法被搜索引擎抓取，那么可能是以下原因造成的：

1、HTTPS安全實(shí)施

如果你最近跳轉到HTTPS時(shí)，可能沒(méi)有機會(huì )審核或以其他方式出現了識別安全證書(shū)的安裝問(wèn)題，進(jìn)行表面審核時(shí)可以幫助你確定是什么在影響HTTPS的轉換。

如果你最初購買(mǎi)SSL證書(shū)的時(shí)候沒(méi)有考慮到網(wǎng)站稍后用于什么，那么可能會(huì )出現分歧。需要記住的一件事是，你在購買(mǎi)證書(shū)時(shí)必須非常謹慎，確保它涵蓋了你想要的所有子域。

如果不這樣做，可能會(huì )導致一些問(wèn)題，比如無(wú)法重定向URL。

如果你沒(méi)有獲得完整的通配符證書(shū)，并且在子域上有URL參數（使用絕對URL），你的證書(shū)也沒(méi)有覆蓋這些URL，那么你無(wú)法將這些URL重定向到https://。

這就是為什么在購買(mǎi)SSL證書(shū)時(shí)要注意你的選項的原因，因為它可能會(huì )對你的站點(diǎn)產(chǎn)生負面影響。

2、錯誤的重定向或過(guò)多的重定向會(huì )導致網(wǎng)站性能下降

如果不密切關(guān)注正在創(chuàng )建的重定向，也很容易創(chuàng )建沖突的重定向。

此外，還很容易讓重定向失去控制，導致每個(gè)網(wǎng)站URL有數十個(gè)或更多重定向，進(jìn)而導致網(wǎng)站性能下降。

解決此問(wèn)題的簡(jiǎn)單方法是：確保你的重定向都是以1:1的比例創(chuàng )建的。

圖片

3、HTTPS和 HTTP URLs上的內容不應該同時(shí)加載

正確的做法是：其中一個(gè)重定向到另一個(gè)，而不是兩者都重定向。如果同時(shí)加載兩個(gè)，那么站點(diǎn)的版本安全就會(huì )出現問(wèn)題。如果你在瀏覽器中輸入網(wǎng)站的URL，請分別測試https://和http://。

如果兩個(gè)URL都加載，則會(huì )顯示兩個(gè)版本的內容，重復的URL可能導致重復的內容。

為了確保不會(huì )再次遇到此問(wèn)題，你需要執行以下操作之一，具體取決于站點(diǎn)的平臺：

在HTACCESS中創(chuàng )建完整的重定向模式（在A(yíng)pache/CPanel服務(wù)器上）；

使用WordPress中的重定向插件強制從 http://重定向。

4、如何在A(yíng)pache/Cpanel服務(wù)器的htaccess中創(chuàng )建重定向

你可以在A(yíng)pache/CPanel服務(wù)器的.htaccess中執行服務(wù)器級別的全局重定向。Inmotionhosting有一個(gè)很好的教程，教你如何在自己的web主機上強制重定向。

如果強制所有web流量使用HTTPS，你需要用到以下代碼。

確保將此代碼添加到具有類(lèi)似前綴的代碼之上（RewriteEngine On、RewriteCond等）。

RewriteEngine On

RewriteCond %{HTTPS} !on

RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$

RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

如果你只想重定向一個(gè)指定的域，你需要在你的htaccess文件中使用以下代碼行：

RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$

RewriteEngine On

RewriteCond %{HTTP_HOST} ^example\.com [NC]

RewriteCond %{SERVER_PORT} 80

RewriteRule ^(.*)$ https://www.example.com/$1 [R=301,L]

注意事項：如果你對自己在服務(wù)器進(jìn)行正確更改沒(méi)有信心，請確保你的服務(wù)器公司或IT人員來(lái)執行這些修復。

圖片

5、如果你正在運行WordPress網(wǎng)站，請使用插件

修復這些重定向問(wèn)題簡(jiǎn)單的方法就是使用插件，尤其是在運行WordPress網(wǎng)站時(shí)。

許多插件可以強制 http://到 https://重定向，但這里有一些插件可以使這個(gè)過(guò)程盡可能輕松：CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。

關(guān)于插件的注意事項：如果你已經(jīng)使用了太多的插件，請不要再添加。

你可能需要調查你的服務(wù)器是否可以使用上述類(lèi)似的重定向規則（例如，如果你使用的是基于NGINX的服務(wù)器）。

這里需要聲明：插件的權重會(huì )對網(wǎng)站速度產(chǎn)生負面影響，所以不要總是認為新的插件會(huì )對你有所幫助。

6、所有的網(wǎng)站鏈接都應該從HTTP://改為HTTPS://

即使執行上述重定向，也應該執行此步驟。

如果你使用絕對URL而不是相對URL，更應該這么做。因為前者始終顯示你正在使用的超文本傳輸協(xié)議，如果你使用的是后者，那你就不需要多加注意這一點(diǎn)了。

當你使用絕對URL時(shí)，為什么需要更改現場(chǎng)鏈接？因為谷歌將抓取所有這些鏈接，這可能會(huì )導致出現重復的內容。

這似乎是在浪費時(shí)間，但事實(shí)并非如此。你要確保最終谷歌能夠準確地抓取到你的網(wǎng)站。

圖片

7、確保從HTTP://到HTTPS://的轉換，不會(huì )出現404頁(yè)面

404頁(yè)面的突然增加可能使你的網(wǎng)站不能運行，尤其是在http://和https://頁(yè)面之間存在鏈接時(shí)。

此外，由于顯示的404頁(yè)面太多，谷歌沒(méi)有找到應該抓取的頁(yè)面會(huì )導致抓取預算的浪費。

谷歌的相關(guān)負責人John Mueller指出，抓取預算并不重要，除非是針對大型網(wǎng)站而言。

John Mueller在推特上表示，他認為抓取預算優(yōu)化被高估了。對大多數網(wǎng)站來(lái)說(shuō)，沒(méi)有什么作用，它只能幫助大規模的網(wǎng)站。

“IMO抓取預算被高估了。其實(shí)大多數網(wǎng)站都不需要為此擔心。如果你正在抓取網(wǎng)頁(yè)或運行一個(gè)數十億URL 的網(wǎng)站，這是很重要的，但對于普通的網(wǎng)站來(lái)說(shuō)這不是很重要。”

SEO PowerSuite 相關(guān)負責人Yauhen Khutarniuk的一篇文章也闡述了這一點(diǎn)：

“從邏輯上講，你應該關(guān)注抓取預算，因為你想讓谷歌盡可能多地發(fā)現你網(wǎng)站的重要網(wǎng)頁(yè)。你還希望它能快速地在你的網(wǎng)站上找到新內容，你的抓取預算越大（管理越智能），這種情況就會(huì )發(fā)生得越快。”

優(yōu)化抓取預算非常重要，因為快速查找網(wǎng)站上的新內容是重要的任務(wù)，同時(shí)需要盡可能多地發(fā)現網(wǎng)站的優(yōu)先網(wǎng)頁(yè)。

8、如何修復可能有的404頁(yè)面

首先，將404從舊URL重定向到新的現有URL。

有一個(gè)比較簡(jiǎn)單的方法是，如果你有一個(gè)WordPress網(wǎng)站，用Screaming Frog抓取網(wǎng)站，并使用重定向WordPress插件執行301重定向規則批量上傳。

9、URL結構不應該過(guò)于復雜

在為技術(shù)SEO做準備時(shí)，URL的結構是一個(gè)重要的考慮因素。

你同時(shí)須注意這些事情，比如隨機生成被索引的動(dòng)態(tài)參數、不容易理解的URL，以及其他可能導致技術(shù)SEO實(shí)現出現問(wèn)題的因素。

這些都是重要的因素，因為它們可能會(huì )導致索引問(wèn)題，從而損害網(wǎng)站的性能。

10、更人性化的URL

創(chuàng )建URL時(shí)，你可能會(huì )考慮相關(guān)內容，然后自動(dòng)創(chuàng )建URL。但是，這可能并不合理。

原因是因為自動(dòng)生成的URL可以遵循幾種不同的格式，這些格式都不是非常人性化。

“

例如：

（1）/內容/日期/時(shí)間/關(guān)鍵字

（2）/內容/日期/時(shí)間/數字字符串

（3）/內容/分類(lèi)/日期/時(shí)間/

（4）/內容/分類(lèi)/日期/時(shí)間/參數/

正確地傳達URL背后的內容才是重點(diǎn)。由于可訪(fǎng)問(wèn)性的原因，它在今天變得更加重要。

URL可讀性越強，效果就越好：如果有人在搜索結果中看到你的URL，他們可能更愿意點(diǎn)擊它，因為他們會(huì )確切地看到該URL與他們搜索的內容的相關(guān)性。簡(jiǎn)而言之，URL需匹配用戶(hù)的搜索意圖。

許多現有網(wǎng)站使用過(guò)時(shí)或混亂的URL結構，導致用戶(hù)參與度低。如果有更人性化的URL，你的網(wǎng)站可能會(huì )有更高的用戶(hù)參與度。

11、重復的URL

在構建任何鏈接之前需要考慮的一個(gè)SEO技術(shù)問(wèn)題是：內容重復。

在涉及內容重復時(shí)，以下是主要原因：

（1）在網(wǎng)站的各個(gè)部分顯著(zhù)重復的內容。

（2）從其他網(wǎng)站抓取內容。

（3）重復的URL，其中只存在一個(gè)內容。

因為當多個(gè)URL代表一個(gè)內容時(shí)，它確實(shí)會(huì )混淆搜索引擎。搜索引擎很少會(huì )同時(shí)顯示相同的內容，并且重復的URL會(huì )削弱他們搜索的能力。

12、避免使用動(dòng)態(tài)參數

雖然動(dòng)態(tài)參數本身并不是SEO方面的問(wèn)題，但如果你無(wú)法管理其創(chuàng )建，并且在使用中保持一致，那么以后可能會(huì )成為一個(gè)潛在威脅。

Jes Scholz在搜索引擎雜志上發(fā)表了一篇文章，內容涉及動(dòng)態(tài)參數和URL處理的基礎知識以及它如何影響SEO。

Scholz解釋說(shuō)，參數用于以下目的：跟蹤、重新排序、過(guò)濾、識別、分頁(yè)、搜索、翻譯。

當你發(fā)現是URL的動(dòng)態(tài)參數導致的問(wèn)題時(shí)，通常將其歸結為URL的基本管理不善。

在跟蹤的情況下，在創(chuàng )建搜索引擎抓取的鏈接時(shí)可以使用不同的動(dòng)態(tài)參數。在重新排序的情況下，使用這些不同的動(dòng)態(tài)參數對列表和項組進(jìn)行重新排序，然后創(chuàng )建可索引的重復頁(yè)面，搜索引擎再對其進(jìn)行抓取。

如果不將動(dòng)態(tài)參數保持在可管理的水平，可能會(huì )無(wú)意中引發(fā)過(guò)多的重復內容。

如果不仔細管理一部分內容的創(chuàng )建，這些動(dòng)態(tài)URL的創(chuàng )建實(shí)際上會(huì )隨著(zhù)時(shí)間的推移而累積，然后會(huì )稀釋內容的質(zhì)量，進(jìn)而削弱搜索引擎的執行能力。

它還會(huì )導致關(guān)鍵詞“自相殘殺”、互為影響，并且在足夠大的范圍內會(huì )嚴重影響你的競爭能力。

13、較短的 URL 優(yōu)于較長(cháng)的 URL

長(cháng)期以來(lái)的SEO實(shí)踐結果是：較短的URL優(yōu)于較長(cháng)的URL。