Chặn Bot Ahrefs.com quét dữ liệu Website của bạn theo 2 cách này

Kể từ đầu năm 2018 trở lại đây thì Hải mới được biết và tiếp cận với Ahrefs.com. Phải nói đây là công cụ SEO tuyệt vời mà bất cứ người làm SEO nào cũng phải biết tới. Trước đây, Hải không có phân tích đối thủ, hay lên danh sách từ khoá dựa vào Ahrefs. Khi biết tới rồi mới mê mẩn với nó, các thông số mà nó cũng cấp giúp bạn đánh giá được một website có chất lượng hay không, có chú trọng làm SEO hay không. Để tránh việc đối thủ phân tích web của mình, bạn phải chặn Bot Ahrefs.com. Nghe đơn giản thật đó nhưng với những người mới hẳn sẽ rất khó khăn.

Chặn Bot Ahrefs.com
Có nên chặn Bot Ahrefs.com hay không ?

Cái gì khó thì tra Google, làm SEO mà kỹ năng tìm kiếm kém thì còn nói làm gì nữa phải không nào ?. Chỉ cần một từ khoá đơn giản là: “chặn bot Ahrefs” thì bạn đã có ngay giải pháp rồi.

Ahrefs là gì ?

Hiểu nôm na đây là công cụ đánh giá, phân tích tất tần tật những gì liên quan tới website của bạn và đối thủ. Với kho dữ liệu khổng lồ, dựa vào đây bạn có thể phân tích từ khoá, kiểm tra độ cạnh tranh, lưu lượng tìm kiếm, backlink, domain trỏ về, thứ hạng từ khoá, traffic cho từng bài cụ thể.

Nếu bạn đã tìm hiểu qua thì cũng nắm được Ahrefs là gì rồi. Hải cũng không có đi sâu vào khái niệm bởi hầu hết chúng ta đều nắm được rồi.

Chặn bot Ahrefs bằng file Robots.txt

Thêm nội dung sau vào file robots.txt rồi lưu lại

User-agent: Rogerbot
User-agent: Exabot
User-agent: MJ12bot
User-agent: Dotbot
User-agent: Gigabot
User-agent: AhrefsBot
User-agent: BlackWidow
User-agent: ChinaClaw
User-agent: Custo
User-agent: DISCo
User-agent: Download\ Demon
User-agent: eCatch
User-agent: EirGrabber
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: Express\ WebPictures
User-agent: ExtractorPro
User-agent: EyeNetIE
User-agent: FlashGet
User-agent: GetRight
User-agent: GetWeb!
User-agent: Go!Zilla
User-agent: Go-Ahead-Got-It
User-agent: GrabNet
User-agent: Grafula
User-agent: HMView
User-agent: HTTrack
User-agent: Image\ Stripper
User-agent: Image\ Sucker
User-agent: Indy\ Library
User-agent: InterGET
User-agent: Internet\ Ninja
User-agent: JetCar
User-agent: JOC\ Web\ Spider
User-agent: larbin
User-agent: LeechFTP
User-agent: Mass\ Downloader
User-agent: MIDown\ tool
User-agent: Mister\ PiX
User-agent: Navroad
User-agent: NearSite
User-agent: NetAnts
User-agent: NetSpider
User-agent: Net\ Vampire
User-agent: NetZIP
User-agent: Octopus
User-agent: Offline\ Explorer
User-agent: Offline\ Navigator
User-agent: PageGrabber
User-agent: Papa\ Foto
User-agent: pavuk
User-agent: pcBrowser
User-agent: RealDownload
User-agent: ReGet
User-agent: SiteSnagger
User-agent: SmartDownload
User-agent: SuperBot
User-agent: SuperHTTP
User-agent: Surfbot
User-agent: tAkeOut
User-agent: Teleport\ Pro
User-agent: VoidEYE
User-agent: Web\ Image\ Collector
User-agent: Web\ Sucker
User-agent: WebAuto
User-agent: WebCopier
User-agent: WebFetch
User-agent: WebGo\ IS
User-agent: WebLeacher
User-agent: WebReaper
User-agent: WebSauger
User-agent: Website\ eXtractor
User-agent: Website\ Quester
User-agent: WebStripper
User-agent: WebWhacker
User-agent: WebZIP
User-agent: Wget
User-agent: Widow
User-agent: WWWOFFLE
User-agent: Xaldon\ WebSpider
User-agent: Zeus
Disallow: /

Cách chặn bot Ahrefs.com bằng file .htaccess

Thêm nội dung sau vào file .htaccess rồi lưu lại.

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Trên thực tế vẫn còn có rất nhiều ý kiến trái chiều nên chặn bot Ahrefs hay không ?. Với cá nhân Hải thì sẽ chọn không, chẳng có gì mà cần phải giấu diếm cả. Quan điểm của bạn là gì, hãy chia sẻ suy nghĩ bằng cách gửi bình luận dưới bài viết này nhé.

Chia sẻ cho bạn danh sách web 2.0 chỉ số DA cao để làm SEO tại đây.

Chặn Bot Ahrefs.com quét dữ liệu Website của bạn theo 2 cách này
5 (100%) 1 vote

1
Leave a Reply

avatar
1 Comment threads
0 Thread replies
1 Followers
 
Most reacted comment
Hottest comment thread
1 Comment authors
tình Recent comment authors
  Subscribe  
newest oldest most voted
Notify of
tình
Guest

em cũng nghĩ chia sẽ chứ kh chặn anh ạ