Trang chủ

Công cụ tạo file Robots.txt tùy chỉnh miễn phí dành cho Blogger (Blogspot)

cài đặt sẵn

chính sách thu thập dữ liệu · nhóm chính

thêm lá chắn

Chính sách này áp dụng cho

*GooglebotBingbotBaiduspiderYandexBotDuckDuckBotApplebot

sơ đồ trang web

quy tắc tùy chỉnh · nhóm chính

robots.txt · 711 ký tự
1# robots.txt cho https://yourblog.blogspot.com
2# được tạo bởi trình tạo BazzHood Robots.txt
3
4Tác nhân người dùng: *
5Chặn: /search
6Không cho phép: *?m=1
7Không cho phép: *?m=0
8Không cho phép: *?updated-max
9Không cho phép: *?max-results
10Không cho phép: *?share=
11Cho phép: /
12
13User-agent: GPTBot
14User-agent: ChatGPT-User
15User-agent: Google-Extended
16User-agent: CCBot
17User-agent: anthropic-ai
18User-agent: ClaudeBot
19User-agent: Bytespider
20User-agent: cohere-ai
21User-agent: Diffbot
22User-agent: PerplexityBot
23User-agent: YouBot
24User-agent: Omgilibot
25User-agent: webzio-extended
26User-agent: FacebookBot
27Cấm: /
28
29Sơ đồ trang web: https://yourblog.blogspot.com/sitemap.xml
30Sơ đồ trang web: https://yourblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Blogger: Cài đặt → Tùy chọn tìm kiếm → Tệp robots.txt tùy chỉnh → dán và lưu.

Công cụ kiểm tra đường dẫn · Trình thu thập dữ liệu có thể đến được đó không?

✕BỊ CHẶN
Cấm /tìm kiếmMột quy tắc cấm đã khớp, và đó là quy tắc khớp chính xác nhất. Đang thử nghiệm với tư cách là Googlebot .

Mỗi dòng làm gì?

#Tệp robots.txt cho https://yourblog.blogspot.com
#Được tạo bởi BazzHood Robots.txt Generator
@Các quy tắc dưới đây áp dụng cho * . — tức là mọi trình thu thập thông tin không thuộc nhóm cụ thể nào.
Chặn các trang kết quả tìm kiếm và gắn nhãn của bạn ( /search) — nguồn nội dung trùng lặp lớn nhất trên Blogger.
✕Chặn mọi URL có chứa mtham số (phiên bản dành cho thiết bị di động / xem trước / phân trang trùng lặp trang của bạn).
✕Chặn mọi URL có chứa mtham số (phiên bản dành cho thiết bị di động / xem trước / phân trang trùng lặp trang của bạn).
✕Chặn mọi URL có chứa updated-maxtham số (phiên bản dành cho thiết bị di động / xem trước / phân trang trùng lặp trang của bạn).
✕Chặn mọi URL có chứa max-resultstham số (phiên bản dành cho thiết bị di động / xem trước / phân trang trùng lặp trang của bạn).
✕Chặn mọi URL có chứa sharetham số (phiên bản dành cho thiết bị di động / xem trước / phân trang trùng lặp trang của bạn).
✓Cho phép truy cập trang chủ và bất kỳ đường dẫn nào không bị chặn bởi quy tắc cụ thể hơn ở trên.
@Các quy tắc dưới đây áp dụng cho GPTBot .
@Các quy tắc dưới đây áp dụng cho người dùng ChatGPT-User .
@Các quy tắc dưới đây áp dụng cho Google-Extended .
@Các quy tắc dưới đây áp dụng cho CCBot .
@Các quy tắc dưới đây áp dụng cho trí tuệ nhân tạo (anthropic-ai) .
@Các quy tắc dưới đây áp dụng cho ClaudeBot .
@Các quy tắc dưới đây áp dụng cho Bytespider .
@Các quy tắc dưới đây áp dụng cho cohere-ai .
@Các quy tắc dưới đây áp dụng cho Diffbot .
@Các quy tắc dưới đây áp dụng cho PerplexityBot .
@Các quy tắc dưới đây áp dụng cho YouBot .
@Các quy tắc dưới đây áp dụng cho Omgilibot .
@Các quy tắc dưới đây áp dụng cho webzio-extended .
@Các quy tắc dưới đây áp dụng cho FacebookBot .
✕Chặn trình thu thập thông tin được liệt kê khỏi toàn bộ trang web.
↗Cung cấp cho trình thu thập thông tin một sơ đồ trang web để chúng có thể tìm thấy mọi trang đã được xuất bản: https://yourblog.blogspot.com/sitemap.xml.
↗Cung cấp cho trình thu thập thông tin một sơ đồ trang web để chúng có thể tìm thấy mọi trang đã được xuất bản: https://yourblog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500.

Đăng nhận xét