AI crawler

Xem bot AI nào đọc website của bạn, và chúng đọc gì.

Tải lên file log hoặc gắn một đoạn mã nhỏ. BrandLens ghi lại mọi bot AI ghé website, những trang chúng đọc, và robots.txt đang giúp hay cản bạn.

Tính năng

Mọi câu trả lời của AI đều bắt đầu từ việc thu thập dữ liệu

Xem mọi bot AI ghé website, hiểu mục đích của chúng và quyết định bot nào quan trọng.

Theo dõi bot AI từ nhiều nguồn

Tải lên access log (nginx, Apache, Cloudflare, Vercel) hoặc gửi dữ liệu từ middleware để có nhật ký đầy đủ mọi bot AI ghé trang.

Lọc theo mục đích

Tách bot dùng để huấn luyện mô hình với bot phục vụ câu trả lời của AI, để biết lượt truy cập nào thật sự quan trọng.

Phát hiện lỗi

Xem những đường dẫn trả lỗi khi bot AI truy cập và sửa kịp thời.

Kiểm tra robots.txt

BrandLens cho thấy robots.txt đang chặn, cho phép hay bỏ sót bot nào — để bạn không vô tình khoá cửa với bot mình cần.

Theo dõi theo thời gian

Xem lượt truy cập của bot AI theo ngày, theo bot và theo đường dẫn.

Tháng 5

Tháng 6

Tháng 7

Nối lượt crawl với trích dẫn

Xem trang nào được bot AI đọc nhiều nhất, rồi đối chiếu xem trang đó có được AI trích dẫn trong câu trả lời không.

Crawler 1
Crawler 2
Crawler 3
https://getfly.vn/san-pham
2.249 lượt bot
+7,6%
https://getfly.vn/blog
1.647 lượt bot
-5,9%
https://getfly.vn/gioi-thieu
1.891 lượt bot
+4,5%
https://getfly.vn/tinh-nang
1.552 lượt bot
+2,3%
Bắt đầu

Xem AI đang nói gì
về thương hiệu của bạn

Dùng thử miễn phí
Trao đổi với chúng tôi

Câu hỏi thường gặp

Giải đáp những câu hỏi thường gặp về theo dõi bot AI và BrandLens.

Là ghi lại những bot AI quan trọng ghé website của bạn — của OpenAI, Google, Perplexity, Anthropic và các bên khác — chúng đọc trang nào, có gặp lỗi không, và robots.txt đang chặn hay cho phép chúng.
Tải lên access log (nginx, Apache, hoặc JSON từ Cloudflare/Vercel) ngay trong BrandLens, hoặc gắn đoạn mã middleware gửi từng lượt bot về BrandLens. Chỉ lượt truy cập của bot AI được lưu.
Vì mọi câu trả lời của AI đều bắt đầu từ việc thu thập dữ liệu. Nếu bot AI không đọc được nội dung hoặc gặp lỗi, website của bạn sẽ không xuất hiện trong câu trả lời.
Bot tìm kiếm (như Googlebot) lập chỉ mục cho kết quả tìm kiếm truyền thống. Bot AI (như GPTBot, ClaudeBot, PerplexityBot) đọc nội dung để huấn luyện mô hình, xây chỉ mục cho trợ lý AI, hoặc trả lời trực tiếp một câu hỏi của người dùng. BrandLens phân loại theo mục đích.
Các bot của OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity, Google (Google-Extended, Googlebot), Bing, Apple, Common Crawl, ByteDance và hơn thế.
Chưa. API công khai và các tích hợp nằm trong lộ trình; hiện tại mọi dữ liệu có trong bảng điều khiển BrandLens.