Chúng ta đều biết, file robots.txt được dùng để báo cho bot của google biết những thứ mà nó không được nhòm ngó. Chúng ta thường sai lầm khi dùng file robots.txt, đó là đưa ra những tệp, thư mục quan trọng như thư mục quản lý của admin,.....
Nếu có người ganh ghét site của mình, người đó chỉ cần gõ domain/robots.txt là tất cả nội dung của file robots.txt đều được thấy, và họ sẽ biết được những bí mật mà bạn không muốn tiết lộ. Vì vậy, không nên đưa những thứ quan trọng vào file này.
Để giải quyết việc này cũng khá đơn giản, đó là đừng đưa nó vào file robots.txt và không dẫn bất kỳ một link nào vào đó ở bất kỳ trang nào của site mình hay site khác. Cơ chế hoạt động của bot của google là đầu tiên vào index, sau đó vào tiếp các link mà index dẫn nó và cứ thế cho đến khi không còn link mới nữa. Vì vậy, khi không có ai dẫn đường thì bot không thể đến được những phần quan trọng của ta. Nhưng nếu một site khác có một backlinks đến thì cũng nguy hiểm. Vì vậy, nếu bạn không tiết lộ link ra thì sẽ không ai biết, kể cả google. Hãy sử dụng file robots.txt đúng cách để được hiệu quả thật tốt.