ロボット型検索エンジンのクローラーに対しての命令を記述するファイル。
クローラーはウェブページにアクセスした際、そのウェブサイトにあるrobots.txtに記述されている命令を見て、そのウェブページのクロール方法を判断します。
ただし、この命令は、あくまでもクローリングの際の目安に使うだけなので、必ずしも、その命令に忠実に従うというわけではありません。