当前位置:聪少自媒体网 > 今日头条 > 正文

请问今日头条的这个robots是啥意思

2020-10-05 今日头条 聪少自媒体

User-agent: Baiduspider

Allow: /$

Disallow: /*

请到今日头条社区询问,谢谢!合作!

Disallow: /*

禁止抓取啊!

不惑凡羽 发表于 2017-4-11 16:49

Disallow: /*

禁止抓取啊!

后面的$呢

禁止蜘蛛抓取

英语学习培训 发表于 2017-4-11 17:12

禁止蜘蛛抓取

禁止抓取只需要一个Disallow就够了

好吧,其实我是为了金币而来的

每天一贴学习学习

禁止百度抓取

聪少爱学堂聪少
聪少爱学堂创始人,梅州市鹏鑫网络科技有限公司CEO,09年开始踏入互联网,10年互联网行业经验,资深自媒体人,自媒体优秀导师,咪挺微商团对营销引流顾问,业务包含:精准引流技术/代引流精准粉,专业小红书,知乎,微博代运营。
  • 38988文章总数
  • 1491132访问次数
  • 建站天数
  • 合作伙伴