网站辛苦查资料、写文章,AI 却直接在自己的页面上回答问题。读者满意了,原站的点击可能没了。答案有人用,流量去哪了?
Google-Extended 可以限制 Gemini 的部分模型训练与回答依据用途,但 Google 搜索内的 AI 摘要和 AI 模式另有规则,不能混为一谈。
被 AI 夸成神秘圆形生物
日本个人网站“めんどいちゃん”(Mendoi-chan)介绍日常麻烦事,也提供小工具。有一次 Google AI 起初还在正常描述这个网站。
接着问“聪明吗”,AI 说很聪明;问“工作能力如何”,说非常出色;问“受欢迎吗”,干脆说人人喜爱。问是不是女孩,回答不是;问是不是男孩,也回答不是。最终变成了“没有性别的神秘圆滚滚生物”。
本来是网站简介,最后成了新物种鉴定书。AI 的进化速度真快。
这些是该次 AI 回答中的说法,不等于有真实调查证明粉丝数量、工作能力或恋爱魅力。好笑的是,网站基本信息被自动加工成越来越夸张的赞美。
赞美不等于广告展示
调查、核实、更新文章和维护服务器都有成本。读者进入网站,可能看到广告、浏览其他文章或使用应用。如果 AI 在自己的页面上说完答案,原站就可能失去一次访问。AI 喊十声“天才”,也不能换来十次原站广告展示。不过,AI 的来源链接确实有时会带来新读者。
如何限制 Gemini 的使用
在网站根目录的 robots.txt 加入:
User-agent: Google-Extended
Disallow: /
按照 Google 的说明,这控制爬取内容用于未来 Gemini 模型训练,以及 Gemini Apps 和相关 Vertex AI 产品从搜索索引获取信息支持回答等特定用途。Google-Extended 是用途控制标记,并非一个独立访问网站的爬虫。
Google 表示,这不会影响普通搜索收录,也不是排名信号。它并不能删除过去学到的知识,也不保证网站从所有 AI 回答中消失。
搜索 AI 是另一回事
AI 摘要和 AI 模式属于 Google 搜索。仅仅设置 Google-Extended 并不能关闭它们。Google 提供 nosnippet、max-snippet、data-nosnippet 和 noindex 等限制摘要或索引的选项,但它们也可能影响普通搜索结果与流量。
从哪里看真实效果
从 2026 年 8 月 31 日起,Search Console 在全球提供搜索和 Discover 生成式 AI 功能里的网址展示次数报告。展示次数不是访问次数。 Google Analytics 的流量获取报告可查看实际访问及来源;如果来源信息缺失,有些访问会被归到直接流量。
如果网站依赖广告与访问量、Gemini 实际带来的价值又很小,限制 Google-Extended 是合理的。如果更重视品牌曝光,也可以保持允许。对搜索 AI 的限制应另外考虑传统搜索的损失。
AI 把吉祥物夸成天才,又判成神秘圆球,确实很好笑。可惜再多赞美也付不了服务器账单。
参考资料(5条)
- https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- https://developers.google.com/search/docs/appearance/ai-features
- https://developers.google.com/search/blog/2026/06/gen-ai-performance-reports
- https://support.google.com/analytics/answer/12923437?hl=ja
- https://support.google.com/analytics/answer/15258820






