Yandex

Yandex 是俄罗斯搜索引擎，也是面向站长的管理平台。若你的页面要覆盖俄语用户，不要把它当成“Google 的俄语版本”。应在 Yandex Webmaster 里单独验证抓取规则、移除方式、canonical、语言版本与重新抓取，而不是假设 Google 的默认做法会自动成立。

直接答案

中文搜索里，Yandex 最常见的需求其实是“俄罗斯搜索引擎是什么”以及“做俄罗斯市场时要注意什么”。对 SEO 团队来说，重点不在空泛定义，而在几个可验证差异：Yandex 官方文档明确说，被 robots.txt 限制的页面仍可能出现在搜索里；要真正移除页面，应使用 noindex 或 X-Robots-Tag；canonical 指向重定向、被阻止收录或形成链条时可能失效；语言版本也不再建议只靠 Sitemap 传递。

面向 Yandex 时，哪些地方和 Google 不一样

1. `robots.txt` 主要是抓取控制，不是万能移除开关

Yandex 的 robots.txt 文档明确说，页面即使被 robots.txt 限制，仍可能参与 Yandex Search。若目标是从搜索结果里移除页面，Yandex 建议改用 robots meta noindex 或 X-Robots-Tag，并且不要再把这个 URL 挡在 robots.txt 外，否则机器人拿不到页面，也看不到移除指令。Google 的 noindex 文档也给出同样的执行边界。

简单说：

想降服务器负载、减少无效抓取：先用 robots.txt。
想让页面退出搜索：用 noindex、X-Robots-Tag、404 或 410。

2. canonical 不是写上就结束

Yandex 的 canonical 说明提到，若 canonical 目标会跳转、被阻止收录、跨域设置不当，或形成 canonical chain，机器人可能不会按你的预期处理。上线后至少检查：

页面源码里的 canonical 是否正确；
canonical 目标最终是否返回可访问的正确状态；
重复 URL 是否仍被收录或展示；
站内链接与 Sitemap 是否一致地指向首选 URL。

若你想快速做页面级核对，可以直接跑 Canonical Checker。

3. 语言版本要写在页面里，不要只放在 Sitemap

Yandex 的语言版本文档明确说，它已经不再支持通过 Sitemap 传递语言版本，建议改用页面级 alternative links。Google 的语言版本文档仍支持在 HTML、HTTP header 或 Sitemap 中声明 hreflang。如果你同时面向两边，最稳妥的做法就是把 reciprocal hreflang 直接写进页面源码。

<link rel="canonical" href="https://example.com/ru/page/" />
<link rel="alternate" hreflang="ru" href="https://example.com/ru/page/" />
<link rel="alternate" hreflang="en" href="https://example.com/en/page/" />
<link rel="alternate" hreflang="x-default" href="https://example.com/" />

如果用户可能先到语言选择页，或页面会按用户条件切换版本，再补 x-default。

4. Yandex Webmaster 应纳入日常验证

Yandex 官方把重要页面监控、页面检查、可搜索页面和查询统计都放在 Webmaster 里。一个最小可执行流程应该是：

把站点加入并验证到 Yandex Webmaster。
用内置工具检查 robots.txt 是否按预期生效。
检查重要 URL 当前是可搜索、被排除，还是被识别为重复页。
只有在规则已修正后，才请求移除或重新抓取。
变更前后对照查询统计，而不是只盯排名截图。

实操检查清单

确认俄语页面返回 200，关键正文在 HTML 里可见，没有被误挡。
将 robots.txt 只用于抓取控制；涉及移除时切到 noindex、X-Robots-Tag 或 404 / 410。
每个语言版本只保留一个自指 canonical，避免形成链条。
在每个语言版本源码里都放 reciprocal hreflang。
最后回到 Yandex Webmaster 里验证结果，再判断这页是否真正修好。

常见误区

把 Yandex 当成模糊概念，而不是有独立文档和工具链的搜索引擎。
想移除页面，却只改 robots.txt。
canonical 指向跳转页、被挡页，或多个候选 URL。
语言版本只在 Sitemap 里声明，源码里没有 reciprocal links。
只看排名，不看抓取和索引状态。

下一步

若你已经有站点要检查，先跑 Robots.txt Checker 验证抓取规则，再看 Canonical Checker、Hreflang 和 X-Robots-Tag。