User-agent: *
# 允许抓取多语言主页目录
Allow: /cn/
Allow: /en/
Allow: /jp/
Allow: /ko/
Allow: /ru/
Allow: /es/
Allow: /de/
Allow: /fr/

# 允许抓取每个语言目录下的特定页面类型
Allow: /cn/apps/
Allow: /en/apps/
Allow: /jp/apps/
Allow: /ko/apps/
Allow: /ru/apps/
Allow: /es/apps/
Allow: /de/apps/
Allow: /fr/apps/

Allow: /cn/favorites/
Allow: /en/favorites/
Allow: /jp/favorites/
Allow: /ko/favorites/
Allow: /ru/favorites/
Allow: /es/favorites/
Allow: /de/favorites/
Allow: /fr/favorites/

Allow: /cn/navigation/
Allow: /en/navigation/
Allow: /jp/navigation/
Allow: /ko/navigation/
Allow: /ru/navigation/
Allow: /es/navigation/
Allow: /de/navigation/
Allow: /fr/navigation/

Allow: /cn/sites/
Allow: /en/sites/
Allow: /jp/sites/
Allow: /ko/sites/
Allow: /ru/sites/
Allow: /es/sites/
Allow: /de/sites/
Allow: /fr/sites/

Allow: /cn/tags/
Allow: /en/tags/
Allow: /jp/tags/
Allow: /ko/tags/
Allow: /ru/tags/
Allow: /es/tags/
Allow: /de/tags/
Allow: /fr/tags/

Allow: /cn/video/
Allow: /en/video/
Allow: /jp/video/
Allow: /ko/video/
Allow: /ru/video/
Allow: /es/video/
Allow: /de/video/
Allow: /fr/video/

# 禁止抓取的页面
Disallow: /cn/search
Disallow: /en/search
Disallow: /jp/search
Disallow: /ko/search
Disallow: /ru/search
Disallow: /es/search
Disallow: /de/search
Disallow: /fr/search
Disallow: /cn/users
Disallow: /en/users
Disallow: /jp/users
Disallow: /ko/users
Disallow: /ru/users
Disallow: /es/users
Disallow: /de/users
Disallow: /fr/users
Disallow: /?*

Sitemap: https://dage.top/api/sitemap.xml
Sitemap: https://dage.top/api/sitemap_jp.xml
Sitemap: https://dage.top/api/sitemap_ru.xml
Sitemap: https://dage.top/api/sitemap_de.xml
Sitemap: https://dage.top/api/sitemap_es.xml
Sitemap: https://dage.top/api/sitemap_fr.xml
Sitemap: https://dage.top/api/sitemap_ko.xml
Sitemap: https://dage.top/api/sitemap_en.xml
Sitemap: https://dage.top/api/sitemap_video.xml