robots.txt是驻留在网站根目录中的文本文件，包含各种机器人（主要是搜索引擎机器人）的说明，用于如何为其网页抓取和索引您的网站。 robots.txt包含搜索机器人或其他机器人名称，目录列表允许或不允许为机器人编制索引和爬行，机器人爬行和索引的时间延迟甚至站点地图网址。 可以通过robots.txt强制执行完全访问或完全限制或自定义访问或限制.

robots.txt对SEO非常重要。 您的网站目录将根据robots.txt说明在搜索引擎上进行抓取和编制索引。 因此，在您的网站根目录中添加robots.txt文件。 正确编写，包括内容丰富的页面和其他公共页面，并排除包含敏感信息的任何页面。 请记住，robots.txt指令限制访问您网页的敏感信息，这在网页安全的基础上并不强大。 所以不要在安全目的上使用它.

Sitemap是一个xml文件，其中包含您网站网址的完整列表。 它用于包含您网站的目录，用于搜索引擎的爬网和索引以及用户访问。 它可以帮助搜索引擎机器人更快速，更深入地索引您的网站。 它与robots.txt大致相反 您可以通过各种免费和付费服务创建sitemap.xml，或者您可以用正确的方式编写它（阅读如何编写站点地图）.

还记住这些事情:
1) 站点地图必须小于10 MB（10,485,760字节），并且最多可包含50,000个网址。 如果你有更多的uls比这创建多个站点地图文件并使用站点地图索引文件.
2) 将您的站点地图放在网站根目录中，并在robots.txt中添加站点地图的网址.
3) 可以使用grip压缩sitemap.xml以加快加载速度。

断开的链接：断开的链接是网站无法访问的链接或网址。 由于链路权益减少，较高的断开链接率会对搜索引擎排名产生负面影响。 它对用户体验也有不良影响。 链接断开有几个原因。 所有都列在下面.
1) 您输入的链接不正确.
2) 目标网站删除了您提供的链接网页。 （常见的404错误）.
3) 目的地网站不可逆转地移动或不再存在。 （更改域名或网站被阻止或功能失调）.
4) 用户可能会阻止访问目标网站的某些防火墙或类似软件或安全机制.
5) 您已提供指向被防火墙或类似软件阻止以进行外部访问的站点的链接.

W3C（设置HTML标准的联盟）在HTML4中声明旧的HTML标签和属性已被其他更多功能或灵活的替代品（无论是HTML还是CSS）所取代。 浏览器应继续支持已弃用的标签和属性，但最终这些标签可能会过时，因此无法保证未来的支持.

内链css是hss页面下的css代码驻留在html标签下，不在外部.css文件中。 内联css会增加网页的加载时间，这是一个重要的搜索引擎排名因素。 所以尽量不要使用内链css.

微数据是html字符串或段落的基础信息。 考虑一个字符串“阿凡达”，它可以引用论坛，博客或社交网站上的个人资料图片，或者它可以指一个非常成功的3D电影。 Microdot用于指定有关html字符串的参考或基础信息。 Microdata为搜索引擎和其他应用程序提供了机会，可以更好地了解您的内容，并在搜索结果中更好地显示.

如果在单个IP地址下注册多个域名，则搜索机器人可以将其他站点标记为一个站点的副本。 这是ip规范化。 有点像url canonicalizaion。 要解决此问题，请使用重定向.

纯文本电子邮件地址易受电子邮件报废代理的攻击。 电子邮件报废代理会抓取您的网站并收集以纯文本格式写入的每个电子邮件地址。 因此，您网站中存在纯文本电子邮件地址可以帮助垃圾邮件发送者收集电子邮件。 这对搜索引擎来说可能是个坏兆头.

为了解决这个问题，您可以通过多种方式模糊您的电子邮件地址:
1) CSS伪类.
2) 向后写你的电子邮件地址.
3) 使用CSS转动显示.
4) 使用javascript对您的电子邮件地址进行模糊处理.
5) 使用wordpress和php（仅限wordpress网站）.