一、爬虫 → 索引 → 搜索：基本流程
在用户搜索内容时，首先要确保网站内容已被搜索引擎收录。Google 的整个工作流程可以分为三个阶段：爬取→ 建立索引→ 搜索与排名
1. 网页抓取
Google 使用Googlebot爬虫程序（也称“蜘蛛”或“抓取工具”）自动从互联网上发现和抓取网页。Googlebot 访问新页面和更新页面，以及抓取网站所有者在GSC或通过站点地图提交的页面，收录到谷歌。谷歌蜘蛛机器人程序抓取网络上的数十亿个网页，决定哪些网站应该被抓取、抓取频率以及要从每个网站抓取的网页数量，都是谷歌搜索引擎算法流程的一部分。
如何确保网页被抓取
- 保持网站结构清晰，并建立良好的 内链/外链。
- 确保新页面有入口（能被其他页面链接到）。
- 避免使用 noindex 标签阻止重要页面被收录。
Googlebot 主要分析网页的内容结构，但它不会完全执行 CSS 或 JavaScript。它会：分析网页文字内容与用途，检查 robots.txt 文件，了解哪些页面允许或禁止抓取。
如果有不希望被抓取的页面，可以在 robots.txt 文件中进行屏蔽。
常见屏蔽类型包括：重复内容页面、私密页面、带查询参数的 URL、内容稀薄或测试页面等。
2. 建立索引
当 Googlebot 抓取网页后，会对网页内容进行深入分析，提取出：文本、标题、关键词、链接、图片、视频等信息。同时，它会检测内容是否重复，并选出最具代表性的“规范页面”（Canonical Page）用于索引。
Google 在索引阶段会重点关注以下因素：
页面标题（Title）
简洁准确地描述页面主题，会显示在浏览器标签和搜索结果中。
标题结构（H1、H2 等）
每个页面应有唯一的 H1 标签，并包含核心关键词。
元描述（Meta Description）
简要说明页面内容，显示在搜索结果标题下方。应清晰、有吸引力，不宜过短或过长。
关键词（Keywords）
应与用户的搜索词自然匹配，避免堆砌或使用无关关键词。
图片优化
图片应添加 alt 文本（替代文字），提升可访问性与 SEO 友好度。
网站结构与导航
结构清晰、层级合理，让用户和爬虫都能轻松找到内容。
移动友好性
Google 优先索引移动端内容。响应式设计、快速加载、无干扰弹窗是关键。
加载速度（Page Speed）
影响用户体验与排名。建议：优化图片（使用 WebP 格式）、启用缓存、提升服务器响应速度。
3. 搜索排名
当用户输入搜索关键词时，Google 会：
- 从索引库中检索相关网页；
- 依据多种算法计算页面的相关性与权威度；
- 将最相关、最优质的结果呈现在搜索结果页（SERP）中。
搜索排名是一个动态循环过程。Google 持续改进算法，以确保用户获得最相关、最高质量的结果。
二、排名算法发展史
1.基于内容的匹配（20世纪90年代早期）
人工目录搜索引擎和爬虫搜索引擎并存，那时候排名机制非常简单，主要依赖于网页自身的内容和元数据。SEO就是在标题、元标签和内容把关键词重复足够多的次数。比重复100次关键词的网页排名更好的技巧是什么，就是把关键词重复200次。在这种排名机制下，网站管理员很快发现，只要在页面中堆砌关键词或在元标签中塞满不相关的高搜索量关键词，就能提高排名。这导致搜索结果质量低下，用户体验极差。搜索引擎因此开始放弃完全依赖元标签等可被随意操控的因素。
2.基于链接的权威度（1998年至今）
搜索引擎的工程师们开始绞尽脑汁研究排名算法，李彦宏在96年开发了基于超链接的 RankDex 站点评分算法，98年 Brin 和 Page 开发了基于外链的 PageRank 算法，并创立了谷歌。谷歌的诞生是搜索引擎算法发展史上最重要的里程碑。谷歌的网络爬虫和 PageRank 算法对于信息检索领域来说是革命性的。谷歌搜索引擎同时考量页内因素和页外因素。将网页之间的超链接视为一种“投票”机制。
PageRank算法基于两个核心假设（参考下方示意图）：
数量假设：一个网页被其他网页链接的数量越多，说明这个网页越重要。
质量假设：一个网页的重要性不仅取决于其入链的数量，还取决于这些入链的质量，即链接到该网页的网页本身的重要性。
PageRank算法相比之前的计算关键词的算法，具有极大的优势，但是还是不够聪明，过度依靠外链权重也有很大的弊端，交换/买卖链接、链接农场、点击诱饵、劣质单薄乃至盗版内容等等黑帽策略横行。这些乱象会严重影响用户的体验和行业的有序发展，所以谷歌在之后的几年乃至十几年里，不停地更新算法（比如Panda Update, Penguin Update, RankBrain等等），现如今 PageRank 早已不是唯一排名机制，甚至不是首要的排名因素。除了算法的更新，还会打击惩罚低质量和作弊行为，并更加注重用户体验。
