走进搜索引擎

里面部分内容介绍得不够通俗易懂，比起《这就是搜索引擎》复杂了些。相关性部分、系统层面优化性能部分没看。

介绍搜索引擎原理通俗易懂，第六章开始公式过多，不适合非专业人士阅读。

SEO—大数据时代的淘金者 -------读《走进搜索引擎》有感   自2012年以来，人们越来越多地提到 “大数据”，用这个词来描述信息爆炸时代产生海量数据，并命名与之相关的技术发展。这个词首先出现在国内的一些互联网为主题的沙龙会议中，然后被金融界的国金证券、国泰君安等写进了投资推荐报告。 作为每天需处理海量数据、对全球经济商业变化有着高灵敏度的全球知名咨询公司“麦肯锡”公司第一个提出了“大数据”时代已经到来。麦肯锡认为：数据，已渗透到了各行各业、各个领域，现在仍然在爆发式地增长着，怎样对这些海量数据进行挖掘，并抓取出数据之间潜藏的关系，将会迎来新一波生产和消费盈余浪潮。 将采集到的数据可视化，仅仅是很LOW的一种应用展示。后台的智能算法、分析能力、关联性的挖掘并形成新的数据关联才是大数据研究的关键。我们现在所说的数据，不再是简单的、存储在数据库中规则化的数据信息，它包含了结构化、非结构化种类繁多的大量数据，如网络日志、音频、视频、图片、地理位置信息等等，而这些多类型的数据对处理数据的能力提出了更高的要求。这个时候不得不提到的一个工具就是搜索引擎。 搜索引擎（Search Engine），用最简洁的话来说，就是用户定义的信息聚合系统。书中提到了目前公认的三种搜索引擎： 第一种是目录式搜索引擎，这是由于互联网早期，信息检索是通过人工发现信息，然后依靠编辑人员的知识进行甄别、并在此基础上进行分类，用户就在这个分类结构中进行浏览。其代表有雅虎、搜狐、新浪，这几个网站对90年代就开始网络生涯的网民来说，是非常熟悉的，那时候如果要查看综合性新闻，这些网站最能满足大众需求。目录式搜索引擎的特点是检索目标结果是网站，可以看做是网站的黄页，不足是数据量有限、更新不及时，并且人工维护成本较高。第二种是全文搜索引擎，这种引擎是对互联网中所有网页进行全文检索，提取其中的关键字与搜索内容相匹配的记录，按照一定的排列顺序返回给用户。这类搜素引擎的优点是信息量大、更新及时且无人工干预；缺点是返回信息过多，会出现很多无关的信息，用户必须从结果中自己筛选。其代表有我们常用的谷哥、度娘，国内目前只能使用度娘，作为中国好市民，为了发展我国自主开发的软件，我还是坚持用度娘，只是希望度娘商业广告少一些，不要让付费推广毁了一个知识智库。第三种是元搜索引擎，这类搜索引擎在接受用户查询请求后，同时在多个搜索引擎上递交搜索请求，然后将返回结果进行重复排除、重新排序等一系列处理后，将结果返回给用户。这类搜索引擎的优点返回结果信息量大，缺点是不能充分使用原搜索引擎的功能，用户要做更多的筛选。其代表InfoSpace、Dogpile（又都是美国公司科技公司的产品，用它们搜索的结果都是综合自多个搜索引擎，包括谷哥、雅虎等等）。 注：作者在文中提到的webcrawler，用度娘找半天也没找到，只用一句话概括“著名搜索引擎之一”，好吧，度娘仍是有缺失的，有空的时候，可以把这个字段创建起来。   像谷哥、度娘这种搜索引擎，通常采用负载均衡的IP组技术，同样的域名对应于多个IP地址，并对这些网页留存快照，在自己的服务器上存有相关网页的信息，当用户通过这些搜索引擎开始搜索关键字时，就能根据这些分段存储的信息开始搜索与之匹配的文字信息，然后返回给用户。在这种搜索中，我们需要了解“爬虫”和种子站点。这里的爬虫不是我们日常生活中看到的昆虫，它是一组运行在计算机中的程序，在搜索引擎系统中负责抓取新的、可公共访问的网页、图片以及文档信息等资源。它的工作原理是：首先下载一个网页到主机，分析其中的链接，然后漫游到这些链接所指向的网页，循环往复。这里的种子站点是指爬虫开始抓起的起点，一般是各大门户网站的首页。世界上第一只“爬虫”是麻省理工学院的学生马修.格雷在1993年写成的，他把这段程序命名为“万维网漫游者”，虽然当时编写的目的不是为了做搜索引擎，但是它的出现，为今天搜索引擎的发展和广泛应用奠定了基础。其后的“爬虫”开始被“码农”越写越复杂，逐渐有了多策略、负载均衡及大规模增量抓取功能，这些被进化了的“爬虫”使得搜索引擎几乎能够检索全球的门户网页，即使这些网页后期被删除，也会留存一个网页快照供后面的检索者使用。 对入门了解搜索引擎的朋友来说，读完以上这些信息就已经足够了，书中后面几章是关于如何进行运算的编程语言等技术内容，不一定非要学习理解，当然计算机专业的，请随意。 强大的搜索引擎是大数据分析前做好数据挖掘准备工作必要工具，也是大数据挖掘的基本技术。而大数据时代又为搜索引擎带来了无数发展的机会，通过信息流动管道的转变，从中挖掘出各种商业机遇，淘出这座“矿山”中的金矿。

专业技术书 普通人用不上，我也看不懂，翻看下感兴趣的有价值的笔记都在这里了 《走进搜索引擎》 潘雪峰 花贵春 梁斌编著 35个笔记 2.2.1 蝴蝶结型的万维网 ◆ [插图]图2-1 万维网的蝴蝶结型结构 ◆ 其中的网页分为如下4种类型，各约占1/4。 ◆ （1）蝴蝶结的中部（SCC，Strongly Connected Component）。这种类型的网页彼此相连，任意去掉有限个网页，不会影响其连通度 ◆ （2）蝴蝶结的左部（IN）。 ◆ 这种类型的网页指向中心部分（SCC），称为“目录型网页”（hub page），即通常说的导航网页。 ◆ （3）蝴蝶结的右部（OUT）。 ◆ 这种类型的网页被中心部分指向，称为“权威性网页”（authority page）。这些网页 ◆ 被引用次数多，表示为大多数网页对其“认可度”高。 ◆ 4）蝴蝶结的须脚（Tendrils）。这种类型的网页表现为从左部链出到其他网页，或者其他网页链入右部或从左部直接链入右部 ◆ 通过万维网的结构特征得出如下两个结论。（1）爬虫尽可能选择蝴蝶结的左部，或者中部的网页为起始访问结点集合（st ◆ （2）网页分为目录型网页和权威性网页， ◆ 目录型网页为普通网民服务，便于网民点击从而继续浏览更多的网页。该部分网页对于深入抓取权威性网页有重大意义 ◆ 权威性网页是那些处于蝴蝶结中部或者右部的网页，这类网页的反向链接数很多，而正向链接数相对较少，通常认为这类网页比较重要。 2.2.2 万维网的直径 ◆ 万维网直径 ◆ 又称为“Web直径”，其定义为如果用d表示存在一条从网页u到网页v的路径 ◆ 万维网上所有不同的连通网页对（pair of connected page）所构成的最短路径的平均长度即Web直径 ◆ 拟合出计算万维网的经验公式：d = 0.35 +2.06 log(N)，其中论文中N取8*108，当时得到的结论是互联网直径约为19。 ◆ 2024/11/17发表想法 +信息茧房的形成 原文：网页的平均出度为25.7，即平均每一个网页含有25.7个指向其他网页的链接。这些链接引导网民继续在网上冲浪，直到对某个主题厌倦，开始下一个主题。 ◆ 网页的平均出度为25.7，即平均每一个网页含有25.7个指向其他网页的链接。这些链接引导网民继续在网上冲浪，直到对某个主题厌倦，开始下一个主题。 ◆ 万维网的网页结构并没有我们想象的深，却出乎我们意料的宽， ◆ 万维网错综复杂，任选一个抓取路线不能保证总是最优。为了防止爬虫一路走到黑，充分考虑万维网的万维网直径后，采用“深度策略”控制抓取深度，从而完美地解决了这个问题。 2.2.3 万维网的规模及变化特征 ◆ 2000年斯坦福大学的Cho和Garcia-Molina随机选用50万个网页做样本，发现23%的网页是每天更新的，其中40%域名后缀为.com的网页是每天更新的，网页的半衰期（half-life）为10天。也就是说50万的网页在10天后只剩下25万，再过10天只剩下12.5万 ◆ 网页的变化可以归结为泊松过程（Poisson process）模型（在网页重访策略部分会详细提到这个模型 ◆ 日新月异、一日千里 2.2.4 网页的特征 ◆ 对于搜索引擎来说，网页具有的3 大特征分别是挥发性（volatile）、半结构性（semi-structured）和隐蔽性（hidden）。 5.1.1 什么是信息熵 ◆ 1948年，香农提出了“信息熵”（shāng）的概念才解决了信息的量化问题。 ◆ 1948年，香农长达数十页的论文“通信的数学理论”成为信息论正式诞生的里程碑。 ◆ 2024/11/17发表想法 信息论是研究信息的本质、量化、传输、存储和处理的一门应用数学学科，由克劳德·香农于1948年创立。 基本概念 信息论的核心概念包括信息熵、信息量、信道容量等。信息熵衡量信息的不确定性或混乱程度，是信息论中用来描述信息丰富程度的一个重要指标。信息量则指消息中包含的新内容与新知识。 主要研究内容 - 通信系统: 信息论最初旨在研究通信系统的信息传输有效性及可靠性，如何在不确定的信道中传输信息。 - 数据压缩: 通过研究信息的冗余度来实现数据压缩，减少存储空间和提高传输效率。 - 密码学: 利用信息论的方法设计加密算法，保障信息的安全传输。 发展与应用 信息论的发展分为狭义和广义两个阶段。狭义信息论主要关注通信系统的编码理论，而广义信息论则扩展到包括计算机科学、认知科学等多个领域，研究信息的更广泛处理和利用。 影响及意义 信息论作为一门交叉学科，深刻影响了现代通信技术、计算机科学和人工智能等领域。它提供了一套通用的理论框架，用于理解和优化信息的处理、传输和利用过程。 原文：信息论 ◆ 信息熵（ ◆ 2024/11/17发表想法 +课里，用在检索 原文：香农通过“熵”阐明了概率与信息的关系，即变量的不确定性越大，熵也就越大，将其搞清楚所需要的信息量也就越大。 ◆ 香农通过“熵”阐明了概率与信息的关系，即变量的不确定性越大，熵也就越大，将其搞清楚所需要的信息量也就越大。 5.1.2 检索和查询的区别 ◆ 检索和查询的区别 5.1.3 检索词和查询词的区别 ◆ 普通用户提交给查询系的关键词称为“查询词 ◆ 经过查询系统分词，提交检索代理的称为“检索词 ◆ 例如用户提交查询词为“清华大学图书馆”，通过分词，提交给检索代理变成“清华大学”和“图书馆”两个检索词。为 -- 来自微信读书

巨复杂的搜索引擎，感觉书上说得个大概，只是复杂系统里的冰山一角

终于看完了，前面还能看懂，后面排序模型部分就有点看不大懂了，读此书还是需要一定的数学和统计学功底

走马观花，大致过了一遍，具体技术点没看，适合入门学习

有没有检索方法的详细使用方法介绍，比如介绍检索技巧的书呢，不是这种理论化的

前面还行，后面比较注重算法讲解，但是也蜻蜓点水的讲，重点性突出的不强