走進搜索引擎

裏面部分內容介紹得不夠通俗易懂，比起《這就是搜索引擎》複雜了些。相關性部分、系統層面優化性能部分沒看。

介紹搜索引擎原理通俗易懂，第六章開始公式過多，不適合非專業人士閱讀。

SEO—大數據時代的淘金者 -------讀《走進搜索引擎》有感   自2012年以來，人們越來越多地提到 “大數據”，用這個詞來描述信息爆炸時代產生海量數據，並命名與之相關的技術發展。這個詞首先出現在國內的一些互聯網爲主題的沙龍會議中，然後被金融界的國金證券、國泰君安等寫進了投資推薦報告。 作爲每天需處理海量數據、對全球經濟商業變化有着高靈敏度的全球知名諮詢公司“麥肯錫”公司第一個提出了“大數據”時代已經到來。麥肯錫認爲：數據，已滲透到了各行各業、各個領域，現在仍然在爆發式地增長着，怎樣對這些海量數據進行挖掘，並抓取出數據之間潛藏的關係，將會迎來新一波生產和消費盈餘浪潮。 將採集到的數據可視化，僅僅是很LOW的一種應用展示。後臺的智能算法、分析能力、關聯性的挖掘並形成新的數據關聯纔是大數據研究的關鍵。我們現在所說的數據，不再是簡單的、存儲在數據庫中規則化的數據信息，它包含了結構化、非結構化種類繁多的大量數據，如網絡日誌、音頻、視頻、圖片、地理位置信息等等，而這些多類型的數據對處理數據的能力提出了更高的要求。這個時候不得不提到的一個工具就是搜索引擎。 搜索引擎（Search Engine），用最簡潔的話來說，就是用戶定義的信息聚合系統。書中提到了目前公認的三種搜索引擎： 第一種是目錄式搜索引擎，這是由於互聯網早期，信息檢索是通過人工發現信息，然後依靠編輯人員的知識進行甄別、並在此基礎上進行分類，用戶就在這個分類結構中進行瀏覽。其代表有雅虎、搜狐、新浪，這幾個網站對90年代就開始網絡生涯的網民來說，是非常熟悉的，那時候如果要查看綜合性新聞，這些網站最能滿足大衆需求。目錄式搜索引擎的特點是檢索目標結果是網站，可以看做是網站的黃頁，不足是數據量有限、更新不及時，並且人工維護成本較高。第二種是全文搜索引擎，這種引擎是對互聯網中所有網頁進行全文檢索，提取其中的關鍵字與搜索內容相匹配的記錄，按照一定的排列順序返回給用戶。這類搜素引擎的優點是信息量大、更新及時且無人工干預；缺點是返回信息過多，會出現很多無關的信息，用戶必須從結果中自己篩選。其代表有我們常用的谷哥、度娘，國內目前只能使用度娘，作爲中國好市民，爲了發展我國自主開發的軟件，我還是堅持用度娘，只是希望度娘商業廣告少一些，不要讓付費推廣毀了一個知識智庫。第三種是元搜索引擎，這類搜索引擎在接受用戶查詢請求後，同時在多個搜索引擎上遞交搜索請求，然後將返回結果進行重複排除、重新排序等一系列處理後，將結果返回給用戶。這類搜索引擎的優點返回結果信息量大，缺點是不能充分使用原搜索引擎的功能，用戶要做更多的篩選。其代表InfoSpace、Dogpile（又都是美國公司科技公司的產品，用它們搜索的結果都是綜合自多個搜索引擎，包括谷哥、雅虎等等）。 注：作者在文中提到的webcrawler，用度娘找半天也沒找到，只用一句話概括“著名搜索引擎之一”，好吧，度娘仍是有缺失的，有空的時候，可以把這個字段創建起來。   像谷哥、度娘這種搜索引擎，通常採用負載均衡的IP組技術，同樣的域名對應於多個IP地址，並對這些網頁留存快照，在自己的服務器上存有相關網頁的信息，當用戶通過這些搜索引擎開始搜索關鍵字時，就能根據這些分段存儲的信息開始搜索與之匹配的文字信息，然後返回給用戶。在這種搜索中，我們需要了解“爬蟲”和種子站點。這裏的爬蟲不是我們日常生活中看到的昆蟲，它是一組運行在計算機中的程序，在搜索引擎系統中負責抓取新的、可公共訪問的網頁、圖片以及文檔信息等資源。它的工作原理是：首先下載一個網頁到主機，分析其中的鏈接，然後漫遊到這些鏈接所指向的網頁，循環往復。這裏的種子站點是指爬蟲開始抓起的起點，一般是各大門戶網站的首頁。世界上第一隻“爬蟲”是麻省理工學院的學生馬修.格雷在1993年寫成的，他把這段程序命名爲“萬維網漫遊者”，雖然當時編寫的目的不是爲了做搜索引擎，但是它的出現，爲今天搜索引擎的發展和廣泛應用奠定了基礎。其後的“爬蟲”開始被“碼農”越寫越複雜，逐漸有了多策略、負載均衡及大規模增量抓取功能，這些被進化了的“爬蟲”使得搜索引擎幾乎能夠檢索全球的門戶網頁，即使這些網頁後期被刪除，也會留存一個網頁快照供後面的檢索者使用。 對入門瞭解搜索引擎的朋友來說，讀完以上這些信息就已經足夠了，書中後面幾章是關於如何進行運算的編程語言等技術內容，不一定非要學習理解，當然計算機專業的，請隨意。 強大的搜索引擎是大數據分析前做好數據挖掘準備工作必要工具，也是大數據挖掘的基本技術。而大數據時代又爲搜索引擎帶來了無數發展的機會，通過信息流動管道的轉變，從中挖掘出各種商業機遇，淘出這座“礦山”中的金礦。

專業技術書 普通人用不上，我也看不懂，翻看下感興趣的有價值的筆記都在這裏了 《走進搜索引擎》 潘雪峯 花貴春 梁斌編著 35個筆記 2.2.1 蝴蝶結型的萬維網 ◆ [插圖]圖2-1 萬維網的蝴蝶結型結構 ◆ 其中的網頁分爲如下4種類型，各約佔1/4。 ◆ （1）蝴蝶結的中部（SCC，Strongly Connected Component）。這種類型的網頁彼此相連，任意去掉有限個網頁，不會影響其連通度 ◆ （2）蝴蝶結的左部（IN）。 ◆ 這種類型的網頁指向中心部分（SCC），稱爲“目錄型網頁”（hub page），即通常說的導航網頁。 ◆ （3）蝴蝶結的右部（OUT）。 ◆ 這種類型的網頁被中心部分指向，稱爲“權威性網頁”（authority page）。這些網頁 ◆ 被引用次數多，表示爲大多數網頁對其“認可度”高。 ◆ 4）蝴蝶結的須腳（Tendrils）。這種類型的網頁表現爲從左部鏈出到其他網頁，或者其他網頁鏈入右部或從左部直接鏈入右部 ◆ 通過萬維網的結構特徵得出如下兩個結論。（1）爬蟲儘可能選擇蝴蝶結的左部，或者中部的網頁爲起始訪問結點集合（st ◆ （2）網頁分爲目錄型網頁和權威性網頁， ◆ 目錄型網頁爲普通網民服務，便於網民點擊從而繼續瀏覽更多的網頁。該部分網頁對於深入抓取權威性網頁有重大意義 ◆ 權威性網頁是那些處於蝴蝶結中部或者右部的網頁，這類網頁的反向鏈接數很多，而正向鏈接數相對較少，通常認爲這類網頁比較重要。 2.2.2 萬維網的直徑 ◆ 萬維網直徑 ◆ 又稱爲“Web直徑”，其定義爲如果用d表示存在一條從網頁u到網頁v的路徑 ◆ 萬維網上所有不同的連通網頁對（pair of connected page）所構成的最短路徑的平均長度即Web直徑 ◆ 擬合出計算萬維網的經驗公式：d = 0.35 +2.06 log(N)，其中論文中N取8*108，當時得到的結論是互聯網直徑約爲19。 ◆ 2024/11/17發表想法 +信息繭房的形成 原文：網頁的平均出度爲25.7，即平均每一個網頁含有25.7個指向其他網頁的鏈接。這些鏈接引導網民繼續在網上衝浪，直到對某個主題厭倦，開始下一個主題。 ◆ 網頁的平均出度爲25.7，即平均每一個網頁含有25.7個指向其他網頁的鏈接。這些鏈接引導網民繼續在網上衝浪，直到對某個主題厭倦，開始下一個主題。 ◆ 萬維網的網頁結構並沒有我們想象的深，卻出乎我們意料的寬， ◆ 萬維網錯綜複雜，任選一個抓取路線不能保證總是最優。爲了防止爬蟲一路走到黑，充分考慮萬維網的萬維網直徑後，採用“深度策略”控制抓取深度，從而完美地解決了這個問題。 2.2.3 萬維網的規模及變化特徵 ◆ 2000年斯坦福大學的Cho和Garcia-Molina隨機選用50萬個網頁做樣本，發現23%的網頁是每天更新的，其中40%域名後綴爲.com的網頁是每天更新的，網頁的半衰期（half-life）爲10天。也就是說50萬的網頁在10天后只剩下25萬，再過10天只剩下12.5萬 ◆ 網頁的變化可以歸結爲泊松過程（Poisson process）模型（在網頁重訪策略部分會詳細提到這個模型 ◆ 日新月異、一日千里 2.2.4 網頁的特徵 ◆ 對於搜索引擎來說，網頁具有的3 大特徵分別是揮發性（volatile）、半結構性（semi-structured）和隱蔽性（hidden）。 5.1.1 什麼是信息熵 ◆ 1948年，香農提出了“信息熵”（shāng）的概念才解決了信息的量化問題。 ◆ 1948年，香農長達數十頁的論文“通信的數學理論”成爲信息論正式誕生的里程碑。 ◆ 2024/11/17發表想法 信息論是研究信息的本質、量化、傳輸、存儲和處理的一門應用數學學科，由克勞德·香農於1948年創立。 基本概念 信息論的核心概念包括信息熵、信息量、信道容量等。信息熵衡量信息的不確定性或混亂程度，是信息論中用來描述信息豐富程度的一個重要指標。信息量則指消息中包含的新內容與新知識。 主要研究內容 - 通信系統: 信息論最初旨在研究通信系統的信息傳輸有效性及可靠性，如何在不確定的信道中傳輸信息。 - 數據壓縮: 通過研究信息的冗餘度來實現數據壓縮，減少存儲空間和提高傳輸效率。 - 密碼學: 利用信息論的方法設計加密算法，保障信息的安全傳輸。 發展與應用 信息論的發展分爲狹義和廣義兩個階段。狹義信息論主要關注通信系統的編碼理論，而廣義信息論則擴展到包括計算機科學、認知科學等多個領域，研究信息的更廣泛處理和利用。 影響及意義 信息論作爲一門交叉學科，深刻影響了現代通信技術、計算機科學和人工智能等領域。它提供了一套通用的理論框架，用於理解和優化信息的處理、傳輸和利用過程。 原文：信息論 ◆ 信息熵（ ◆ 2024/11/17發表想法 +課裏，用在檢索 原文：香農通過“熵”闡明瞭概率與信息的關係，即變量的不確定性越大，熵也就越大，將其搞清楚所需要的信息量也就越大。 ◆ 香農通過“熵”闡明瞭概率與信息的關係，即變量的不確定性越大，熵也就越大，將其搞清楚所需要的信息量也就越大。 5.1.2 檢索和查詢的區別 ◆ 檢索和查詢的區別 5.1.3 檢索詞和查詢詞的區別 ◆ 普通用戶提交給查詢系的關鍵詞稱爲“查詢詞 ◆ 經過查詢系統分詞，提交檢索代理的稱爲“檢索詞 ◆ 例如用戶提交查詢詞爲“清華大學圖書館”，通過分詞，提交給檢索代理變成“清華大學”和“圖書館”兩個檢索詞。爲 -- 來自微信讀書

巨複雜的搜索引擎，感覺書上說得個大概，只是複雜系統裏的冰山一角

終於看完了，前面還能看懂，後面排序模型部分就有點看不大懂了，讀此書還是需要一定的數學和統計學功底

走馬觀花，大致過了一遍，具體技術點沒看，適合入門學習

有沒有檢索方法的詳細使用方法介紹，比如介紹檢索技巧的書呢，不是這種理論化的

前面還行，後面比較注重算法講解，但是也蜻蜓點水的講，重點性突出的不強