基於CUDA的GPU並行程序開發指南
托爾加·索亞塔
704人在讀
30.1萬字總字數
¥107定價
托爾加·索亞塔
本書旨在幫助讀者瞭解與基於CUDA的並行編程技術有關的基本概念，並掌握實用c語言進行GPU高性能編程的相關技巧。本書第一部分通過CPU多線程編程解釋了並行計算，使得沒有太多並行計算基礎的讀者也能毫無阻礙地進入CUDA天地；第二部分重點介紹了基於CUDA的GPU大規模並行程序的開發與實現，並通過大量的性能分析幫助讀者理解如何開發一個好的GPU並行程序以及GPU架構對程序性能的影響；本書的第三部分介紹了一些常用的CUDA庫。 本書內容詳盡、實例豐富，可作爲高等院校相關專業高年級本科生和研究生課程的教材，也可作爲有關專業研究生或計算機技術人員的參考書。
CUDA入門的好教程 本書淺顯易懂地講了CPU到GPU的硬件架構和並行原理，以及他們連接的PCIe總線，並且用來圖像旋轉等例子一一演示瞭如何一步步優化的過程。另外，還介紹了SRAM高速緩存和DDR DRAM內存的原理，瞭解硬件基礎有利於在優化時理解算力和帶寬瓶頸。 從CPU處理器硬件架構的整體來看，CPU和GPU芯片還挺相似的： 1. 都由多顆核心構成，核心之間計算獨立。GPU是SM，可看做大核心。 2. 有memory control連接內存，以及PCIe連接外設，CPU還有I/O控制器等 3. 設置多級緩存，CPU有L123三級緩存，GPU有兩級緩存，其中L3/L2是片級別緩存，所有核心共享，L1是核心內緩存，GPU也用作共享緩存，供核心顯式使用，加快效率。 但是核心內部差別較大。 • CPU核心內部是單個處理器，當然後面也有AVX等向量單元。 • CPU第一層核心是SM streaming multipleprocessor流式多處理器，它天然處理並行數據，一個SM現在是包含4個硬件warp，一個warp可以處理32線程，所以一個SM能處理32x4=128個數據。 這是因爲GPU天生就是爲並行計算設計的，它開始是了遊戲渲染中像素計算和3D數據計算，後來逐漸擴展到科學領域，現在在AI計算中大放異彩，這是因爲它就適合大數據計算，即數據不同但是計算相同的簡單運算。 本書從Fermi介紹到Maxwell，沒有涉及到最新的NV GPU，所以沒有tensor core，可能成書時間較早。另外，其中的例子不太好，不如直接寫技術。但是用來了解GPU原理是值得推薦的。
挺喜歡這本書。雖然講是比較久之前的架構了，但作者作爲講師對GPU的工作做了形象的比喻，中間列的數字計算都很嚴謹