廣州博為峰教育

課程介紹

生活中大家在上網時都有一些喜歡的圖片，喜歡的音樂，喜歡的小說或文章，工作中也有一些東西需要從網上獲取并進行數據分析，我們傳統(tǒng)方式獲取這些信息可能是經過復制粘貼或者一個個**而來，且有的數據還不能直接獲取到，當我們生活或工作中想要批量獲取網絡結構化數據的時候，手工操作的方式效率太低，大量數據獲取的需求讓人力不從心，而爬蟲就可以解決這樣的問題，讓快速批量地從網上獲取數據并按自己想要的方式存儲不再是問題。獲取下來的數據可以自己及時欣賞，也可以結構化地存儲到辦公文件或者數據庫中，需要時取出進行查看或者數據分析。

本期課程利用Python語言從爬蟲零基礎開始系統(tǒng)地教大家如何一步步編寫爬蟲代碼完成網絡數據的爬取，得到自己想要的結構化數據。課程會經過理論+代碼實踐的方式由淺入深地教會大家爬蟲編寫技能，每一章理論完了之后會經過一個案例來給大家展示如何一步步編寫代碼來實現爬取不同類型網站的數據，只要大家能跟著我的思路一步步操作和理解就能完成，并且經過舉一反三就能爬取自己想要的結構化信息。

本課程主要針對爬蟲零基礎的同學（至少有一定編程基礎，能基本看懂代碼邏輯，zui好有Python基礎，有其他語言基礎的同學可以先了解一下Python特點和基本的語法結構，有一定熟悉度之后學習起來才會非?！?，完全沒編程基礎的同學可以先學習一下Python基礎語法，Python是非常容易入手的語言，可以在極短的時間就能掌握基本語法），學習完成后應對互聯網上百分之八十五的網站數據爬取應該沒有問題，但是想要成為專業(yè)爬蟲工程師，還需要大家學習更多的技巧，網絡知識，算法知識等，學無止境，大家在課后可以經過百度或者一些專業(yè)網站查詢在課堂中我講的自己沒聽明白的問題或者我沒講到的知識做一些拓展，勤加練習，那么整個爬蟲課程掌握起來就會容易很多。

課程內容

第 一章 初識爬蟲

概述爬蟲課程涉及的概念，內容，軟件，工具等等，讓學員對即將開始的課程有一個初步了解。

案例：爬取豆瓣電影數據

第二章 爬蟲步驟及底層原理

講解編寫爬蟲代碼基本步驟和各步驟類型變換過程。

案例：分析下廚房菜譜的爬蟲步驟

第三章 BeautifulSoup實戰(zhàn)

經過BeautifulSoup模塊講解爬蟲核心步驟中的數據解析和提取方法，完整演示代碼實現過程。

案例：編寫下廚房菜譜爬蟲代碼

第四章 數據抓取方法匯總

介紹幾種常用數據抓取的方法，雖然只要掌握其中任何一種即可，但多會幾種的話可以使應用更靈活。

案例：以百度為例演示不同的數據抓取方法

第五章 Json和動態(tài)數據

初步了解什么是Json，以及如何經過爬蟲代碼提取Json數據。

案例：QQ音樂數據爬取

第六章 selenium實戰(zhàn)

selenium模擬人工操作瀏覽器，就像真人操作一樣，利用瀏覽器內核操作可以避開絕大部分的反爬措施，因此有的人稱它為爬蟲的終極武器。

案例：模擬QQ郵箱自動登錄

第七章 協程-定時-數據存儲

在實際的爬蟲應用中，我們除了爬取數據之外，還要考慮爬取數據的效率，在指定時間爬取、周期性爬取數據，同時還要考慮將數據如何結構化存儲，存儲在什么位置的問題，本章就是來分析如何解決這些問題。

案例：爬取薄荷網食物熱量信息

第八章 Scrapy框架

框架就是一個完整的結構，就像一輛車，前面章節(jié)類似于一個一個零件拼接組成一輛爬蟲的車，而爬蟲框架本身就是一輛爬蟲車，只需要加上油和一些關鍵的零件就可以開動，scrapy是python爬蟲的框架，是專業(yè)爬蟲工程師無法繞開的。

案例：爬取豆瓣讀書數據

第九章 反爬和反反爬

爬蟲過程中會發(fā)現一些網站會限制爬蟲進行數據爬取，這是網站開發(fā)人員基于服務器壓力或者數據安全等原因而做的限制，而爬蟲工程師怎么會甘心自己看上的數據而不可得呢，這是雙方技術人員就會進行博弈，從心理上，技術上，物理成本和時間成本上考慮，因此有反爬就會有反反爬。本章就是分析常見反爬措施和反反爬技巧和思路，拓展爬蟲之路。

案例：爬取BOSS直聘數據

適合人群

python初學者

初級爬蟲工程師

生活和工作中有批量獲取數據需求的人

課程背景

隨著信息社會的不斷發(fā)展，互聯網上的信息不斷增多，人們基于不同的目的對網絡中產生的信息有了提取的意愿和需求，生活中**一些自己喜歡的小說、圖片或音樂，平常學習和工作中**一些需要的網絡資料，另外一些公司可能還需要從網絡上**大量的數據用于專業(yè)的數據分析，為企業(yè)發(fā)展決策提供數據支撐。而傳統(tǒng)的從互聯網獲取數據都是手工**、復制粘貼另存等方式，效率很低，在大數據時代需要更加快速高效地獲取數據和更專業(yè)的存儲數據，因此爬蟲技術應運而生。

課程亮點

理論和代碼實踐緊密結合，可以快速上手學會各類常用爬蟲技巧并用于生活和工作中。

課程收獲

學習完課程，您將會掌握python爬蟲的基本模塊使用，常用爬蟲技巧，并能夠用于實踐，獨立爬取各類不同的網站數據，提升生活和工作效率。

課程前提

學前知識儲備：有一定代碼編寫基礎（如在學校學習過編程課程，zui好了解過python語言，會編寫基本的python代碼zui好），了解基本的網絡基礎知識。