一。項目問題：

一般面試官的第一個問題八成都是問一下以前做過的項目，所以最好準(zhǔn)備兩個自己最近寫的有些技術(shù)

含量的項目，當(dāng)然一定要自己親手寫過的，在別的地方看的源碼，就算看的再清楚，總歸沒有自己敲的

了解的多。以下是抽出的幾點

1.你寫爬蟲的時候都遇到過什么反爬蟲措施，你是怎么解決的

2.用的什么框架，為什么選擇這個框架（我用的是scrapy框架，所以下面的問題也是針對scrapy）

二?？蚣軉栴}（scrapy）可能會根據(jù)你說的框架問不同的問題，但是scrapy還是比較多的

1.scrapy的基本結(jié)構(gòu)（五個部分都是什么，請求發(fā)出去的整個流程）

2.scrapy的去重原理 （指紋去重到底是什么原理）

3.scrapy中間件有幾種類，你用過那些中間件，

4.scrapy中間件再哪里起的作用（面向切面編程）

三。代理問題

1.為什么會用到代理

2.代理怎么使用（具體代碼，請求在什么時候添加的代理）

3.代理失效了怎么處理

四。驗證碼處理

1.登陸驗證碼處理

2.爬取速度過快出現(xiàn)的驗證碼處理

3.如何用機器識別驗證碼

五。模擬登陸問題

1.模擬登陸流程

2.cookie如何處理

3.如何處理網(wǎng)站傳參加密的情況

六。分布式

1.分布式原理

2.分布式如何判斷爬蟲已經(jīng)停止了

3.分布式去重原理

七。數(shù)據(jù)存儲和數(shù)據(jù)庫問題

1.關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫的區(qū)別

2.爬下來數(shù)據(jù)你會選擇什么存儲方式，為什么

3.各種數(shù)據(jù)庫支持的數(shù)據(jù)類型，和特點，比如：redis如何實現(xiàn)持久化，mongodb

是否支持事物等。。

八.python基礎(chǔ)問題

# 基礎(chǔ)問題非常多，但是因為爬蟲性質(zhì)，還是有些問的比較多的，下面是總結(jié)

1.python2和python3的區(qū)別，如何實現(xiàn)python2代碼遷移到python3環(huán)境

2.python2和python3的編碼方式有什么差別（工作中發(fā)現(xiàn)編碼問題還是挺讓人不爽的）

3.迭代器，生成器，裝飾器

4.python的數(shù)據(jù)類型

九。協(xié)議問題

# 爬蟲從網(wǎng)頁上拿數(shù)據(jù)肯定需要模擬網(wǎng)絡(luò)通信的協(xié)議

1.http協(xié)議，請求由什么組成，每個字段分別有什么用，https和http有什么差距

2.證書問題

3.TCP，UDP各種相關(guān)問題

十。數(shù)據(jù)提取問題

1.主要使用什么樣的結(jié)構(gòu)化數(shù)據(jù)提取方式，可能會寫一兩個例子

2.正則的使用

3.動態(tài)加載的數(shù)據(jù)如何提取

4.json數(shù)據(jù)如何提取

十二。算法問題

# 這個實在不好總結(jié)，比較考驗代碼功力，大部分會讓你寫出時間復(fù)雜度比較低的

算法。小伙伴們要善用python的數(shù)據(jù)類型，對python的數(shù)據(jù)結(jié)構(gòu)深入了解。

以上就是總結(jié)內(nèi)容，歡迎小伙伴們共同探討。每個公司各有特點，但是這些算是基礎(chǔ)，也是常見問題。

祝大家能找到理想工作，不寫bug