爬蟲為什麼總是找不到文件
① 請大神幫我看看為什麼我這個簡單的小爬蟲得不到數據急急急急急！！！
關閉scrapy自帶的ROBOTSTXT_OBEY功能，在setting找到這個變數，設置為False即可解決。
我們觀察scrapy抓包時的輸出就能發現，在請求我們設定的url之前，它會先向伺服器根目錄請求一個txt文件：
這個文件中規定了本站點允許的爬蟲機器爬取的范圍（比如你不想讓網路爬取你的頁面，就可以通過robot來限制），因為默認scrapy遵守robot協議，所以會先請求這個文件查看自己的許可權
我們在setting改變ROBOTSTXT_OBEY為False，讓scrapy不要遵守robot協議，之後就能正常爬取了
② python寫一個網站注冊爬蟲，需要驗證碼打碼，但是驗證碼鏈接一訪問就是404錯誤，這是為什麼
不太確定你說的驗證碼鏈接是說登錄網站的，還是什麼頁面。404是找不到文件的意思（找不到或者拒絕你的訪問，）或者ip被ban了。現在各個網站注冊登錄這塊還是比較強的校驗機制。特別侍棚隱是注冊，你和陪一老廳個ip多次注冊很容易被識別的。很多網站批量注冊這一塊都有小坑，最好綜合分析一下。
③ 請問爬蟲時遇到網頁的Request URL是404要如何解決
404：文件資源找不到，可能是他的伺服器上沒有這個網頁（可歷明轎能之前有後槐友來某種原因被刪除了），可能你爬蟲抓取鏈接（URL）的時候沒抓對
怎麼辦？？？：直接跳過去就行了，人肢肆家不讓你抓或者都沒有這個資源，你再怎麼爬取都沒意思
④ 為什麼新建的網站會出現搜索引擎爬蟲無法訪問的情況
1：檢查robots文件中是否有屏蔽對應的搜索引擎蜘蛛。
如果robots中寫入了禁止搜索引擎抓取，那麼蜘蛛是不會抓取的。
2：檢查網站空間或伺服器的地理位置。
如果網站伺服器空間在國外或相對偏遠的國外，有可能爬蟲有無法訪問的情況。
3：咨詢空間服務商看是否對你所需要的蜘蛛做了屏蔽策略。
國外的一些空間有服務商針對搜索引擎做了一些策略，不排除屏蔽網路蜘蛛訪問的可能。
4：域名曾綁定別的伺服器，但此時更換了空間和綁定，原有ip已不存在
進入網路站長資源平台進行抓取測試，如果ip錯誤則點擊手動刷新，清除蜘蛛ip緩存記錄。
5：檢查遠程伺服器是否宕機，但是開啟了CDN永久在線功能
這種情況偶爾是有的，由於cdn緩存了網站，因此瀏覽器能打開，但是蜘蛛等其他方式無法打開。
⑤ python爬取網頁數據,為啥保存到Excel裡面沒有東西
如果您使用 Python 從網頁中抓取數據並將其保存到 Excel 文件，但 Excel 文件不包含任何數據，則可能有多種原因。以下是一些可能的原因和解決方案：
您沒有使用正確的方法將數據寫入 Excel 文件。若要將數據保存到 Excel 文件，需要態燃使用庫，例如 或 。這些庫提供可用於創建和寫入 Excel 文件的函數和類。確保已導入正確的庫，並使用正確的方法將數據寫入文件。openpyxlxlsxwriter
將數據寫入 Excel 文件後，您不會保存該文件。將數據寫入磨閉族 Excel 文件後，需要使用 or 方法保存對文件的更改。如果不保存文件，則不會保留寫入文件的瞎弊數據。save()save_as()
您沒有在正確的模式下打開 Excel 文件。使用 Python 打開 Excel 文件時，需要指定是要讀取文件還是寫入文件。如果以只讀模式打開文件，則無法向其寫入數據。確保在寫入模式下打開文件，在調用該方法時使用該選項。write_onlyopen()
您沒有將數據寫入 Excel 文件中的正確工作表。一個 Excel 文件可以包含多個工作表，您需要指定要將數據寫入哪個工作表。請確保在調用 or 方法將數據寫入 Excel 文件時使用正確的工作表名稱。append()write()
回答不易望請採納
⑥ 爬蟲結束後打開文件裡面沒有數據
df.to_csv(...)前列印輸出df有多少條數據，比慧昌如print(df.shape)，有可能是爬蟲模塊蘆碧顫沒有爬取陪敗到數據