[分享文]用EXCEL VBA網路爬蟲擷取YAHOO股市資料
因應疫情，剛好可以好好學習網路爬蟲，
最簡單的還是用EXCEL裡的VBA來抓資料，
這個範例適用IE物件來抓取，
程式可以用本來改一改就好，細節不要出錯，
很快資料就全部下來了，如下。
用EXCEL錄製巨集爬取YAHOO股市資料，
會有亂碼的問題，用PYTHON來爬取，
對一般人來說門檻又太高，
如果如何在EXCEL VBA就可以輕鬆爬取網路資料，
就是本文所要分享的重點。
當然本文不是要推崇VBA有多棒，Python不好用，
我的想法是只要用對工具，工作可以很愜意，
可以協同應用工具，讓彼此都能發揮最大的強項，
是本文寫說明的，
另外順便分享在EXCEL除了用匯入資料從WEB功能外，
也可以用IE物件，
功能很像是Python的requests加上beautifulsoup4差不多功能，
不同的是，可以將下載的資料直接放在EXCEL，
也就是把EXCEL當成資料庫用，這樣可以減少很多資料庫匯入匯出的麻煩。
完整教學與影片連結：
https://terry55wu.blogspot.com/2021/05/excel-vbayahoo.html
吳老師 2021/5/22
python爬蟲下載影片 在 看板Python - [問題] 爬蟲下載影片愈到權限問題 - 批踢踢實業坊 的推薦與評價
如題目
我在下載某公開課的影片 基本上網站原始碼就可以看到url了
格式.mp4清清楚楚
不過後面會用"?"來加上一串字符 當作辨認權限
ex:
mp4.?e=1593381585&ri=1024&rs=85&h=d70001afb7cc65a247c2af14c1a242dc'
而小弟本人使用以下方法來下載影片 :
import requests
import shutil
def download_file(url):
local_filename = url.split('/')[-1]
with requests.get(url, stream=True) as r:
with open(local_filename, 'wb') as f:
shutil.copyfileobj(r.raw, f)
return local_filename
除非影片本身純粹是.mp4 否則加上?後一串似乎就無法requests
成為Invalid argument 想請問各位該如何解決?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.220.255.143 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Python/M.1593373314.A.329.html
所以檔名用000來排列就沒問題了
謝謝各位
※ 編輯: neiltsang (61.220.255.143 臺灣), 06/29/2020 21:32:04
... <看更多>