各位大大好
如题小弟发现MOMO购物网有使用JS渲染
所以我使用Selenium Chromedriver的Headless方式去抓取
商品品名、价格、商品网址
可是不管用什么方式
都没办法爬下来Q
以下是我的Code
from selenium import webdriver
from bs4 import BeautifulSoup
options = webdriver.ChromeOptions()
options.add_argument('headless')
driver = webdriver.Chrome(executable_path =
r'/Users/syu/Downloads/chromedriver',chrome_options=options)
driver.get('https://www.momoshop.com.tw/search/searchShop.jsp?keyword=adidas')
ps = driver.page_source
ps = driver.page_source
soup = BeautifulSoup(ps,'lxml')
接下来尝试用
items = driver.find_elements_by_css_selector('.prdName')
items = driver.find_elements_by_class_name('prdName')
items = soup.findAll('p',{'class':'prdName'})
怎么抓都抓不到任何东西
已经试了一整天
也爬了很多文
但都还是找不到原因Q
真的麻烦各位大大了QQ