[已解决]怎么解决天猫爬取商品第二页失败

城中城

给个思路，我想不出怎么弄

1.     <script>
   
2.     window.PAGE_START_LOAD_TIME = new Date().getTime();
   
3.     window.LOGIN_UMID_LOAD = true;
   
4.     window.viewConfig = {"api":{"smsLoginApi":"/newlogin/sms/login.do?appName=taobao&fromSite=0","loginApi":"/newlogin/login.do?appName=taobao&fromSite=0","smsLoginRegAp......
   
5.     window.viewData = {"appEntrance":"taobao_pc","appName":"taobao","awscCdn":"//g.alicdn.com","countryAreaConfig":{"countryList":[{"areaName":"中国大陆","checkKey":"^(86){.......
   
6.     window._lang = {"error-login-mobile-empty":"请输入手机号码","view-mobile-country-area-popup-cancel-btn-title":"取消","view-pwdlogin-mobile-loginid-title":"手机号","view-qrcodelog.....

复制代码

下面源码是学习其他作者模仿写的
这里url = 'https://list.tmall.com/search_product.htm?q=' + item# + '&s=' + str(num)  加上这个就不行 就会出现上面的问题

1. import requests
   
2. import re
   
3. import bs4
   
4. 
   
5. def getHtmlText(url):
   
6.     header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3775.400 QQBrowser/10.6.4209.400'}
   
7.     try:
   
8.         res = requests.get(url, headers = header, timeout = 30)       #超出加载网页时间，就退出
   
9.         res.raise_for_status()                      #检查信号强度
   
10.         res.encoding = res.apparent_encoding        #修改编码格式
    
11.         return res.text
    
12.     except:
    
13.         return ''
    
14. 
    
15. def parsPage(html, report):
    
16.     html = bs4.BeautifulSoup(html, 'html.parser')
    
17.     cp = re.compile('<[^>]+>| |\n|\t')
    
18. 
    
19.     product_prices = html.find_all('p', class_ = 'productPrice')
    
20.     product_titles = html.find_all('p', class_ = 'productTitle')
    
21. 
    
22.     for product_price, product_title in zip(product_prices, product_titles):
    
23.         price = cp.sub('', str(product_price))
    
24.         title = cp.sub('', str(product_title))
    
25.         report.append([price, title])
    
26. 
    
27. def printGoodList(report, temp):
    
28.     tplt = '{:4}\t{:8}\t{:4}'
    
29.     print(tplt.format('序号', '价格', '商品名称'))
    
30. 
    
31.     while True:
    
32.         for i in range(len(report)):
    
33.             print(tplt.format(str((temp*60) + i+1), report[i][0], report[i][1]))
    
34.         yield
    
35. 
    
36. def main():
    
37.     # item = input('请选择你要查找的物品？')
    
38.     # page = input('请选择需要查找的页数？')
    
39. 
    
40.     item = '书包'
    
41.     page = '1'
    
42. 
    
43.     for temp in range(int(page)):
    
44.         report = []
    
45.         num = temp*60
    
46.         url = 'https://list.tmall.com/search_product.htm?q=' + item# + '&s=' + str(num)  加上这个就不行
    
47.         print(url)
    
48.         html = getHtmlText(url)
    
49.         print(html)
    
50.         parsPage(html, report)
    
51. 
    
52.         try:
    
53.             print(report)
    
54.             next(printGoodList(report, temp))
    
55.         except StopIteration:
    
56.             break
    
57. 
    
58. if __name__ == '__main__':
    
59.     main()
    

复制代码

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-9-16 17:46:40

淘宝没这么简单爬的吧，应该要登陆、cookie之类，爬第二页就没拿到数据，出来的是登陆页面

用selenium先登陆，再获取数据试试吧

跳转到最佳答案楼层

疾风怪盗

淘宝没这么简单爬的吧，应该要登陆、cookie之类，爬第二页就没拿到数据，出来的是登陆页面

用selenium先登陆，再获取数据试试吧

城中城

疾风怪盗 发表于 2020-9-16 17:46
淘宝没这么简单爬的吧，应该要登陆、cookie之类，爬第二页就没拿到数据，出来的是登陆页面

用selenium先 ...

selenium这个是库吗？
用途是把我的信息输入进去 输出token码这样对吧  
然后用token码进去访问操作？

疾风怪盗

城中城 发表于 2020-9-16 18:10
selenium这个是库吗？
用途是把我的信息输入进去 输出token码这样对吧  
然后用token码进去访问操作？ ...

差不多意思吧
百度搜一下就知道了，有很多教程，不仅需要pip安装，还需要下载对应浏览器的驱动
速度慢点，但是可以突破很多限制，比如需要登陆的，有动态js加载的