求助一下这个爬虫不报错也没有任何结果 求大佬给我看看

260764454

import time
import pandas as pd
import requests
import schedule
from lxml import etree

header = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39'}


def get_msg():
    print('I am working...')
    url = 'https://www.cgmodel.com/'
    page = requests.get(url, headers=header)
    tree = etree.HTML(page.text)
    msg_dic = {}
    for i in range(1, 11):
        name = tree.xpath('//ul[@class="sale_ranking"]/li[{}]/p/a'.format(i))[0].text
        price = tree.xpath('//ul[@class="sale_ranking"]/li[{}]/span'.format(i))[0].text
        msg_url = url + tree.xpath('//ul[@class="sale_ranking"]/li[{}]/p/a/@href'.format(i))[0]
        msg_page = requests.get(msg_url)
        msg_tree = etree.HTML(msg_page.text)
        tags = []
        a = 1
        while True:
            try:
                tags.append(msg_tree.xpath('//*[@id="modeldeals"]/div[2]/div/a[{}]'.format(a))[0].text)
            except:
                break
            else:
                a += 1
        msg_dic[name] = {'price': price, 'tags': tags}

    df = pd.DataFrame(msg_dic).transpose()
    df.to_csv('test.csv', mode='a+', encoding='utf-8', header=False)


# print(df)
schedule.every(30).minutes.do(get_msg)
while True:
    schedule.run_pending()
    time.sleep(1)

wp231957

得看有没有反爬

Lai013

我这里可以正常相应
是不是你的IP被封了

260764454

Lai013 发表于 2022-6-12 18:02
我这里可以正常相应
是不是你的IP被封了

你复制下你代码我看下喃

Lai013

1. import time
   
2. import pandas as pd
   
3. import requests
   
4. import schedule
   
5. from lxml import etree
   
6. 
   
7. header = {
   
8.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
   
9.                   'Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39'}
   
10. 
    
11. 
    
12. def get_msg():
    
13.     print('I am working...')
    
14.     url = 'https://www.cgmodel.com/'
    
15.     page = requests.get(url, headers=header)
    
16.     tree = etree.HTML(page.text)
    
17.     msg_dic = {}
    
18.     for i in range(1, 11):
    
19.         name = tree.xpath('//ul[@class="sale_ranking"]/li[{}]/p/a'.format(i))[0].text
    
20.         price = tree.xpath('//ul[@class="sale_ranking"]/li[{}]/span'.format(i))[0].text
    
21.         msg_url = url + tree.xpath('//ul[@class="sale_ranking"]/li[{}]/p/a/@href'.format(i))[0]
    
22.         msg_page = requests.get(msg_url)
    
23.         msg_tree = etree.HTML(msg_page.text)
    
24.         tags = []
    
25.         a = 1
    
26.         while True:
    
27.             try:
    
28.                 tags.append(msg_tree.xpath('//*[@id="modeldeals"]/div[2]/div/a[{}]'.format(a))[0].text)
    
29.             except:
    
30.                 break
    
31.             else:
    
32.                 a += 1
    
33.         msg_dic[name] = {'price': price, 'tags': tags}
    
34. 
    
35.     df = pd.DataFrame(msg_dic).transpose()
    
36.     df.to_csv('test.csv', mode='a+', encoding='ANSI', header=False)#"utf-8"乱码改了"ANSI"
    
37. 
    
38. 
    
39. # print(df)
    
40. schedule.every(10).seconds.do(get_msg)#改了等待时间测试用
    
41. while True:
    
42.     schedule.run_pending()
    
43.     time.sleep(1)
    
44. 
    

复制代码