[已解决]bs4如何转化为字符串

寄安

这是源程序，没完善有错误

我准备在今日头条爬取街拍图片，爬取下来的网页准备用BeautifulSoup清洗出网址信息，然后把bs4类型的网页数据转化为字符串，然后再通过eval()转化为字典形式，images = result['rawData']['data']['img_url']，然后在字典中找到图片链接，打印。
我不知道我这个逻辑对不对，可能清洗的地方也有点问题，也可能其他的地方也有问题， 问一下大家有没有好办法，大哥们帮帮我
第一次解决问题，看的时候还请多多包涵，第一次，第一次，我自己ye'shi

1. import requests
   
2. from requests.exceptions import RequestException
   
3. import json
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def get_page_index(page_num):
   
7.     params = {
   
8.         'keyword': '街拍',
   
9.         'pd': 'atlas',
   
10.         'source': 'search_subtab_switch',
    
11.         'dvpf': 'pc',
    
12.         'aid': '4916',
    
13.         'page_num': 'page_num',
    
14.         'rawJSON': '1',
    
15.         'search_id': '202110031811450101501322040B5D277C'
    
16.     }
    
17.     url = 'https://so.toutiao.com/search?'
    
18.     response = requests.get(url,params=params)
    
19.     try:
    
20.         if response.status_code == 200:
    
21.             return response.text
    
22.         return None
    
23.     except RequestException:
    
24.         print('索引失败')
    
25.         return None
    
26. 
    
27. def parse_page_index(html):
    
28.     soup = BeautifulSoup(html, 'lxml')
    
29.     result = soup.select('#id-1315518853458256559 > div.d-block.position-relative.overflow-hidden.radius-m.cs-image-border.cs-image-wrapper > div > div > img')
    
30.     result= eval(result)
    
31.     print(type(result),result)
    
32.     html = json.loads(html)
    
33.     # images = result['rawData']['data']['img_url']
    
34.     # print(images)
    
35. 
    
36. def main(page_num):
    
37.     html = get_page_index(page_num)
    
38.     parse_page_index(html)
    
39. 
    
40. if __name__ == '__main__':
    
41.     for i in range(2):
    
42.         main(i)
    

复制代码

报错信息

1. TypeError: eval() arg 1 must be a string, bytes or code object

复制代码

最佳答案

月排行榜 / 总排行榜

wp231957

2021-10-4 09:14:12

你为什么一定要 在人家写的框框里面 干活呢
你有没有实际抓包进行分析呢
https://so.toutiao.com  这个网址增加了  滑块验证  要过这个验证狠麻烦的

你那个出错表象是  返回了空值     实际上是你遇到了反爬   

跳转到最佳答案楼层

wp231957

你为什么一定要 在人家写的框框里面 干活呢
你有没有实际抓包进行分析呢
https://so.toutiao.com  这个网址增加了  滑块验证  要过这个验证狠麻烦的

你那个出错表象是  返回了空值     实际上是你遇到了反爬   

寄安

嗯，好的