[已解决]爬虫问题

齐紫荆。

如图，为啥爬出来的tr是个空的啊

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-4-1 17:59:34

齐紫荆。 发表于 2020-4-1 17:44
>>> table = soup.find('table',class_="wikitable").children
>>> for tr in table:
        if isinstance(t ...

顺便给你包装了一下：

1. from requests import get
   
2. from bs4 import BeautifulSoup as BS
   
3. 
   
4. def open_url(url):
   
5.     # 可以加headers
   
6.     res = get(url)
   
7.     return res
   
8. 
   
9. def get_Info(res):
   
10.     soup = BS(res.text, "html.parser")
    
11.     table = soup.find('table').children
    
12.     i = 0 # 它用于判断何时该换行
    
13.     for tr in list(table)[1]:
    
14.         if i == 2:
    
15.             print()
    
16.             i = 0
    
17.         print(tr.string.strip(), end = '') # strip()删除空格
    
18.         i += 1
    
19.         
    
20. 
    
21. def main():
    
22.     url = "https://yanyu.huijiwiki.com/wiki/伙伴成长以及加点属性排行一览"
    
23.     get_Info(open_url(url))
    
24. 
    
25. if __name__ == "__main__":
    
26.     main()

复制代码

跳转到最佳答案楼层

qiuyouzhi

确定几个东西：
1，URL没错？
2，不加headers能爬？
3，soup.find确定找到东西了？

wp231957

没有这个 页面啊   你是从哪里跳转过去的

齐紫荆。

qiuyouzhi 发表于 2020-4-1 16:56
确定几个东西：
1，URL没错？
2，不加headers能爬？

页面没错啊，我用r.status_code返回是200，应该是对的，table = soup.find('table')也有东西啊

qiuyouzhi

齐紫荆。 发表于 2020-4-1 17:28
页面没错啊，我用r.status_code返回是200，应该是对的，table = soup.find('table')也有东西啊

那你确定<table>有子标签，且你的isinstance参数拼写正确？
那个bs4.element.Tag为何点后有空格？
去掉试试

qiuyouzhi

齐紫荆。 发表于 2020-4-1 17:28
页面没错啊，我用r.status_code返回是200，应该是对的，table = soup.find('table')也有东西啊

顺便你把find后面加个参数：

1. class_="wikitable"

复制代码

我怀疑你的find找到第一个table后，里面没有子标签

齐紫荆。

qiuyouzhi 发表于 2020-4-1 17:31
那你确定有子标签，且你的isinstance参数拼写正确？
那个bs4.element.Tag为何点后有空格？
去掉试试

大佬你看我补的那个图，那个tr应该是table的子标签吧

qiuyouzhi

齐紫荆。 发表于 2020-4-1 17:34
大佬你看我补的那个图，那个tr应该是table的子标签吧

我又回复你了，看下6楼

齐紫荆。

qiuyouzhi 发表于 2020-4-1 17:35
我又回复你了，看下6楼

>>> table = soup.find('table',class_="wikitable").children
>>> for tr in table:
        if isinstance(tr,bs4.element.Tag):
                th = tr('th')

               
>>> th
[]
这样吗还是空的啊

qiuyouzhi

齐紫荆。 发表于 2020-4-1 17:44
>>> table = soup.find('table',class_="wikitable").children
>>> for tr in table:
        if isinstance(t ...

给你调试了一下，正确方法是酱紫的：

1. >>> for each in list(table)[1]:
   
2.         print(each.string)

复制代码

qiuyouzhi

齐紫荆。 发表于 2020-4-1 17:44
>>> table = soup.find('table',class_="wikitable").children
>>> for tr in table:
        if isinstance(t ...

顺便给你包装了一下：

1. from requests import get
   
2. from bs4 import BeautifulSoup as BS
   
3. 
   
4. def open_url(url):
   
5.     # 可以加headers
   
6.     res = get(url)
   
7.     return res
   
8. 
   
9. def get_Info(res):
   
10.     soup = BS(res.text, "html.parser")
    
11.     table = soup.find('table').children
    
12.     i = 0 # 它用于判断何时该换行
    
13.     for tr in list(table)[1]:
    
14.         if i == 2:
    
15.             print()
    
16.             i = 0
    
17.         print(tr.string.strip(), end = '') # strip()删除空格
    
18.         i += 1
    
19.         
    
20. 
    
21. def main():
    
22.     url = "https://yanyu.huijiwiki.com/wiki/伙伴成长以及加点属性排行一览"
    
23.     get_Info(open_url(url))
    
24. 
    
25. if __name__ == "__main__":
    
26.     main()

复制代码

齐紫荆。

qiuyouzhi 发表于 2020-4-1 17:54
给你调试了一下，正确方法是酱紫的：

大佬这个只能输出第一排，怎么输出整个表啊

qiuyouzhi

齐紫荆。 发表于 2020-4-1 18:00
大佬这个只能输出第一排，怎么输出整个表啊

我给你包装了一下，详情看11楼
我这里测试是没有问题的

齐紫荆。

qiuyouzhi 发表于 2020-4-1 17:59
顺便给你包装了一下：

感谢大佬