[已解决]爬虫，很急，有几个参数没懂，请大神指教

sunnychou

问题1：soup.find("div","about")，这里面的"div","about"，什么含义，为什么这么做？？如何通过这些参数定位到时间和新闻内容标签上面的，
问题2：就是soup.find("div","about").contents[0][9:].encode('utf-8')，，[0][9:],这里的[0]代表什么,[9:]又表示什么含义

1. # encoding: utf-8
   
2. import requests
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. import time
   
6. 
   
7. class News:
   
8.     def __init__(self,title,time,type,content):
   
9.         self.title = title  #新闻标题
   
10.         self.time = time    #新闻时间
    
11.         self.type = type    #新闻类别
    
12.         self.content = content  #新闻内容
    
13. 
    
14. def getList(url):   #获取新闻链接地址
    
15.     li = requests.get(url)      
    
16.     res = r'url":"http:.*?.html'    #正则表达式获取链接地址
    
17.     urls = re.findall(res,li.text)
    
18.     for i in range(len(urls)):
    
19.         urls[i] = urls[i][6:]
    
20.     return urls
    
21. 
    
22. def getNews(url):   #获取新闻内容
    
23.     url = url[:-5]+"_0.html"    #处理链接获取全文
    
24.     ss = requests.get(url)
    
25.     soup = BeautifulSoup(ss.text,"html.parser")     #获取新闻内容，注意编码
    
26.     title = soup.title.string[:-6].encode('utf-8')      
    
27.     time = soup.find("div","about").contents[0][9:].encode('utf-8')
    
28. #    type = soup.find("div","position lBlue").contents[3].string.encode('utf-8')
    
29.     content = soup.find("div","content").get_text()[1:-1].encode('utf-8')#如果不采用[1:-1]，新闻内容是反得，处理一下，才能正常
    
30.     print(content.decode())
    
31.     news = News(title,time,type,content)
    
32.     return news
    
33. 
    
34. def saveAsTxt(news):    #保存新闻内容
    
35.     file = open('E:/news.txt','a')
    
36.     file.write("标题:" + news.title.decode() +
    
37.                "\t时间:" + news.time.decode() +
    
38. #               "\t类型:"+ news.type +
    
39.                "\t内容:"+ news.content.decode()  +
    
40.                ""\n")
    
41. 
    
42. start = time.clock()
    
43. sum = 0
    
44. for i in range(1,40):
    
45.     wangzhi = "http://3g.163.com/touch/article/list/BA8J7DG9wangning/%s-40.html" %i
    
46.     urls = getList(wangzhi)
    
47.     sum = sum + len(urls)
    
48. #    print "当前页解析出 %s 条" %len(urls)
    
49.     j = 1
    
50.     for url in urls:
    
51.         print ("正在读取第%s页第%s/%s条:%s" %(i,j,len(urls),url.encode('utf-8')))
    
52.         news = getNews(url)
    
53.         saveAsTxt(news)
    
54.         j = j + 1
    
55. end = time.clock()
    
56. print ("共爬取%s条新闻，耗时%f s" %(sum,end - start))
    

复制代码

最佳答案

月排行榜 / 总排行榜

ooxx7788

2017-7-28 09:01:52

问题1：div表示的，about表示的是class='about’
问题2：contents是返回直接子标签，相当于指定标签的所有的下一级标签。contents[0]也就是第1个子标签。[9:]就是字符串切片。

跳转到最佳答案楼层

和vvv

soup.find("div","about")是BeautifulSoup的用法，提取出标签。至于为什么使用soup.find("div","about").contents[0][9:].encode('utf-8')

你先把数据soup.find("div","about")打印出来或者查看网页源码，查看要提取的信息

小甲鱼

请参考 -> https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#find

soup.find("div","about")

第一个参数是查找名字为“div”的 tag，字符串对象会被自动忽略掉；

第二个参数则指定通过 CSS 类进行搜索。

flyblood

小甲鱼 发表于 2017-7-26 16:51
请参考 -> https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#find

soup.find("div","about")

楼主，借个楼，，小甲鱼老师，能帮我看看我的问题吗？
http://bbs.fishc.com/forum.php?m ... peid%26typeid%3D392

foreverchenpeng

小甲鱼 发表于 2017-7-26 16:51
请参考 -> https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#find

soup.find("div","about")

http://bbs.fishc.com/thread-92882-1-1.html
鱼总，求帮忙看下我的问题，谢谢

sunnychou

和vvv 发表于 2017-7-26 16:35
soup.find("div","about")是BeautifulSoup的用法，提取出标签。至于为什么使用soup.find("div","about").co ...

嗯嗯，尝试打印了，谢谢，

鬼人

sunnychou 发表于 2017-7-27 08:27
嗯嗯，尝试打印了，谢谢，

contents 好像是下面的所有的子标签
[0]表示第一个子标签。
[9:]子标签内容的从第9位开始到结束
应该是这样，错了看文档。

sunnychou

鬼人 发表于 2017-7-27 09:59
contents 好像是下面的所有的子标签
[0]表示第一个子标签。
[9:]子标签内容的从第9位开始到结束

contents返回的是一个列表，使用contents[0],能过滤掉列表符号，下面是结果，[9:]和你说的一样

这个列表的范围只有一个没有这个（contents[1]），是代表一个子标签么

1. head_tag.contents#列表形式输出
   
2. [<title>The Dormouse's story</title>]  ->结果
   
3. title_tag = head_tag.contents[0]
   
4. title_tag
   
5. <title>The Dormouse's story</title> ->结果

复制代码

ooxx7788

问题1：div表示的，about表示的是class='about’
问题2：contents是返回直接子标签，相当于指定标签的所有的下一级标签。contents[0]也就是第1个子标签。[9:]就是字符串切片。

sunnychou

小甲鱼 发表于 2017-7-26 16:51
请参考 -> https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#find

soup.find("div","about")

蟹蟹小甲鱼老师的回复， 认真看了文档，把这些问题给总结了一下