[已解决]BeautifulSoup

小木子c

import urllib.request
>>> from bs4 import BeautifulSoup
>>> url = 'http://baike.baidu.com/view/284853.htm'
>>> response = urllib.request.urlopen(url)
>>> html = response.read()
>>> soup = BeautifulSoup(html,'html.parser')
>>> import re
>>> for each in soup.find_all(href=re.sompile('view')):
        print(each.text,'->',''.join(['http://baike.baidu.com',\ each['href']]))
       
SyntaxError: unexpected character after line continuation character



最后一句报错是为什么，书上不就是这么写的么

最佳答案

月排行榜 / 总排行榜

gopythoner

2017-5-25 14:54:23

print(each.text,'->',''.join(['http://baike.baidu.com',\ each['href']]))
这句应该缩进，你没有缩进

跳转到最佳答案楼层

gopythoner

print(each.text,'->',''.join(['http://baike.baidu.com',\ each['href']]))
这句应该缩进，你没有缩进

小木子c

gopythoner 发表于 2017-5-25 14:54
print(each.text,'->',''.join(['http://baike.baidu.com',\ each['href']]))
这句应该缩进，你没有缩进

keyword = input('请输入关键词：')
    keyword = urllib.parse.urlencode({'word':keyword})
    response = \
urllib.request.urlopen('http://baike.baidu.com/search/word? % s' % \
keyword)

不懂最后一句会报语法格式错误，麻烦解答一下

gopythoner

小木子c 发表于 2017-5-25 15:14
keyword = input('请输入关键词：')
    keyword = urllib.parse.urlencode({'word':keyword})
    re ...

首先，你把你的代码用代码的格式复制过来，怎么用？你看到论坛编辑里面的<>了么？就在表情的左边，就是这个，把代码复制到这里面，形式是这样的

1. keyword = input('请输入关键词：')

复制代码

然后，你要把出错的代码前后部分都复制过来，特别是报错的显示

最后，我看你这代码写的真乱，不该缩进的地方乱缩进，不需要换行的地方乱换行，看的真乱（形成这种很乱的原因是你不知道格式，都是复制的对吧，这样不对！）

小木子c

gopythoner 发表于 2017-5-25 15:41
首先，你把你的代码用代码的格式复制过来，怎么用？你看到论坛编辑里面的了么？就在表情的左边，就是这个 ...

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. 
   
7. def main():
   
8.     keyword = input('请输入关键词：')
   
9.     keyword = urllib.parse.urlencode({'word':keyword})
   
10.     response = \
    
11. urllib.request.urlopen('http://baike.baidu.com/item/word? % s' % \
    
12. keyword)
    
13.     html = response.read()
    
14.     soup = BeautifulSoup(html,'html.parser')
    
15. 
    
16.     for each in soup.find_all(href = re.compile('view')):
    
17.         content = ''.join([each.text])
    
18.         url2 = ''.join(['http://baike.baidu.com',each['href']])
    
19.         response2 = urllib.request.urlopen(url2)
    
20.         html2 = response2.read()
    
21.         soup2 = BeautifulSoup(html2,'html.parse')
    
22.         if soup2.h2:
    
23.             content = ''.join([content,soup2.h2.text])
    
24.         content = ''.join([content,'->',url2])
    
25.         print(content)
    
26. 
    
27. if __name__ == '__main__':
    
28.     main()
    

复制代码

报错：
Traceback (most recent call last):
  File "C:\Users\Python练习\BeautifulSoup.py", line 28, in <module>
    main()
  File "C:\Users\Python练习\BeautifulSoup.py", line 12, in main
    keyword)
  File "C:\Python32\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Python32\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Python32\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Python32\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Python32\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Python32\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 400: Bad Request

gopythoner

1. urllib.request.urlopen('http://baike.baidu.com/item/word? % s' % \
   
2. keyword)

复制代码

这句出错了，错误的原因的构造的链接错误，你可以打印一下这个构造之后的链接，看看跟你从网页上面直接看到的是不是一样的

小木子c

gopythoner 发表于 2017-5-25 18:07
这句出错了，错误的原因的构造的链接错误，你可以打印一下这个构造之后的链接，看看跟你从网页上面直接 ...

请输入关键词：猪八戒
http://baike.baidu.com/search/word? word=%E7%8C%AA%E5%85%AB%E6%88%92

构造的链接如上，这个链接可以访问，虽然跟直接用百度百科搜索的网址的确是不一样，但最后出现的页面是相同的，你可以试一下

小木子c

gopythoner 发表于 2017-5-25 18:07
这句出错了，错误的原因的构造的链接错误，你可以打印一下这个构造之后的链接，看看跟你从网页上面直接 ...

这里我把item改成了search，不过还是会报同样的错误

gopythoner

小木子c 发表于 2017-5-25 21:27
这里我把item改成了search，不过还是会报同样的错误

我试了一下你这个代码，请求无效
需要加上请求头，也就是headers才能请求成功，看我换个方式请求的结果

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. import requests
   
5. from bs4 import BeautifulSoup
   
6. 
   
7. 
   
8. def main():
   
9.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
   
10.                              ' (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    
11.     keyword = input('请输入关键词：')
    
12.     keyword = urllib.parse.urlencode({'word':keyword})
    
13.     # response = urllib.request.urlopen('http://baike.baidu.com/item/word? % s' % keyword)
    
14.     # html = response.read()
    
15.     url = 'http://baike.baidu.com/item/word?%s' % keyword
    
16.     print(url)
    
17.     html = requests.get(url,headers=headers).text
    
18.     soup = BeautifulSoup(html,'lxml')
    
19. 
    
20.     for each in soup.find_all(href = re.compile('view')):
    
21.         content = ''.join([each.text])
    
22.         url2 = ''.join(['http://baike.baidu.com',each['href']])
    
23.         response2 = urllib.request.urlopen(url2)
    
24.         html2 = response2.read()
    
25.         soup2 = BeautifulSoup(html2,'lxml')
    
26.         if soup2.h2:
    
27.             content = ''.join([content,soup2.h2.text])
    
28.         content = ''.join([content,'->',url2])
    
29.         print(content)
    
30. 
    
31. if __name__ == '__main__':
    
32.     main()

复制代码

自己看我改动的地方吧，自己去查怎么添加头信息

我请求的结果是这样的

1. 请输入关键词：猪八戒
   
2. http://baike.baidu.com/item/word?word=%E7%8C%AA%E5%85%AB%E6%88%92
   
3. &#229;¤&#154;&#228;1&#137;èˉ&#141;目录->http://baike.baidu.com/view/10812277.htm
   
4. &#228;1&#137;é&#161;1目录->http://baike.baidu.com/view/340519.htm
   
5. è&#139;±&#230;&#150;&#135;&#229;&#141;&#149;èˉ&#141;（英文单词）->http://baike.baidu.com/subview/23213/10707247.htm#viewPageContent
   
6. &#231;&#188;&#150;&#231;¨&#139;èˉ-è¨&#128;&#228;&#184;-&#231;&#154;&#132;&#228;&#184;&#128;&#231;§&#141;&#230;&#149;°&#230;&#141;&#174;&#231;±&#187;&#229;&#158;&#139;（编程语言中的一种数据类型）->http://baike.baidu.com/subview/23213/11083998.htm#viewPageContent
   
7. Java&#229;&#136;&#134;&#229;&#184;&#131;&#229;&#188;&#143;&#228;&#184;-&#230;&#150;&#135;&#229;&#136;&#134;èˉ&#141;&#231;&#187;&#132;&#228;&#187;&#182;（Java分布式中文分词组件）->http://baike.baidu.com/item/word/17575520#viewPageContent
   
8. é&#148;&#129;&#229;&#174;&#154;->http://baike.baidu.com/view/10812319.htm
   
9. &#229;&#144;&#140;&#228;1&#137;èˉ&#141;目录->http://baike.baidu.com/subview/71844/10028254.htm

复制代码

前面都是乱码，这说明你后面的代码也有问题，跟编码有关，这个我没怎么看