爬虫问题请教

jsnthalwd

请教各位大神下列为什么输出结果不正确，谢谢。
from bs4 import BeautifulSoup
import requests
import csv
import bs4
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

#检查url地址
def check_link(url):
    try:
        
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print('无法链接服务器！！！')


#爬取资源
def get_contents(ulist,rurl):
    soup = BeautifulSoup(rurl,'lxml')
    trs = soup.find_all('tr')
    for tr in trs:
        ui = []
        for td in tr:
            ui.append(td.string)
        ulist.append(ui)
   
#保存资源
def save_contents(urlist):
    with open("D:\\python\\2016年中国企业500强排行榜.csv",'wb') as f:
        writer = csv.writer(f)
        writer.writerow(['2016年中国企业500强排行榜'])
        for i in range(len(urlist)):
            writer.writerow([urlist[i][0],urlist[i][1],urlist[i][2]])

def main():
    urli = []
    url = "http://www.maigoo.com/news/463071.html"
    rs = check_link(url)
    get_contents(urli,rs)
    save_contents(urli)

main()

无符号整形

帮你召唤下大神：@冬雪雪冬 @～风介～

luckin

import sys
reload(sys)
sys.setdefaultencoding('utf-8') 这些好像在python3中不需要

with open("D:\\python\\2016年中国企业500强排行榜.csv",'wb') as f: 去掉b

writer.writerow([urlist[i][0],urlist[i][1],urlist[i][2]])  第一列和第三列都是空的

改完后如下

1. from bs4 import BeautifulSoup
   
2. import requests
   
3. import csv
   
4. import bs4
   
5. 
   
6. 
   
7. #检查url地址
   
8. def check_link(url):
   
9.     try:
   
10. 
    
11.         r = requests.get(url)
    
12.         r.raise_for_status()
    
13.         r.encoding = r.apparent_encoding
    
14.         return r.text
    
15.     except:
    
16.         print('无法链接服务器！！！')
    
17. 
    
18. 
    
19. #爬取资源
    
20. def get_contents(ulist,rurl):
    
21.     soup = BeautifulSoup(rurl,'lxml')
    
22.     trs = soup.find_all('tr')
    
23.     for tr in trs:
    
24.         ui = []
    
25.         for td in tr:
    
26.             ui.append(td.string)
    
27.         ulist.append(ui)
    
28. 
    
29. #保存资源
    
30. def save_contents(urlist):
    
31.     with open("D:\\2016年中国企业500强排行榜.csv",'w') as f:
    
32.         writer = csv.writer(f)
    
33.         writer.writerow(['2016年中国企业500强排行榜'])
    
34.         for i in range(len(urlist)):
    
35.             writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
    
36. 
    
37. def main():
    
38.     urli = []
    
39.     url = "http://www.maigoo.com/news/463071.html"
    
40.     rs = check_link(url)
    
41.     get_contents(urli,rs)
    
42.     save_contents(urli)
    
43. 
    
44. main()
    

复制代码

jsnthalwd

非常感谢。