关于爬虫爬取数据存到MYSQL库的问题

wongyusing

代码如下：

1. #!/usr/bin/env python
   
2. # -*- coding: utf-8 -*-
   
3. # @Time    : 18-4-11 下午1:43
   
4. # @Author  : Aries
   
5. # @Site    :
   
6. # @File    : taobao.py
   
7. # @Software: PyCharm
   
8. 
   
9. import re
   
10. from selenium import webdriver #浏览器驱动
    
11. from selenium.webdriver.common.by import By #定位模块
    
12. from selenium.webdriver.support.ui import WebDriverWait #页面元素
    
13. from selenium.webdriver.support import expected_conditions as EC#显性等待页面加载
    
14. from pyquery import PyQuery as pq #Python爬虫中的一种网页解析库
    
15. 
    
16. import pymysql
    
17. 
    
18. 
    
19. conn = pymysql.connect(host='localhost', db='test', user='root', passwd='wongyusing',charset='utf8')
    
20. cur = conn.cursor()
    
21. 
    
22. url = 'https://www.taobao.com/'
    
23. browser = webdriver.Chrome() #浏览器
    
24. wait = WebDriverWait(browser,10)#等待页面加载10s
    
25. 
    
26. 
    
27. def search():
    
28.     try:
    
29.         browser.get(url)
    
30. 
    
31.         # 定位输入栏
    
32.         inpot = wait.until(
    
33.             EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
    
34.             )
    
35.         #定位”搜索“按钮
    
36.         submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
    
37.         inpot.send_keys('咖啡')#输入内容,以后可以创建一个列表，从而实现批量爬取
    
38.         submit.click()#点击”搜索“按钮
    
39.         #获取总页数
    
40.         total = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))[0]
    
41.         get_content()#获取内容
    
42.         return total.text   #共100页
    
43.     except TimeoutError:
    
44.         return search()
    
45. 
    
46. def next_page(page_num):#翻页操作，根据输入的页码在输入栏中翻页
    
47.     try:
    
48.         #获取页码输入栏
    
49.         inpot = wait.until(
    
50.             EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input'))
    
51.         )
    
52.         #定位并点击“确定”按钮
    
53.         submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
    
54.         inpot.clear()#清除之前输入的页码
    
55.         inpot.send_keys(page_num)#输入页码
    
56.         submit.click()#点击“确定"按钮
    
57.         wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_num)))
    
58.         get_content()#获取内容
    
59.     except TimeoutError:
    
60.         next_page(page_num)
    
61. 
    
62. 
    
63. def get_content():#获取信息/内容
    
64.     #定位商品列表
    
65.     wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))
    
66.     html = browser.page_source                                    #注意这里的mainsrp-itemlist（晚上）
    
67.     doc = pq(html)                                                #有时会变成m-itemlist（下午）
    
68.     items = doc('#mainsrp-itemlist .items .item').items()#获取内容列表
    
69.     for item in items:
    
70.         content = {
    
71.             'title': item.find('.title').text(),          # 标题
    
72.             'shop': item.find('.shop').text(),            # 店铺名称
    
73.             'price': item.find('.price').text(),          # 价格
    
74.             'url': item.find('.title .a').attr('href'),   # 連接
    
75.             'img': item.find('.pic .img').attr('src'),    # 图片
    
76.             'deal': item.find('.deal-cnt').text()[:-3],   # 交易数量
    
77.             'location': item.find('.location').text(),    # 发货地点
    
78.         }
    
79.         print(content)#打印内容（测试），成功，内容如下一行
    
80.         #{'deal': '6429', 'title': '【旗舰店】雀巢\n咖啡\n法国进口冻干法式金牌黑\n咖啡\n100g+50g*2装', 'price': '¥\n138.00', 'shop': '雀巢官方旗舰店', 'location': '上海', 'img': '//g-search3.alicdn.com/img/bao/uploaded/i4/i2/745949152/TB1NoI1kQSWBuNjSszdXXbeSpXa_!!0-item_pic.jpg_180x180.jpg'}
    
81.         #cur.execute(content)#存入数据库MYSQL
    
82.         #conn.commit()
    
83. 
    
84. def gogo():#主函数
    
85.     totla = search()#打开淘宝首页，输入”需要搜索的内容“。获取内容，返回最大页数
    
86.     totla = int(re.compile('(\d+)').search(totla).group(1))#得到总页数并迭代出来
    
87.     for i in range(2,totla+1):#因为第一页已经获取内容了，从第二页开始获取
    
88.         next_page(i)#获取内容后，在网页的底部的跳转页码栏中输入页码翻页
    
89. 
    
90.     #conn.close()
    
91. if __name__ == '__main__':
    
92.     gogo()
    
93. 
    
94. 
    
95. 
    

复制代码

问题如下：
1.现在数据已经采集完毕，没有问题，但我入库总是报错。该如何修改？

1. Traceback (most recent call last):
   
2.   File "/home/sing/桌面/TaoBao/taobao.py", line 92, in <module>
   
3.     gogo()
   
4.   File "/home/sing/桌面/TaoBao/taobao.py", line 85, in gogo
   
5.     totla = search()#打开淘宝首页，输入”需要搜索的内容“。获取内容，返回最大页数
   
6.   File "/home/sing/桌面/TaoBao/taobao.py", line 41, in search
   
7.     get_content()#获取内容
   
8.   File "/home/sing/桌面/TaoBao/taobao.py", line 81, in get_content
   
9.     cur.execute(content)#存入数据库MYSQL
   
10.   File "/usr/local/lib/python3.5/dist-packages/pymysql/cursors.py", line 165, in execute
    
11.     result = self._query(query)
    
12.   File "/usr/local/lib/python3.5/dist-packages/pymysql/cursors.py", line 321, in _query
    
13.     conn.query(q)
    
14.   File "/usr/local/lib/python3.5/dist-packages/pymysql/connections.py", line 859, in query
    
15.     self._execute_command(COMMAND.COM_QUERY, sql)
    
16.   File "/usr/local/lib/python3.5/dist-packages/pymysql/connections.py", line 1095, in _execute_command
    
17.     packet = prelude + sql[:packet_size-1]
    
18. TypeError: unhashable type: 'slice'
    

复制代码

2.有没有一步一个脚印的MYSQL的教程或者博文？？让我借鉴一下

colinshi

你数据库表结构对嘛，而且执行的sql语句我都没看到啊插入的话，至少有一个insert into吧!
#cur.execute(content)#存入数据库MYSQL这个语句要自己写的，人家只是帮你执行而已。