python小练习（011）：爬取食药监总局不合格品目录
本帖最后由 jerryxjr1220 于 2016-11-18 13:52 编辑预告篇：
食品安全越来越引起广大老百姓的关注，中国食药监总局每月都会公布一批检测不合格的产品的目录。
怎样用python爬取这些不合格产品的目录呢？（BeautifulSoup的应用，正则表达式匹配）
请关注python小练习（011），敬请期待！
食药监不合格食品记录
============================================================
3293
1.（黑芝麻）广式老味月饼 (大连佳利来食品有限公司)
------------------------------------------------------------
867
2.（熟干）野生海带丝 (荣成市福星海产有限公司)
------------------------------------------------------------
2480
3.（五香味）宏牛牌牛肉条 (贵州黔龙食品有限公司)
------------------------------------------------------------
3132
4.龙贝乐幼儿配方奶粉（3段） (黑龙江省农垦龙王食品有限责任公司)
------------------------------------------------------------
2845
5.龙胆鱼（海水鱼） (/)
------------------------------------------------------------
2834
6.龙胆鱼 (/)
------------------------------------------------------------
2830
7.龙胆鱼 (/)
------------------------------------------------------------
1566
8.龙眼蜂蜜 (广西浦北县纯蜜岛养蜂专业合作社)
------------------------------------------------------------
309
9.龙眼蜂蜜 (南宁市全健蜜蜂养殖场)
------------------------------------------------------------
1091
10.龙目山泉桶装饮用水 (庐江县龙目山泉饮用水厂)
------------------------------------------------------------
1479
11.龙珠冰泉饮用纯净水 (潼南县强兴纯净水有限公司)
------------------------------------------------------------
1232
12.龙泉饮用纯净水 (广水市龙泉饮用水厂)
------------------------------------------------------------
1360
13.龙泉饮用纯净水 (临汾市自来水公司龙泉饮品厂)
------------------------------------------------------------
2119
14.龙泉野生山枣蜜酒 (大连长兴岛酒业有限公司)
------------------------------------------------------------
1440
15.龙山冰之源天然饮用山泉水 (武胜润灵水业有限公司)
------------------------------------------------------------
1222
16.龙城饮用纯净水 (钟祥市胡集龙城纯净水厂)
------------------------------------------------------------
3249
17.龍韵貢酒3年 (毫州市皖品酒厂)
------------------------------------------------------------
1438
18.龍女山泉（优质饮用天然泉水） (武胜县龙女山泉水厂)
------------------------------------------------------------
339
19.鼓励嘉吾哈美容蜂蜜 (库车县鼓励嘉吾哈蜂蜜农民专业合作社)
------------------------------------------------------------
2283
20.鼎福好妈妈婴幼儿饼干 (山东鼎福食品有限公司)
------------------------------------------------------------
2914
21.黔贵酒 (贵州黔贵酒业有限公司)
------------------------------------------------------------
2942
22.黔福香屯乡麻辣香肠 (贵州黔福香食品有限公司)
------------------------------------------------------------
443
23.黔北金马酒 52%voL (遵义恒宇酒业有限公司)
------------------------------------------------------------
1196
24.黔中泉贵州饮用天然矿泉水 (贵阳彪立房地产开发有限责任公司贵阳大龙滩彪立天然矿泉水厂)
------------------------------------------------------------
1522
25.黑麻酥 (杭州百味聚食品有限公司)
------------------------------------------------------------
2783
26.黑鱼 (/)
------------------------------------------------------------
2780
27.黑鱼 (/)
------------------------------------------------------------
2761
28.黑鱼 (/)
------------------------------------------------------------
2777
29.黑鱼 (/)
------------------------------------------------------------
2775
30.黑鱼 (/)
------------------------------------------------------------
2779
31.黑鱼 (/)
------------------------------------------------------------
3333
32.黑蜂白蜜 (黑龙江省健之源黑蜂天然食品有限公司)
------------------------------------------------------------
3060
33.黑蜂山花蜜 (牡丹江市夏林蜂业有限公司)
------------------------------------------------------------
203
34.黑花生果 (委托方：保定馨冠食品有限公司)
------------------------------------------------------------
2485
35.黑芝麻油 (四川省铁山春食品有限公司)
------------------------------------------------------------
2596
36.黑芝麻椒盐月饼 (上海优克食品有限公司)
------------------------------------------------------------
1514
37.黑芝麻味麻香糕 (沅江市洞庭斋食品有限公司)
------------------------------------------------------------
1053
38.黑胡椒粉 (乌鲁木齐市米东区伊法调味品厂)
------------------------------------------------------------
1242
39.黑耳多酚（固体饮料） (绿之韵生物工程集团有限公司)
------------------------------------------------------------
1499
40.黑米面包 (桐乡市梧桐万佳福食品加工厂)
------------------------------------------------------------
1828
41.黑米红枣配方营养米粉1段 (广州金宝宝婴幼日用品有限公司；受委托生产商：汕头市培芝食品有限公司)
------------------------------------------------------------
2077
42.黑珍珠（酥性饼干） (邯郸市正大食品有限公司)
------------------------------------------------------------
2769
43.黑江团（淡水） (/)
------------------------------------------------------------
589
44.黑椒烤鸡 (/)
------------------------------------------------------------
1871
45.黑大豆酱油 (松原市松滨老醋有限责任公司)
------------------------------------------------------------
2885
46.黎山牌海南特曲 (海南昌江黎山酒业酿造有限公司)
------------------------------------------------------------
2776
47.黄鱼 (/)
------------------------------------------------------------
2847
48.黄骨鱼（淡水鱼） (/)
------------------------------------------------------------
508
49.黄金玉米粉 (徐州人和居食品厂)
------------------------------------------------------------
1596
50.黄酒 (枣阳市灵鹿酒业有限公司)
------------------------------------------------------------
460
51.黄酒 (万安县客家酒厂)
------------------------------------------------------------
2829
52.黄辣丁（昂刺鱼） (/)
------------------------------------------------------------
1902
53.黄豆酿造酱油 (昆明市经开区阿拉悟华老作坊调味品厂)
------------------------------------------------------------
2427
54.黄豆酿造酱油 (哈尔滨月夕实业有限责任公司)
------------------------------------------------------------
1037
55.黄豆酱油（酿造酱油） (西安市蓝田食品厂)
------------------------------------------------------------
1036
56.黄豆酱油（酿造酱油） (西安市德味源调味品厂)
------------------------------------------------------------
1056
57.黄豆酱油（酿造酱油） (新疆博乐市复兴酱园)
------------------------------------------------------------
1863
58.黄豆酱油（酿造酱油） (延边德兴酿造食品有限公司)
------------------------------------------------------------
2572
59.黄豆酱油（酿造酱油） (山西清徐金华醋业有限公司)
------------------------------------------------------------
1009
60.黄豆酱油（酿造酱油） (孟州市口珍食品有限公司)
------------------------------------------------------------
1900
61.黄豆酱油（酿造酱油） (和硕县大众酱油醋酿造厂)
------------------------------------------------------------
1864
62.黄豆酱油（酿造酱油） (吉林省桦甸市奈奇食品有限公司)
------------------------------------------------------------
1045
63.黄豆酱油（酿造酱油） (古蔺县老窝酿造厂)
------------------------------------------------------------
1022
64.黄豆酱油（配制酱油） (宁夏青铜峡市银苏食品酿造有限公司)
------------------------------------------------------------
1895
65.黄豆酱油酿造酱油 (三台县宏斌酿造食品厂)
------------------------------------------------------------
2428
66.黄豆酱油 (黑龙江省齐市建华区回民调味品厂)
------------------------------------------------------------
1024
67.黄豆酱油 (青岛惠家康酿造食品有限公司)
------------------------------------------------------------
1879
68.黄豆酱油 (郯城净龙酿造有限公司)
------------------------------------------------------------
1018
69.黄豆酱油 (泰州市众和调味品有限公司)
------------------------------------------------------------
2708
70.黄豆酱油 (揭东县白塔镇锦盛食品厂)
------------------------------------------------------------
2424
71.黄豆酱油 (哈尔滨市益民酱油厂)
------------------------------------------------------------
1044
72.黄豆老抽酱油（酿造酱油） (岳池县灵芝春酱油醋酿造厂)
------------------------------------------------------------
2492
73.黄豆窝油（酿造酱油） (成都市温江区美味王酿造食品厂)
------------------------------------------------------------
1793
74.黄花鱼 (青岛海亨达商贸有限公司)
------------------------------------------------------------
2748
75.黄花鱼 (青岛大海洋食品有限公司)
------------------------------------------------------------
810
76.黄花菜 (松原飞宇世谷商城有限公司)
------------------------------------------------------------
1345
77.黄花源桶装饮用纯净水 (山西省稷山县黄花源饮用水有限公司)
------------------------------------------------------------
685
78.黄牛肉牛肉干（麻辣味） (沿河土家族自治县官舟镇全香斋牛肉干厂)
------------------------------------------------------------
402
79.黄河王老窖 (山东黄河王酒业有限公司)
------------------------------------------------------------
766
80.麻辣黄瓜 (/)
------------------------------------------------------------
545
81.麻辣鸭翅 (河北大鹏特种种养开发有限公司)
------------------------------------------------------------
1857
82.麻辣鲜 (河南菱知星调味品有限公司)
------------------------------------------------------------
1795
83.麻辣鱿鱼条 (浙江雨中雨水产有限公司)
------------------------------------------------------------
207
84.麻辣香酥花生 (定州市佳越美味食品厂)
------------------------------------------------------------
299
85.麻辣豆干 (重庆市颐峰居食品有限公司)
------------------------------------------------------------
1021
86.麻辣蘸酱 (固阳县鹿兴调味品酿造有限公司)
------------------------------------------------------------
1548
87.麻辣花生（油炸花生仁） (开封市兴盛德食品有限公司)
------------------------------------------------------------
215
88.麻辣花生 (靖江天茂食品有限公司)
------------------------------------------------------------
2410
89.麻辣肉干 (成都市川香源食品有限公司)
------------------------------------------------------------
1779
90.麻辣素食（五香驴皮味）（膨化食品） (眉山市东坡区大若宇食品厂)
------------------------------------------------------------
1047
91.麻辣牛肉酱 (四川兵牌农业有限公司)
------------------------------------------------------------
2176
92.麻辣牛肉干 (成都川辣妹食品有限公司)
------------------------------------------------------------
2183
93.麻辣牛肉干 (公司：宣汉县南坝镇顺发商贸有限公司 制造：达州市通川区长青牛肉制品加工厂)
------------------------------------------------------------
684
94.麻辣牛肉 (安顺市乐呵呵食品有限公司)
------------------------------------------------------------
2819
95.麻辣小鱼 (洛阳市华文食品有限公司)
------------------------------------------------------------
1810
96.麻辣小鱼 (委托方：湖南省华文食品有限公司,被委托方：洛阳市华文食品有限公司)
------------------------------------------------------------
832
97.麻辣味辣妹子（膨化食品） (潮安县庵埠梅溪雅利辉食品厂)
------------------------------------------------------------
1724
98.麻辣味凉山牛肉（酱卤肉制品） (四川龙康食品有限责任公司)
------------------------------------------------------------
807
99.麻辣三丝（酱腌菜） (淮阳县陈州酱菜调料有限公司)
------------------------------------------------------------
812
100.麻辣丁 (武汉市江岸区隆香坊酱菜加工厂)
------------------------------------------------------------
1907
101.麻婆豆腐调料 (银川老绵羊食品有限公司)
------------------------------------------------------------
526
102.麦香面点 (哈尔滨鸿诚食品有限公司)
------------------------------------------------------------
3295
103.麦香皇五仁金腿大月饼 (南宁市麦香皇食品有限公司)
------------------------------------------------------------
186
104.麦迪枣糕 (天津市褀斯乐食品有限公司)
------------------------------------------------------------
92
105.麦田玫瑰蛋黄桃酥 (长春欧亚集团辽源欧亚置业有限公司)
------------------------------------------------------------
2048
106.麦小熊蛋糕 (福州麦麦香食品有限公司)
------------------------------------------------------------
37
107.麦利来西点 (乌兰浩特市大麦利来蛋糕店)
------------------------------------------------------------
1604
108.鹿血酒（配制酒） (南阳长虹养鹿厂)
------------------------------------------------------------
2087
109.鹿果果巴旦木 (新疆厚拾生物科技有限责任公司)
------------------------------------------------------------
2103
110.鹿果果巴旦木 (新疆厚拾生物科技有限责任公司)
------------------------------------------------------------
1921
111.鹿城山泉饮用纯净水 (三亚鹤鑫活力饮料有限责任公司)
------------------------------------------------------------
466
112.鹿乐牡腰酒（露酒） (湛江市坡头区群香酒业有限公司)
------------------------------------------------------------
465
113.鹿乐十全酒（露酒） (湛江市坡头区群香酒业有限公司)
------------------------------------------------------------
710
114.鹏程牌白砂糖 (重庆美都食品有限公司)
------------------------------------------------------------
238
115.鹌鹑皮蛋 (海安县顺达特种养殖加工厂)
------------------------------------------------------------
298
116.鸿强腐乳 (南宁市鸿强食品调味加工厂)
------------------------------------------------------------
806
117.鸿富利木耳泡菜 (牡丹江市东安区富利食品加工厂)
------------------------------------------------------------
628
118.鸭脖（酱卤肉制品） (长沙市百合香食品有限公司)
------------------------------------------------------------
624
119.鸭脖 (长沙市岳麓区含浦镇明帝食品加工厂)
------------------------------------------------------------
642
120.鸭翅 (长沙市湘霸食品厂)
------------------------------------------------------------
582
121.鸭子 (长春市圣手食品有限责任公司)
------------------------------------------------------------
2826
122.鸭嘴鱼 (/)
------------------------------------------------------------
1321
123.鸢洲饮用纯净水 (潍坊鸢洲电力物业有限公司纯净水厂)
------------------------------------------------------------
2146
124.鸡蛋弹面 (石家庄今客食品有限公司)
------------------------------------------------------------
2546
125.鸡肉（剑阁土公鸡） (/)
------------------------------------------------------------
3047
126.鸡肉（乌鸡） (山东枣庄华宝牧业开发有限公司)
------------------------------------------------------------
2199
127.鸡肉肠 (公主岭市品香酱肉扒鸡店)
------------------------------------------------------------
21
128.鸡肉精膏 (开封县丙盛香精香料厂)
------------------------------------------------------------
2959
129.鸡肉 (武汉润通)
------------------------------------------------------------
2545
130.鸡肉 (中牟县官渡市场春庆白条鸡摊)
------------------------------------------------------------
2544
131.鸡肉 (中牟县四辈白条鸡摊)
------------------------------------------------------------
2539
132.鸡肉 (/)
------------------------------------------------------------
1033
133.鸡精调味料 (西安市佳香调味品食品有限公司)
------------------------------------------------------------
2703
134.鸡精调味料 (湖南省义丰祥实业有限公司)
------------------------------------------------------------
2724
135.鸡精调味料 (河南省南街村（集团）有限公司调味品分公司)
------------------------------------------------------------
1014
136.鸡精调味料 (武汉好口味食品有限公司)
------------------------------------------------------------
2556
137.鸡精调味料 (德州堤口牧歌调味品有限公司)
------------------------------------------------------------
1039
138.鸡精 (西安市佳香调味品食品有限公司)
------------------------------------------------------------
344
139.鸡爪 (嘉兴市秀洲区新塍镇洛东羊业专业合作社)
------------------------------------------------------------
548
140.鸡排 (菏泽帝园食品有限公司)
------------------------------------------------------------
1904
141.鸡味鲜精调味料 (金华鑫鲜调味食品有限公司) UP主，代码呢，被怪兽吃了？ 月满大唐 发表于 2016-11-18 14:26
UP主，代码呢，被怪兽吃了？
这个是python的小练习，会把思路分享给大家，让大家自己先动手做做看，这样才能提高大家自己的编程水平，我最后会公布源代码。 jerryxjr1220 发表于 2016-11-18 14:30
这个是python的小练习，会把思路分享给大家，让大家自己先动手做做看，这样才能提高大家自己的编程水平， ...
了然～！！ 解答：
# -.- coding:utf-8 -*-
import re
import requests
from bs4 import BeautifulSoup as BS
header = {'Accept':'*/*',\
'Accept-Encoding':'gzip, deflate',\
'Accept-Language':'zh-CN,zh-TW;q=0.8,en;q=0.6',\
'cache-control':'no-cache',\
'Connection':'keep-alive',\
'Content-Type':'application/x-www-form-urlencoded',\
'Cookie':'JSESSIONID=5A60972F1D138C44FDC5DCFAF35FF10C.7; yunsuo_session_verify=81bdd2a48997d3be44e0dace7317b5e2; _gscu_1586185021=79432943chubrl65; _gscs_1586185021=79432943027gyc65|pv:3; _gscbrs_1586185021=1',\
'Host':'app1.sfda.gov.cn',\
'Origin':'http://app1.sfda.gov.cn',\
'Referer':'http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=114&tableName=TABLE114&title=%B9%FA%BC%D2%CA%B3%C6%B7%B0%B2%C8%AB%BC%E0%B6%BD%B3%E9%BC%EC%A3%A8%B2%BB%BA%CF%B8%F1%B2%FA%C6%B7%A3%A9&bcId=143106776907834761101199700381',\
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 YaBrowser/16.10.0.2564 Yowser/2.5 Safari/537.36'}
header1 = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',\
'Accept-Encoding':'gzip, deflate, sdch',\
'Accept-Language':'zh-CN,zh-TW;q=0.8,en;q=0.6',\
'Connection':'keep-alive',\
'Cookie':'JSESSIONID=2E1717F762EA71C817FA42DB6C62152F; _gscu_1358151024=79444730bj86pz52; _gscs_1358151024=79444730m72inv52|pv:2; _gscbrs_1358151024=1; _gscu_32481467=79444748p7qr7q10; _gscs_32481467=794447489k0m2310|pv:6; _gscbrs_32481467=1; yunsuo_session_verify=1f510b976fd2a2174cda347e273a586f; srcurl=687474703a2f2f617070322e736664612e676f762e636e2f64617461736561726368702f696e646578312e646f3f7461626c6549643d313134267461626c654e616d653d5441424c45313134267461626c65566965773d25453925413325394625453525393325383125453625384125424425453625413325383028254534254238253844254535253930253838254546254246254244253230254546254246254244292649643d353435; security_session_mid_verify=e405dc4b87e82b5c6b5059338ce5c3e1',\
'Host':'app2.sfda.gov.cn',\
'Referer':'http://app2.sfda.gov.cn/datasearchp/index1.do?tableId=114&tableName=TABLE114&tableView=%CA%B3%C6%B7%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD(%EF%BF%BD%EF%BF%BD%EF%BF%BD%EF%BF%BD&security_verify_data=313932302c31303830',\
'Upgrade-Insecure-Requests':'1',\
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 YaBrowser/16.10.0.2564 Yowser/2.5 Safari/537.36'}
f = open ('badrecord.txt','a')
f.write('食药监不合格食品记录\n')
f.write('='*60 + '\n')
for p in range(1,20):
url = "http://app1.sfda.gov.cn/datasearch/face3/search.jsp?tableId=114&State=1&bcId=143106776907834761101199700381&State=1&tableName=TABLE114&State=1&viewtitleName=COLUMN1490&State=1&viewsubTitleName=COLUMN1486&State=1&curstart="+str(p)+"&State=1&tableView=%25E5%259B%25BD%25E5%25AE%25B6%25E9%25A3%259F%25E5%2593%2581%25E5%25AE%2589%25E5%2585%25A8%25E7%259B%2591%25E7%259D%25A3%25E6%258A%25BD%25E6%25A3%2580%25EF%25BC%2588%25E4%25B8%258D%25E5%2590%2588%25E6%25A0%25BC%25E4%25BA%25A7%25E5%2593%2581%25EF%25BC%2589&State=1"
res = requests.post(url,headers=header)
res = res.text
bs = BS(res,'lxml')
for i in range(len(bs.findAll('a'))):
item = bs.findAll('a').string.encode('utf-8')
Id = re.findall('Id=\d{1,}',str(bs.findAll('a')))
f.write(Id + '\n' + item + '\n' + '-'*60 + '\n')
f.close() 这是代码 沃尔沃若翁
页:
[1]