鱼C论坛

 找回密码
 立即注册
查看: 1237|回复: 24

求大神帮忙写一段爬虫代码

[复制链接]
最佳答案
0 
发表于 2018-8-5 23:07:56 | 显示全部楼层 |阅读模式
100鱼币
大致上就是要找国内外批发商,做外贸的,主要是做机顶盒的,就是只有国外才能用的那种,关键词就是DVB-T2    ATSC   ISDB-T   DVB-S2  这几个,然后就是找批发商出口商的公司信息,电话,邮箱,地址,skype whatsapp这些联系方式,还有就是比如其他像我们这样的制造商的公司他们的顾客信息。

有没有大神可以做到,尽量精准就行。

感激不尽啊

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-7 17:29:39 | 显示全部楼层
找人付费做吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-7 18:52:24 | 显示全部楼层
这个项目拿来商用最好付费做吧。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2018-8-8 20:40:58 | 显示全部楼层

可以付费的啊,你可以吗。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2018-8-8 20:44:03 | 显示全部楼层
qq940993208 发表于 2018-8-7 18:52
这个项目拿来商用最好付费做吧。。

可以付费,可以做吗
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-10 09:05:05 | 显示全部楼层
贴上 网址和网页截图,注明爬虫内容
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
31 
发表于 2018-8-10 12:59:21 | 显示全部楼层
只知道要国外的,不知道数据源在哪。这种爬虫规模可以叫做全网爬虫
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-11 16:38:16 | 显示全部楼层
import re
import string
import sys
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
import requests
from lxml import etree

reload(sys)
sys.setdefaultencoding('utf-8')
if(len(sys.argv) >=2):
    user_id = (int)(sys.argv[1])
else:
    user_id = (int)(raw_input(u"请输入user_id: "))

cookie = {"Cookie": "#your cookie"}
url = 'http://weibo.cn/u/%d?filter=1&page=1'%user_id

html = requests.get(url, cookies = cookie).content
selector = etree.HTML(html)
pageNum = (int)(selector.xpath('//input[@name="mp"]')[0].attrib['value'])

result = ""
urllist_set = set()
word_count = 1
image_count = 1

print u'爬虫准备就绪...'

for page in range(1,pageNum+1):

  #获取lxml页面
  url = 'http://weibo.cn/u/%d?filter=1&page=%d'%(user_id,page)
  lxml = requests.get(url, cookies = cookie).content

  #文字爬取
  selector = etree.HTML(lxml)
  content = selector.xpath('//span[@class="ctt"]')
  for each in content:
    text = each.xpath('string(.)')
    if word_count >= 4:
      text = "%d :"%(word_count-3) +text+"\n\n"
    else :
      text = text+"\n\n"
    result = result + text
    word_count += 1

  #图片爬取
  soup = BeautifulSoup(lxml, "lxml")
  urllist = soup.find_all('a',href=re.compile(r'^http://weibo.cn/mblog/oripic',re.I))
  first = 0
  for imgurl in urllist:
    urllist_set.add(requests.get(imgurl['href'], cookies = cookie).url)
    image_count +=1

fo = open("/Users/Personals/%s"%user_id, "wb")
fo.write(result)
word_path=os.getcwd()+'/%d'%user_id
print u'文字微博爬取完毕'

link = ""
fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")
for eachlink in urllist_set:
  link = link + eachlink +"\n"
fo2.write(link)
print u'图片链接爬取完毕'

if not urllist_set:
  print u'该页面中不存在图片'
else:
  #下载图片,保存在当前目录的pythonimg文件夹下
  image_path=os.getcwd()+'/weibo_image'
  if os.path.exists(image_path) is False:
    os.mkdir(image_path)
  x=1
  for imgurl in urllist_set:
    temp= image_path + '/%s.jpg' % x
    print u'正在下载第%s张图片' % x
    try:
      urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)
    except:
      print u"该图片下载失败:%s"%imgurl
    x+=1

print u'原创微博爬取完毕,共%d条,保存路径%s'%(word_count-4,word_path)
print u'微博图片爬取完毕,共%d张,保存路径%s'%(image_count-1,image_path)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-11 16:38:54 | 显示全部楼层
图片自己弄
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-11 16:39:26 | 显示全部楼层
import re
import string
import sys
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
import requests
from lxml import etree

reload(sys)
sys.setdefaultencoding('utf-8')
if(len(sys.argv) >=2):
    user_id = (int)(sys.argv[1])
else:
    user_id = (int)(raw_input(u"请输入user_id: "))

cookie = {"Cookie": "#your cookie"}
url = 'http://weibo.cn/u/%d?filter=1&page=1'%user_id

html = requests.get(url, cookies = cookie).content
selector = etree.HTML(html)
pageNum = (int)(selector.xpath('//input[@name="mp"]')[0].attrib['value'])

result = ""
urllist_set = set()
word_count = 1
image_count = 1

print u'爬虫准备就绪...'

for page in range(1,pageNum+1):

  #获取lxml页面
  url = 'http://weibo.cn/u/%d?filter=1&page=%d'%(user_id,page)
  lxml = requests.get(url, cookies = cookie).content

  #文字爬取
  selector = etree.HTML(lxml)
  content = selector.xpath('//span[@class="ctt"]')
  for each in content:
    text = each.xpath('string(.)')
    if word_count >= 4:
      text = "%d :"%(word_count-3) +text+"\n\n"
    else :
      text = text+"\n\n"
    result = result + text
    word_count += 1

  #图片爬取
  soup = BeautifulSoup(lxml, "lxml")
  urllist = soup.find_all('a',href=re.compile(r'^http://weibo.cn/mblog/oripic',re.I))
  first = 0
  for imgurl in urllist:
    urllist_set.add(requests.get(imgurl['href'], cookies = cookie).url)
    image_count +=1

fo = open("/Users/Personals/%s"%user_id, "wb")
fo.write(result)
word_path=os.getcwd()+'/%d'%user_id
print u'文字微博爬取完毕'

link = ""
fo2 = open("/Users/Personals/%s_imageurls"%user_id, "wb")
for eachlink in urllist_set:
  link = link + eachlink +"\n"
fo2.write(link)
print u'图片链接爬取完毕'

if not urllist_set:
  print u'该页面中不存在图片'
else:
  #下载图片,保存在当前目录的pythonimg文件夹下
  image_path=os.getcwd()+'/weibo_image'
  if os.path.exists(image_path) is False:
    os.mkdir(image_path)
  x=1
  for imgurl in urllist_set:
    temp= image_path + '/%s.jpg' % x
    print u'正在下载第%s张图片' % x
    try:
      urllib.urlretrieve(urllib2.urlopen(imgurl).geturl(),temp)
    except:
      print u"该图片下载失败:%s"%imgurl
    x+=1

print u'原创微博爬取完毕,共%d条,保存路径%s'%(word_count-4,word_path)
print u'微博图片爬取完毕,共%d张,保存路径%s'%(image_count-1,image_path)


图片自己弄
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2018-8-19 12:34:31 | 显示全部楼层
死神-zhang 发表于 2018-8-11 16:39
import re
import string
import sys

我需要的不是微博内容和图片啊,大神,能否给个我问题上写的呢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
10 
发表于 2018-8-19 16:43:30 | 显示全部楼层
说的好像python做爬虫很容易似的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-20 10:23:44 | 显示全部楼层
你做这些的话好歹提供一下哪些网站可以爬到这些信息啊。。啥都不提供。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-21 20:01:08 | 显示全部楼层
好吧,不过很大数据哦
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2018-8-21 20:02:10 | 显示全部楼层
我想想
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2018-8-24 17:19:55 | 显示全部楼层
13570609660 发表于 2018-8-20 10:23
你做这些的话好歹提供一下哪些网站可以爬到这些信息啊。。啥都不提供。。

其实,也没有特定的网站,就是在龙之向导上有很多b2b网站.或者去谷歌搜产品关键词,然后找国外的客户信息。你可以试试这个网站http://www.1stworldtradeportal.com/,感谢感谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2018-8-24 17:20:51 | 显示全部楼层
waitforlove 发表于 2018-8-19 16:43
说的好像python做爬虫很容易似的

没说容易啊。。。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
10 
发表于 2018-8-24 17:28:39 | 显示全部楼层
一般程序员写的爬虫只会正对一个网站,不可能帮你把互联网上所有的站点都爬一便啊。那要多久啊。其次,那是百度和google在做的事情。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2018-8-24 23:12:54 | 显示全部楼层
colinshi 发表于 2018-8-24 17:28
一般程序员写的爬虫只会正对一个网站,不可能帮你把互联网上所有的站点都爬一便啊。那要多久啊。其次,那是 ...

好的,懂了,谢谢啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2018-8-25 08:46:12 | 显示全部楼层
把要爬的网站贴出来啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号

GMT+8, 2018-12-15 12:47

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表