鱼C论坛

 找回密码
 立即注册
查看: 774|回复: 11

[已解决]爬虫一运行就打开浏览器

[复制链接]
发表于 2020-4-1 08:07:25 From FishC Mobile | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
运行就打开浏览器,求大佬

import requests
from lxml import etree
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}
def get_chapter_urls(url):
    response = requests.get(url,headers=headers)
    response.encoding = response.apparent_encoding
    html = etree.HTML(response.text)
    urls_ = html.xpath('//div[@class="pt-chapter-cont-detail"]/a/@href')
    urls = []
    for url in urls_:
        urls.append("http://www.cwwx.cc" + url)
    return urls

def get_chapter_text(url):
    response = requests.get(url,headers=headers)
    response.encoding = response.apparent_encoding
    html = etree.HTML(response.text)
    chapter_title = html.xpath('//div[@class="pt-read-title"]/h1/a/text()')[0]
    chapter_text_ = html.xpath('//div[@class="size16 color5 pt-read-text"]/p/text()')
    chapter_text = []
    for text in chapter_text_:
        chapter_text.append(text.strip())
    return'\n'.join(chapter_text)

def save(filename,url):
    links = get_chapter_urls(url)
    with open(filename + '.txt',mode='w',encoding='utf-8') as f:
         for url in links:
            f.write(get_chapter_text(url))

bookname = input("书名: ")
download_link = input("小说链接: ")
save(bookname,download_link)
最佳答案
2020-4-1 10:02:21
18274508008 发表于 2020-4-1 10:00
没反应

弄个断点逐一排查,我也没什么别的好办法
看看那一条语句触发了打开浏览器的操作
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-4-1 08:21:55 From FishC Mobile | 显示全部楼层
求大佬
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-1 08:54:21 From FishC Mobile | 显示全部楼层
18274508008 发表于 2020-4-1 08:21
求大佬

把它关上
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-4-1 09:52:19 From FishC Mobile | 显示全部楼层
_2_ 发表于 2020-4-1 08:54
把它关上

是关浏览器吗
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-1 09:52:54 From FishC Mobile | 显示全部楼层
18274508008 发表于 2020-4-1 09:52
是关浏览器吗


嗯,然后再看看程序还在不在跑
如果不行就最小化
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-4-1 09:54:46 From FishC Mobile | 显示全部楼层
_2_ 发表于 2020-4-1 09:52
嗯,然后再看看程序还在不在跑
如果不行就最小化

没用还是直接打开浏览器
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-1 09:55:25 From FishC Mobile | 显示全部楼层
18274508008 发表于 2020-4-1 09:54
没用还是直接打开浏览器

……最小化试试
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-4-1 09:56:00 From FishC Mobile | 显示全部楼层
_2_ 发表于 2020-4-1 09:55
……最小化试试

试了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-1 09:56:39 From FishC Mobile | 显示全部楼层
18274508008 发表于 2020-4-1 09:54
没用还是直接打开浏览器

可能是你的程序跑完了,把结果直接用浏览器打开了
不妨等一会儿
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-4-1 10:00:41 From FishC Mobile | 显示全部楼层
_2_ 发表于 2020-4-1 09:56
可能是你的程序跑完了,把结果直接用浏览器打开了
不妨等一会儿

没反应
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-1 10:02:21 From FishC Mobile | 显示全部楼层    本楼为最佳答案   
18274508008 发表于 2020-4-1 10:00
没反应

弄个断点逐一排查,我也没什么别的好办法
看看那一条语句触发了打开浏览器的操作
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-4-1 10:03:59 From FishC Mobile | 显示全部楼层
_2_ 发表于 2020-4-1 10:02
弄个断点逐一排查,我也没什么别的好办法
看看那一条语句触发了打开浏览器的操作

好吧,谢了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-4-19 11:49

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表