代码爬取笔趣阁小说保存到文本中

capslock133 · 发表于 2021-6-14 20:16:20

看看能不能用

fumun · 发表于 2021-6-19 10:05:59

爬一下类似的看看

myp1976 · 发表于 2021-6-19 10:13:46

太厉害啦

15333815882 · 发表于 2021-6-23 03:21:34

import re
import requests
from bs4 import BeautifulSoup
from tqdm import tqdm

response=requests.get('https://www.sobiquge.com/book/29105/')
home_page=response.content.decode()
# print(home_page)
soup=BeautifulSoup(home_page,'lxml')
# print(re.findall('http.+',soup.head))
url=soup.find_all('dd')
# print(url)
final_url=[]
for i in url:
half_url=re.findall(r'/book.*html',str(i))
zhangjie_url='https://www.sobiquge.com'+half_url[0]
final_url.append(zhangjie_url)
# print(final_url)
with open('D:\python\超神机械师.txt','w',encoding='utf-8') as fp:
for i in tqdm(final_url):
      response = requests.get(i)
      home_page = response.content.decode()
      soup = BeautifulSoup(home_page, 'lxml')
      title=re.findall(r'\d.*?_',str(soup.find('title')))
      title=title[0][0:-1]
      scarpt=soup.find(id="content")
      fp.write(title+'\n')
      fp.write(scarpt.text+'\n')

新手摸索着写的

苦行Leesin · 发表于 2021-6-24 10:06:07

林子里了吗 · 发表于 2021-6-24 11:48:30

我也看超神机械师，不过现在已经完结了。在找新的好看的书

TheAssofJackie · 发表于 2021-6-28 09:09:40

感谢分享

20010126 · 发表于 2021-7-5 17:13:33

学习一下

931474950 · 发表于 2021-7-16 17:22:39

隐藏

antonybear · 发表于 2021-7-17 23:34:24

高手

江南野外的狸 · 发表于 2021-7-18 18:49:30

非常有借鉴意义

南烛 · 发表于 2021-7-18 20:19:15

234657812 · 发表于 2021-7-20 13:18:07

学习

1220201720 · 发表于 2021-7-20 20:23:12

感谢

hornwong · 发表于 2021-7-20 21:17:53

tudou103 · 发表于 2021-7-27 21:59:33

见可大虾 · 发表于 2021-8-1 00:43:29

shafda

fish_nian · 发表于 2021-9-6 15:57:53

看看

vg4616 · 发表于 2021-9-8 20:17:24

好好好

账号		自动登录	找回密码
密码			立即注册

[技术交流] 代码爬取笔趣阁小说保存到文本中