论坛 › Python交流 › 爬虫爬取纯妹妹网每个页面的图片

xiaojiayuhhb 发表于 2022-6-12 12:58:35

什么

深海火锅店 发表于 2022-6-12 15:48:40

让我康康{:5_109:}

骚年￥学编程 发表于 2022-6-13 09:58:41

学爬虫第一步 爬取妹子网站第二部加入多线程 第三步 索然无味

逗逗嘉o 发表于 2022-6-13 10:01:30

瞅一眼

夜兰丶希露 发表于 2022-6-13 10:53:39

{:10_254:}

pyk45535 发表于 2022-6-13 15:09:55

{:10_319:}

gk2497119111 发表于 2022-6-13 15:48:24

谢谢大神222233333

大橙子. 发表于 2022-6-13 15:51:22

{:5_105:}

·老实人· 发表于 2022-6-14 11:05:50

感谢楼主无私奉献！

举个栗子呀 发表于 2022-6-14 13:41:40

看看后面是啥

mumu2006 发表于 2022-6-14 13:52:54

现在不是说不允许爬虫了吗？

pythonxian 发表于 2022-6-15 23:09:40

1

lyk199702 发表于 2022-6-16 02:24:09

谢谢

w13323948825 发表于 2022-6-16 11:35:45

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
    'cookie': 'BIDUPSID=45588421F978DE2902A1A47464D72AB3; PSTM=1609986056; BAIDUID=45588421F978DE29E3D21BB7BB5A6873:FG=1; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; __yjs_duid=1_e3607a56e43709e2ca3db4147c46396a1612784778582; BAIDUID_BFESS=45588421F978DE29E3D21BB7BB5A6873:FG=1; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1614696427; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1614697139; __yjsv5_shitong=1.0_7_253e552513b2cf371866473b2e57fb4e5137_300_1614697145680_59.50.85.17_fe15699c; ab_sr=1.0.0_ZDRiZDU1NjAzNjRkMDUyOWE3ZTg3MWZlMjRhMGE4NzkwYmI3N2ExMzliMjY3MjIxOGIyY2EyMmMxNWQzOWFmY2UyZDZjMGFkYzVjNWZkNGQ1ZWIxMTJmYjZjM2Y0M2M2'
    }
url_start = 'https://www.ibswtan.com/17/17023/'# 凡人修仙传

# 创建书签
if '书签.txt' not in os.listdir():
    withopen('书签.txt', 'w') as f:
      f.write('1146042.html')# 第一章

end = ''
while end != 'q':
    withopen('书签.txt', 'r') as f:
      now = f.read()
    url = url_start + now
    res = requests.get(url=url, headers=headers)
    res.encoding = "utf-8"# 解码不行就gbk
    soup = bs4.BeautifulSoup(res.text, "html.parser")
    title = soup.find_all('h1')
    print(f"==========   {title.text}   =============")
    targets = soup.find_all("div", id="content")
    for i in targets:
      if str(i) != '<br/>' and str(i) != '\n':
            print(i)
            end = input()# 回车下一行，输入q结束，我喜欢一行一行读
            if end == 'q':
                break
    if end == 'q':
      break
    next_ = soup.find_all('a', text='下一章')
    withopen('书签.txt', 'w') as f:
      f.write(str(next_).split('"'))
    end = input('回车下一章')

w13323948825 发表于 2022-6-16 11:36:25

先学习一下。

accustem 发表于 2022-6-16 22:10:04

好奇，看看是什么样的代码

LYLR261002 发表于 2022-6-26 08:30:44

看

明月光_c_py 发表于 2022-6-27 11:46:39

1

ljp2213 发表于 2022-6-30 07:40:14

1

龘閖神 发表于 2022-7-4 18:25:24

3Q

查看完整版本: 爬虫爬取纯妹妹网每个页面的图片