[已解决]爬虫

Hant

import bs4
import re
import requests

class Noveldownload:
    def __init__(self):
        self.session=requests.Session()

    def get_novel(self,url):
        index_html = self.download(url,encoding='utf-8')
      



    def download(self,url,encoding):
        response = self.session.get(url)
        response.encoding= encoding
        html = response.text
        return html

    def get_chapter_info(self,index_html):
        div= re.findall(r'<div class="box_con">.*?</div>',index_html,re.S)[0]
        print(div)


if __name__=='__main__':
    url ='https://www.xiaoshuo530.com/files/article/info/7/7834.html'
   
    s=Noveldownload()
   
    s.get_novel(url)

  运行没错误，但为啥不打印啊


要爬的数据：
</script>

<div class="box_con">
        <div id="list">
                <dl>
                        <dt>《****.》最新章节（提示：已启用缓存技术，最新章节可能会延时显示，登录书架即可实时查看。）</dt>
                                                <dd> <a style="" href="/files/article/html/7/7834/2267508.html">第1796章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2266187.html">第1795章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2263155.html">第1794章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2261749.html">第1793章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2259888.html">第1792章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2259887.html">第1791章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2259886.html">第1790章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2248656.html">第1789章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2247770.html">第1788章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2247517.html">第1787章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2247516.html">第1786章</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/2244722.html">第1785章</a></dd>
                                               
                        <dt>《****.》正文</dt>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616932.html">正文</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616933.html">第一卷 第1章 ****</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616934.html">第一卷 第2章 死人变活</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616935.html">第一卷 第3章 不看白不看</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616936.html">第一卷 第4章 漂亮的女邻居</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616937.html">第一卷 第5章 可爱的女学生</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616938.html">第一卷 第6章 帮我揉下肚子</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616939.html">第一卷 第7章 借东西</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616940.html">第一卷 第8章 洗澡间的水声</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616941.html">第一卷 第9章 遇袭</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616942.html">第一卷 第10章 天仙少女</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616943.html">第一卷 第11章 不舒服</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616944.html">第一卷 第12章 他是**</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616945.html">第一卷 第13章 陷害</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616946.html">第一卷 第14章 非池中之物</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616947.html">第一卷 第15章 奇遇</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616948.html">第一卷 第16章 练功</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616949.html">第一卷 第17章 迷人的表姐</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616950.html">第一卷 第18章 占便宜</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616951.html">第一卷 第19章 乘人之危</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616952.html">第一卷 第20章 你放开我</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616953.html">第一卷 第21章 再次遇袭</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616954.html">第一卷 第22章 我要变强</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616955.html">第一卷 第23章 冷美人</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616956.html">第一卷 第24章 商议</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616957.html">第一卷 第25章 常乐赌场</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616958.html">第一卷 第26章 带刺的玫瑰</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616959.html">第一卷 第27章 小花</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616960.html">第一卷 第28章 两次特异功能</a></dd>
                                                <dd> <a style="" href="/files/article/html/7/7834/1616961.html">第一卷 第29章 我不是故意的</a></dd>

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-29 20:59:02

因为你没有调用 get_chapter_info 函数呀，print 函数在这个方法里面所以才会打印哈

帮你的 index_html 换成实例属性了，直接用，代码改成这样就好：

import bs4
import re
import requests


class Noveldownload:
    def __init__(self):
        self.session = requests.Session()

    def get_novel(self, url):
        self.index_html = self.download(url, encoding='utf-8')


    def download(self, url, encoding):
        response = self.session.get(url)
        response.encoding = encoding
        html = response.text
        return html

    def get_chapter_info(self):
        div = re.findall(r'<div class="box_con">.*?</div>', self.index_html, re.S)[0]
        print(div)


if __name__ == '__main__':
    url = 'https://www.xiaoshuo530.com/files/article/info/7/7834.html'

    s = Noveldownload()
    s.get_novel(url)
    s.get_chapter_info()

跳转到最佳答案楼层

Twilight6

因为你没有调用 get_chapter_info 函数呀，print 函数在这个方法里面所以才会打印哈

帮你的 index_html 换成实例属性了，直接用，代码改成这样就好：

import bs4
import re
import requests


class Noveldownload:
    def __init__(self):
        self.session = requests.Session()

    def get_novel(self, url):
        self.index_html = self.download(url, encoding='utf-8')


    def download(self, url, encoding):
        response = self.session.get(url)
        response.encoding = encoding
        html = response.text
        return html

    def get_chapter_info(self):
        div = re.findall(r'<div class="box_con">.*?</div>', self.index_html, re.S)[0]
        print(div)


if __name__ == '__main__':
    url = 'https://www.xiaoshuo530.com/files/article/info/7/7834.html'

    s = Noveldownload()
    s.get_novel(url)
    s.get_chapter_info()

Hant

Twilight6 发表于 2020-7-29 20:59
因为你没有调用 get_chapter_info 函数呀，print 函数在这个方法里面所以才会打印哈

帮你的 index_htm ...

感谢