爬虫
import bs4import re
import requests
class Noveldownload:
def __init__(self):
self.session=requests.Session()
def get_novel(self,url):
index_html = self.download(url,encoding='utf-8')
def download(self,url,encoding):
response = self.session.get(url)
response.encoding= encoding
html = response.text
return html
def get_chapter_info(self,index_html):
div= re.findall(r'<div class="box_con">.*?</div>',index_html,re.S)
print(div)
if __name__=='__main__':
url ='https://www.xiaoshuo530.com/files/article/info/7/7834.html'
s=Noveldownload()
s.get_novel(url)
运行没错误，但为啥不打印啊
要爬的数据：
</script>
<div class="box_con">
<div id="list">
<dl>
<dt>《****.》最新章节（提示：已启用缓存技术，最新章节可能会延时显示，登录书架即可实时查看。）</dt>
<dd> <a style="" href="/files/article/html/7/7834/2267508.html">第1796章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2266187.html">第1795章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2263155.html">第1794章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2261749.html">第1793章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2259888.html">第1792章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2259887.html">第1791章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2259886.html">第1790章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2248656.html">第1789章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2247770.html">第1788章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2247517.html">第1787章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2247516.html">第1786章</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/2244722.html">第1785章</a></dd>
<dt>《****.》正文</dt>
<dd> <a style="" href="/files/article/html/7/7834/1616932.html">正文</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616933.html">第一卷 第1章 ****</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616934.html">第一卷 第2章 死人变活</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616935.html">第一卷 第3章 不看白不看</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616936.html">第一卷 第4章 漂亮的女邻居</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616937.html">第一卷 第5章 可爱的女学生</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616938.html">第一卷 第6章 帮我揉下肚子</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616939.html">第一卷 第7章 借东西</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616940.html">第一卷 第8章 洗澡间的水声</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616941.html">第一卷 第9章 遇袭</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616942.html">第一卷 第10章 天仙少女</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616943.html">第一卷 第11章 不舒服</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616944.html">第一卷 第12章 他是**</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616945.html">第一卷 第13章 陷害</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616946.html">第一卷 第14章 非池中之物</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616947.html">第一卷 第15章 奇遇</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616948.html">第一卷 第16章 练功</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616949.html">第一卷 第17章 迷人的表姐</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616950.html">第一卷 第18章 占便宜</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616951.html">第一卷 第19章 乘人之危</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616952.html">第一卷 第20章 你放开我</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616953.html">第一卷 第21章 再次遇袭</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616954.html">第一卷 第22章 我要变强</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616955.html">第一卷 第23章 冷美人</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616956.html">第一卷 第24章 商议</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616957.html">第一卷 第25章 常乐赌场</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616958.html">第一卷 第26章 带刺的玫瑰</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616959.html">第一卷 第27章 小花</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616960.html">第一卷 第28章 两次特异功能</a></dd>
<dd> <a style="" href="/files/article/html/7/7834/1616961.html">第一卷 第29章 我不是故意的</a></dd>
因为你没有调用 get_chapter_info 函数呀，print 函数在这个方法里面所以才会打印哈
帮你的 index_html 换成实例属性了，直接用，代码改成这样就好：
import bs4
import re
import requests
class Noveldownload:
def __init__(self):
self.session = requests.Session()
def get_novel(self, url):
self.index_html = self.download(url, encoding='utf-8')
def download(self, url, encoding):
response = self.session.get(url)
response.encoding = encoding
html = response.text
return html
def get_chapter_info(self):
div = re.findall(r'<div class="box_con">.*?</div>', self.index_html, re.S)
print(div)
if __name__ == '__main__':
url = 'https://www.xiaoshuo530.com/files/article/info/7/7834.html'
s = Noveldownload()
s.get_novel(url)
s.get_chapter_info() Twilight6 发表于 2020-7-29 20:59
因为你没有调用 get_chapter_info 函数呀，print 函数在这个方法里面所以才会打印哈
帮你的 index_htm ...
感谢
页:
[1]