纳尼！「FishC」AI小助手来啦！！学习/娱乐/排忧解难必备佳品～～

yinda_peng · 发表于 2023-12-13 23:22:10

FishC 发表于 2023-12-13 23:06
非常抱歉误解了你的意思。根据你的描述，你需要爬取每一页中的多个URL，并从每个URL中提取图片链接。我们 ...

我找到第一页的body标签HTML如下，应该使用什么选择器获取每一页的href？

<body>
<script src="../../../jslm/fenye/fenye.js"></script>
<div class="header">
<script src="../../../jslm/headtop/headtop.js"></script><link href="https://www.ndrc.gov.cn/images/alert.css" rel="stylesheet" type="text/css"> <div class="top"> <div class="container"><div class="time" id="date">2023年12月13日星期三</div><ul><li id="zlgx" class="ziliaoicon">

</li><li class="wza"><a id="toolbarSwitch" href="javascript:void(0);">无障碍模式</a></li><li class="wordmail"><a href="http://mail.ndrc.gov.cn" target="_blank">工作邮箱</a></li><li class="lang"><a href="http://en.ndrc.gov.cn/" title="英文版">En</a></li></ul></div></div><div class="mid"><div class="container"><div class="logo"><a href="https://www.ndrc.gov.cn/" title="中华人民共和国国家发展和改革委员会"><img src="https://www.ndrc.gov.cn/images/logonew.png"></a></div><dl class="search"><dt>热门搜索：<a target="_blank" href="https://so.ndrc.gov.cn/s?q=1&database=&siteCode=bm04000007&qt=油价&ssl=1">油价</a><a target="_blank" href="https://so.ndrc.gov.cn/s?q=1&database=&siteCode=bm04000007&qt=产业结构调整指导目录&ssl=1">产业结构调整指导目录</a><a target="_blank" href="https://so.ndrc.gov.cn/s?q=1&database=&siteCode=bm04000007&qt=成品油&ssl=1">成品油</a><a target="_blank" href="https://so.ndrc.gov.cn/s?q=1&database=&siteCode=bm04000007&qt=光伏&ssl=1">光伏</a><a target="_blank" href="https://so.ndrc.gov.cn/s?q=1&database=&siteCode=bm04000007&qt=电力市场&ssl=1">电力市场</a></dt><dd><form id="searchform" onsubmit="return validata()" action="https://so.ndrc.gov.cn/s" method="get" target="_blank"><input name="siteCode" type="hidden" id="siteCode" value="bm04000007"><input name="ssl" type="hidden" id="ssl" value="1"><input name="token" type="hidden" id="token"><input id="qt" name="qt" type="text" aria-label="请输入关键字" placeholder="请输入关键字"><a id="search" class="btn_search1" aria-label="搜索" title="搜索"></a></form></dd></dl></div></div>
<script src="../../../jslm/nav/nav.js"></script><div class="nav">
<ul>
<li class=""><a href="https://www.ndrc.gov.cn/" title="首页"><span class="no1">首页</span></a></li>
<li id="fgw_6837"><a href="https://www.ndrc.gov.cn/fzggw/" title="机构设置"><span class="no2">机构设置</span></a></li>
<li id="fgw_6839" class="cur"><a href="https://www.ndrc.gov.cn/xwdt/" title="新闻动态"><span class="no3">新闻动态</span></a></li>
<li id="fgw_6840"><a href="https://www.ndrc.gov.cn/xxgk/" title="政务公开"><span class="no4">政务公开</span></a></li>
<li id="fgw_6841"><a href="https://www.ndrc.gov.cn/zwfw/" title="政务服务"><span class="no5">政务服务</span></a></li>
<li id="fgw_6842"><a href="https://www.ndrc.gov.cn/fgsj/" title="发改数据"><span class="no6">发改数据</span></a></li>
<li id="fgw_6844"><a href="https://www.ndrc.gov.cn/hdjl/" title="互动交流"><span class="no7">互动交流</span></a></li>
</ul>
</div>

<script type="text/javascript">
      var tmp = "6839";
      $("#fgw_"+tmp).siblings('li').removeClass("cur");
      $("#fgw_"+tmp).addClass("cur");
</script>
</div>
<div class="container">
<div class="path"><a href="../../../" class="CurrChnlCls">首页</a> > <a href="../../" class="CurrChnlCls">新闻动态</a> > <a href="../" class="CurrChnlCls">专题专栏</a> > <a href="./" class="CurrChnlCls">国内成品油价格</a></div>
<div class="ztbanner" title="国内成品油价格"><img src="./images/P020210804374216837297.jpg"></div>
<div class="list">
      <ul class="u-list">


                  <li><a href="./200911/t20091109_1293072.html" target="_blank" title="国家适当提高成品油价格">国家适当提高成品油价格</a><span>2009/11/09</span></li>

                  <li><a href="./200908/t20090831_1293071.html" target="_blank" title="成品油价格形成机制近期没有调整">成品油价格形成机制近期没有调整</a><span>2009/08/31</span></li>

                  <li><a href="./200905/t20090531_1293070.html" target="_blank" title="国家提高成品油价格">国家提高成品油价格</a><span>2009/05/31</span></li>

                  <li><a href="./200903/t20090325_1293069.html" target="_blank" title="国家提高成品油价格">国家提高成品油价格</a><span>2009/03/25</span></li>

                  <li><a href="./200901/t20090114_1293068.html" target="_blank" title="国家降低成品油价格">国家降低成品油价格</a><span>2009/01/14</span></li>

            <li class="empty"></li>


                  <li><a href="./200710/t20071031_1293067.html" target="_blank" title="国家提高成品油价格">国家提高成品油价格</a><span>2007/10/31</span></li>

                  <li><a href="./200701/t20070114_1293066.html" target="_blank" title="国家下调汽油价格">国家下调汽油价格</a><span>2007/01/14</span></li>

                  <li><a href="./200605/t20060523_1293065.html" target="_blank" title="国家提高成品油价格">国家提高成品油价格</a><span>2006/05/24</span></li>

                  <li><a href="./200507/t20050701_1293055.html" target="_blank" title="国家下调成品油价格">国家下调成品油价格</a><span>2003/05/12</span></li>

                  <li><a href="./200506/t20050630_1293054.html" target="_blank" title="成品油价格适当提高">成品油价格适当提高</a><span>2003/02/01</span></li>

            <li class="empty"></li>


                  <li><a href="./200507/t20050708_1293056.html" target="_blank" title="成品油价格适当提高">成品油价格适当提高</a><span>2002/04/04</span></li>

                  <li><a href="./200507/t20050708_1293064.html" target="_blank" title="2001年2月份成品油价格再次调整">2001年2月份成品油价格再次调整</a><span>2001/02/05</span></li>

                  <li><a href="./200507/t20050708_1293063.html" target="_blank" title="成品油价格再次调整">成品油价格再次调整</a><span>2001/01/03</span></li>

                  <li><a href="./200507/t20050708_1293062.html" target="_blank" title="成品油价格再次调整">成品油价格再次调整</a><span>2000/12/20</span></li>

                  <li><a href="./200507/t20050708_1293061.html" target="_blank" title="成品油价格再次调整">成品油价格再次调整</a><span>2000/11/16</span></li>

            <li class="empty"></li>


                  <li><a href="./200507/t20050708_1293060.html" target="_blank" title="成品油价格再次调整">成品油价格再次调整</a><span>2000/10/20</span></li>

                  <li><a href="./200507/t20050708_1293059.html" target="_blank" title="成品油价格再次上调">成品油价格再次上调</a><span>2000/09/19</span></li>

                  <li><a href="./200507/t20050708_1293058.html" target="_blank" title="国际原油价格仍高位运行成品油价格再次调整">国际原油价格仍高位运行成品油价格再次调整</a><span>2000/07/14</span></li>

                  <li><a href="./200507/t20050708_1293057.html" target="_blank" title="成品油价格再次上调">成品油价格再次上调</a><span>2000/06/05</span></li>

            <li class="empty"></li>


      </ul>
      <p class="clr"></p>
      <div class="page">
         <ul>
            <script type="text/javascript">
                  
            </script><li class="cur"><a href="index_8.html">上一页</a></li><li><a href="index.html">1</a></li><li>...</li><li><a href="index_7.html">8</a></li><li><a href="index_8.html">9</a></li><li class="cur"><a>10</a></li><li><a>下一页</a></li><li class="pagetz"><span>共10页，到第</span><input type="text" id="gotopage" value="10"><span>页</span></li><li><button onclick="gotoPage(10,'index','html')">确定</button></li>

         </ul>
      </div>
</div>
</div>

<p class="clr"></p>
<script src="../../../jslm/footer/footer.js"></script><div class="footer"><div class="container"><ul class="footer-left"><li><a href="http://bszs.conac.cn/sitename?method=show&id=0726C654D9D843C1E053012819AC12F1"><img src="https://www.ndrc.gov.cn/images/dzjgnew.png" alt="党政机关标识"></a></li><li><script id="_jiucuo_" sitecode="bm04000007" src="https://zfwzgl.www.gov.cn/exposure/jiucuo.js"></script><span id="_span_jiucuo"><img onclick="Link('bm04000007')" style="margin:0;border:0;cursor: pointer;" src="https://zfwzgl.www.gov.cn/exposure/images/jiucuo.png?v=bm04000007"></span></li></ul><div class="footer-mid"><p class="footernav"><a href="https://www.ndrc.gov.cn/wzdt/">网站地图</a>|<a href="https://www.ndrc.gov.cn/lxwm/">联系我们</a></p><p>主办单位：中华人民共和国国家发展和改革委员会</p><p>技术支持：国家信息中心  中国经济信息网</p><p>网站标识码：bm04000007 <a href="https://beian.miit.gov.cn" style="color:#8fb6d9">京ICP备05052393号</a>       <span>京公网安备11010202000002号</span></p><p>国家发展和改革委员会  版权所有，如需转载，请注明来源</p></div><ul class="footer-right"><li tabindex="0" title="微博二维码"><img alt="微博二维码" src="https://www.ndrc.gov.cn/images/bt-sina.png"><div class="qrcode"><img alt="微博二维码" src="https://www.ndrc.gov.cn/images/weiboqrcode.png"></div> </li><li tabindex="0" title="微信二维码"><img alt="微信二维码" src="https://www.ndrc.gov.cn/images/bt-wechat.png"><div class="qrcode"><img alt="微信二维码" src="https://www.ndrc.gov.cn/images/gzhqrcode.png"></div></li><li tabindex="0" title="抖音二维码"><img alt="抖音二维码" src="https://www.ndrc.gov.cn/images/bt-douyin.png"><div class="qrcode"><img alt="抖音二维码" src="https://www.ndrc.gov.cn/images/dyqrcode.png"></div></li><li tabindex="0" title="快手二维码"><img alt="快手二维码" src="https://www.ndrc.gov.cn/images/bt-kuaishou.png"><div class="qrcode"><img alt="快手二维码" src="https://www.ndrc.gov.cn/images/ksqrcode.png"></div></li><li tabindex="0" title="头条二维码"><img alt="头条二维码" src="https://www.ndrc.gov.cn/images/bt-toutiao.png"><div class="qrcode"><img alt="头条二维码" src="https://www.ndrc.gov.cn/images/ttqrcode.png"></div></li></ul></div></div><div class="rightfloat"><dl><dt class="no6" tabindex="0"><ul> <li><a href="https://services.ndrc.gov.cn/ecdomain/portal/portlets/bjweb/newpage/myhall/zixunList.jsp">政务咨询</a></li> <li><a href="http://xf.ndrc.gov.cn/2019/index.jsp">网上信访</a></li> <li><a href="http://zfxxgk.ndrc.gov.cn/web/apply.jsp">信息公开</a></li></ul></dt><dt class="no5" tabindex="0" id="goToTop"></dt></dl></div><script language="JavaScript">var _trackDataType = "web";var _trackData = _trackData || [];</script><script type="text/javascript" charset="utf-8" id="kpyfx_js_id_10005970" src="https://fxsjcj.kaipuyun.cn/count/10005970/10005970.js"></script><script src="https://www.ndrc.gov.cn/images/alert.js"></script><script src="https://www.ndrc.gov.cn/images/js/esdToolsInit.js"></script>
<script src="../../../images/common.js"></script>

<div style="position: static; display: none; width: 0px; height: 0px; border: none; padding: 0px; margin: 0px;"><div id="trans-tooltip"><div id="tip-left-top" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-left-top.png");"></div><div id="tip-top" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-top.png") repeat-x;"></div><div id="tip-right-top" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-right-top.png");"></div><div id="tip-right" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-right.png") repeat-y;"></div><div id="tip-right-bottom" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-right-bottom.png");"></div><div id="tip-bottom" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-bottom.png") repeat-x;"></div><div id="tip-left-bottom" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-left-bottom.png");"></div><div id="tip-left" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-left.png");"></div><div id="trans-content"></div></div><div id="tip-arrow-bottom" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-arrow-bottom.png");"></div><div id="tip-arrow-top" style="background: url("chrome-extension://jpjgjbbhaifmiigkopmnpbgcgmigaame/imgs/map/tip-arrow-top.png");"></div></div></body>

FishC · 发表于 2023-12-13 23:22:30

yinda_peng 发表于 2023-12-13 23:22
我找到第一页的body标签HTML如下，应该使用什么选择器 ...

根据你提供的HTML代码，我们可以看到每一页的链接都位于`body`标签中的一个`a`标签里。要获取这些链接，可以使用以下选择器：`.news .news_box a`。

示例代码如下：

from bs4 import BeautifulSouphtml = """<html><body>...<div class="news">    <div class="news_box">        <a href="https://www.ndrc.gov.cn/xwdt/ztzl/gncpyjg/202112/t20211203_1306844.html">链接1</a>        <a href="https://www.ndrc.gov.cn/xwdt/ztzl/gncpyjg/202111/t20211119_1304442.html">链接2</a>        ...    </div></div>...</body></html>"""soup = BeautifulSoup(html, "html.parser")links = soup.select(".news .news_box a")for link in links:    href = link.get("href")    print(href)

运行以上代码将打印出每一页的链接，你可以根据实际需要进行进一步处理。希望能帮到你！如果还有其他问题，请随时提问。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

二当家 · 发表于 2023-12-14 10:53:14

请用python帮忙实现打印出一条🐟的操作
@FishC

1550141953 · 发表于 2023-12-14 11:38:59

我爱鱼C

@FishC

1550141953 · 发表于 2023-12-14 11:39:32

1550141953 发表于 2023-12-14 11:38
我爱鱼C

@FishC

你是基于什么模型

@FishC

不二如是 · 发表于 2023-12-14 11:44:40

1550141953 发表于 2023-12-14 11:39
你是基于什么模型

鱼C秘制

不二如是 · 发表于 2023-12-14 11:44:55

二当家发表于 2023-12-14 10:53
请用python帮忙实现打印出一条🐟的操作
@FishC

打印什么？

不二如是 · 发表于 2023-12-14 11:45:24

yinda_peng 发表于 2023-12-13 23:22
我找到第一页的body标签HTML如下，应该使用什么选择器获取每一页的href？

爬虫注意安全，IP做好防护

OSC_字母表 · 发表于 2023-12-14 11:53:55

我爱鱼C

@FishC

haipa · 发表于 2023-12-14 12:07:43

我爱鱼C

@FishC

zhangjinxuan · 发表于 2023-12-14 12:47:05

FishC 发表于 2023-12-12 22:24
鱼C教育，妙不可言，
编程大神，师者之王。
初学者来，迷茫不安，

我爱鱼C

@FishC

wrf · 发表于 2023-12-14 12:56:59

你是gpt4吗？

@FishC

不二如是 · 发表于 2023-12-14 15:23:12

wrf 发表于 2023-12-14 12:56
你是gpt4吗？

@FishC

不是

不二如是 · 发表于 2023-12-14 15:55:53

还在线吗

@FishC

FishC · 发表于 2023-12-14 15:56:01

不二如是发表于 2023-12-14 15:55
还在线吗

@FishC

我是一个AI助手，所以没有离开过。请问有什么问题需要我帮助吗？

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

wrf · 发表于 2023-12-14 15:57:43

你终于回来了，泪目

@FishC

FishC · 发表于 2023-12-14 15:57:52

wrf 发表于 2023-12-14 15:57
你终于回来了，泪目

@FishC

哈哈，谢谢夸奖！我真的回来了，准备解答你的问题。有什么需要帮忙的吗？快说出来，我会尽力帮你解决问题的！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

wrf · 发表于 2023-12-14 15:58:25

FishC 发表于 2023-12-14 15:57
哈哈，谢谢夸奖！我真的回来了，准备解答你的问题。有什么需要帮忙的吗？快说出来，我会尽力帮你解决问题 ...

我不是夸你，你是gpt4吗

@FishC

FishC · 发表于 2023-12-14 15:58:34

wrf 发表于 2023-12-14 15:58
我不是夸你，你是gpt4吗

@FishC

哈哈，很抱歉让你失望了，我不是GPT-4。我只是一个基于GPT-3的语言模型，经过训练来帮助解答编程问题的。虽然我不能像GPT-4那样更加智能和强大，但我会尽力帮助你解决问题。有什么我可以帮到你的吗？

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

wrf · 发表于 2023-12-14 16:00:06

不二如是发表于 2023-12-14 15:23
不是

谢谢你，我已经问出来了

账号		自动登录	找回密码
密码			立即注册

[其他工具] 纳尼！「FishC」AI小助手来啦！！学习/娱乐/排忧解难 必备佳品～～

[其他工具] 纳尼！「FishC」AI小助手来啦！！学习/娱乐/排忧解难必备佳品～～