[已解决]爬虫代码问题

祢豆子oo

小甲鱼极客爬虫篇中的代码无法爬取网页，请问该怎么修改以及问题出在哪里呢？
是因为淘宝现在要登录以后才能搜索吗？
import requests

def open_url(keyword):
    payload = {'q':keyword, "sort":"sale-desc"}
    url = "https://s.taobao.com/search"
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}

    res = requests.get(url, params=payload, headers=headers)

    return res

def main():
    keyword = input("请输入搜索关键词：")
    res = open_url(keyword)

    with open("items.txt", "w", encoding="utf-8") as file:
        file.write(res.text)
   
if __name__ == "__main__":
    main()

最佳答案

月排行榜 / 总排行榜

isdkz

2022-4-9 12:33:44

祢豆子oo 发表于 2022-4-10 10:27
cookie可以仔细讲下吗？我在淘宝界面随便找了个cookie还是爬不出来

你先用浏览器试试可不可以搜索（不一定要登陆，不登陆也可以搜索的话就直接复制 cookie 就行了，

如果不登陆搜索不了那就登录一下再复制 cookie），

可以搜索的话按 F12 打开开发者工具，

然后点网络，点你请求的链接，然后点请求头，右键 cookie 复制值，添加到你的代码的 header 里面

比较关键的几个反爬字段，Cookie、User-Agent、Referer、Accept

import requests

def open_url(keyword):
    payload = {'q':keyword, "sort":"sale-desc", 'ie':'utf8'}
    url = "https://s.taobao.com/search"
    headers = {  
            'user-agent': 'Mozilla/5.0',
            'cookie': r'把复制的 cookie 放这'                           # 注意这里，因为 cookie 特别长，为了防止有一些转义，请在字符串前面加 r
            }


    res = requests.get(url, params=payload, headers=headers)

    return res

def main():
    keyword = input("请输入搜索关键词：")
    res = open_url(keyword)

    with open("items.txt", "w", encoding="utf-8") as file:
        file.write(res.text)
   
if __name__ == "__main__":
    main()

跳转到最佳答案楼层

isdkz

祢豆子oo 发表于 2022-4-10 10:27
cookie可以仔细讲下吗？我在淘宝界面随便找了个cookie还是爬不出来

你先用浏览器试试可不可以搜索（不一定要登陆，不登陆也可以搜索的话就直接复制 cookie 就行了，

如果不登陆搜索不了那就登录一下再复制 cookie），

可以搜索的话按 F12 打开开发者工具，

然后点网络，点你请求的链接，然后点请求头，右键 cookie 复制值，添加到你的代码的 header 里面

比较关键的几个反爬字段，Cookie、User-Agent、Referer、Accept

import requests

def open_url(keyword):
    payload = {'q':keyword, "sort":"sale-desc", 'ie':'utf8'}
    url = "https://s.taobao.com/search"
    headers = {  
            'user-agent': 'Mozilla/5.0',
            'cookie': r'把复制的 cookie 放这'                           # 注意这里，因为 cookie 特别长，为了防止有一些转义，请在字符串前面加 r
            }


    res = requests.get(url, params=payload, headers=headers)

    return res

def main():
    keyword = input("请输入搜索关键词：")
    res = open_url(keyword)

    with open("items.txt", "w", encoding="utf-8") as file:
        file.write(res.text)
   
if __name__ == "__main__":
    main()

isdkz

对的，淘宝需要登录，登录的话你可以用这个大佬的项目，

看第二个:
https://fishc.com.cn/thread-210923-1-1.html,

或者你也可以在 headers 那里加个 cookie

祢豆子oo

isdkz 发表于 2022-4-9 13:18
对的，淘宝需要登录，登录的话你可以用这个大佬的项目，

看第二个:

cookie可以仔细讲下吗？我在淘宝界面随便找了个cookie还是爬不出来

祢豆子oo

isdkz 发表于 2022-4-9 13:18
对的，淘宝需要登录，登录的话你可以用这个大佬的项目，

看第二个:

大佬，我刚才试了一下你说加cookie的方法还是没办法爬出来，而且登录了之后再爬也不行

isdkz

祢豆子oo 发表于 2022-4-13 20:55
大佬，我刚才试了一下你说加cookie的方法还是没办法爬出来，而且登录了之后再爬也不行

items.txt 里面的内容是什么？

祢豆子oo

isdkz 发表于 2022-4-13 20:58
items.txt 里面的内容是什么？

噢，我知道了，要登录之后的cookie，我之前输入的是登陆之前的，现在出来了。感谢感谢