关于pixiv网站爬取的问题

q1274701999

网上看了很多别人写的程序
要么用不了
要么出错找不到原因
要么就是不用登录的，不登录爬取的图片又有限制
于是就想自己写，但是登录时遇到很大的问题，我把登录需要的参数传过去了，但是后面requests.text传回来的网页源码显示我没登录
这是我写的代码，卡在了登录这一步好久了，希望看到的大神能指导一下（网址是https://accounts.pixiv.net/login?lang=zh，需要翻墙才能登录）

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. from urllib.parse import urlencode
   
4. from requests.packages.urllib3.exceptions import InsecureRequestWarning
   
5. 
   
6. requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
   
7. 
   
8. 
   
9. 
   
10. 
    
11. def login():
    
12.     headers = {
    
13.         'User-Agent': 'Mozilla / 5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/83.0.4103.97Safari/537.36',
    
14.         # 'referer': 'https://accounts.pixiv.net/login?return_to=https%3A%2F%2Fwww.pixiv.net%2F&lang=zh&source=pc&view_type=page'
    
15.         'Referer': 'https://accounts.pixiv.net/login?lang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index'
    
16.     }
    
17.     # session = requests.session()
    
18.     # response = session.get('https://accounts.pixiv.net/login?lang=zh',headers=headers,verify=False)
    
19.     response = requests.get('https://accounts.pixiv.net/login?lang=zh',headers=headers,verify=False)
    
20.     print(response.status_code)
    
21.     bs = BeautifulSoup(response.text,'html.parser')
    
22.     post_key = bs.find('div',id='old-login').find('input',type='hidden')['value']
    
23.     print(post_key)
    
24. 
    
25.     data = {
    
26.         'post_key': post_key,
    
27.         'captcha':'',
    
28.         'g_recaptcha_response':'',
    
29.         'ref':'',
    
30.         'return_to': 'https://www.pixiv.net/',
    
31.         'source': 'pc',
    
32.         'pixiv_id': '@qq.com',
    
33.         'password': ''
    
34. 
    
35.     }
    
36. 
    
37.     res = requests.post('https://accounts.pixiv.net/api/login?lang=zh',data=data,headers=headers,verify=False)
    
38.     print(res.cookies)
    
39.     print(type(res.cookies))
    
40.     return res.cookies
    
41. 
    
42. def get_id():
    
43.     response_list = []
    
44.     cookies = login()
    
45.     headers2 = {
    
46.         'User-Agent': 'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/83.0.4103.97Safari/537.36',
    
47.         'Accept-Language': 'zh-CN,zh',
    
48.         'Referer':'https://accounts.pixiv.net/login?return_to=https%3A%2F%2Fwww.pixiv.net%2F&lang=zh&source=pc&view_type=page'
    
49.     }
    
50. 
    
51.     # url = 'https://www.pixiv.net/ranking.php?mode=daily_r18&p=1&format=json'
    
52.     data = {
    
53.         'mode':'daily_r18'
    
54.     }
    
55.     url = 'https://www.pixiv.net/ranking.php?'+urlencode(data)
    
56.     print(url)
    
57.     response = requests.get(url,headers=headers2,data=data,cookies=cookies,verify=False)
    
58.     print(response.text)
    
59.     # global false, null, true
    
60.     # false = 'False'
    
61.     # null = 'None'
    
62.     # true = 'True'
    
63.     res = response.json()
    
64.     print(res)
    
65.     list_id = res['contents']
    
66.     for i in list_id:
    
67.         pic_id = i['illust_id']
    
68.         pic_name = i[0]['title']
    
69.         response_list.append([pic_name,pic_id])
    
70.     return response_list
    
71. 
    
72. 
    
73. 
    
74. 
    
75. 
    
76. def main():
    
77.     pic_id = get_id()
    
78. 
    
79. 
    
80. 
    
81. main()
    

复制代码

q1274701999

要是能够解决登录问题，后续的爬取应该没什么问题了

q1274701999

上面的data里的post_key参数可以在登录页面的网页源码里直接获取，python小白，好多东西不会，请各位大佬指点一下

Twilight6

q1274701999 发表于 2020-6-9 19:08
要是能够解决登录问题，后续的爬取应该没什么问题了

被你这个帖子提醒....我突然想起我都快忘记我P站账号了

wp231957

q1274701999 发表于 2020-6-9 19:11
上面的data里的post_key参数可以在登录页面的网页源码里直接获取，python小白，好多东西不会，请各位大佬指 ...

用无头浏览器

q1274701999

P站免爬墙第三方工具登录方法：https://www.sohu.com/a/397863419 ... 590843479898dQ57VKi
各位大佬帮忙看一下啊

q1274701999

wp231957 发表于 2020-6-9 20:11
用无头浏览器

跟浏览器没关系吧，我用的谷歌浏览器

q1274701999

经过我自己的一番捣鼓，最终登陆成功了！！
应该是我cookies的提取出了问题
我看了别人的代码，用chrome的一个提取cookies的插件，提取出页面的cookies，然后保存到本地
访问网页的时候读取里面所有的cookies

1.         for i in range(len(cookie)):
   
2.             if cookie[i]["domain"] == '.pixiv.net':
   
3.                 cookies_json[cookie[i]["name"]] = cookie[i]["value"]

复制代码

取里面的某一段cookie
把cookies添加到session.cookies里

1. requests.utils.add_dict_to_cookiejar(session.cookies,cookies)

复制代码

其实这一段我也不明白什么意思
然后就可以模拟登录网页了

xiaosi4081

用selenium