[已解决]请问鱼油们如何修改url的参数并且循环请求

demonbhao · 发表于 2020-10-15 20:58:45

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

假设 url = 'https://xxx.com/group?keyword=172.20.19.174'

有个文件.txt，里面有一行行的IP地址，如何替换到keyword并且去请求访问这个url呢？每次替换一个ip访问一次。像是接口查询这样子

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-10-16 14:15:20

本帖最后由 suchocolate 于 2020-10-16 14:16 编辑

demonbhao 发表于 2020-10-16 10:38
大佬打印出来的怎么保存到文件内和在程序内print的结果不一样呢？
with open('lanip.txt','r') as f:
...

with open('ip.txt') as f:
    text = f.readlines()
with open('result.txt', 'w') as f:
    for item in text:
        jtem = item.strip('\n')
        url = f'https:xxx.com?group?start=0&end=10&keyword={jtem}&exact=0&idc_id=-1&wall=-1'
        f.write(url+'\n')

跳转到最佳答案楼层

弱弱的佳佳 · 发表于 2020-10-16 08:46:54

用os按行读取文件里的ip，再字符串拼接，再requests请求

demonbhao · 发表于 2020-10-16 09:34:30

弱弱的佳佳发表于 2020-10-16 08:46
用os按行读取文件里的ip，再字符串拼接，再requests请求

大佬，拼接的时候怎么做到一行一行的拼接呢，按行读取文件内的ip已经完成了

弱弱的佳佳 · 发表于 2020-10-16 09:43:43

demonbhao 发表于 2020-10-16 09:34
大佬，拼接的时候怎么做到一行一行的拼接呢，按行读取文件内的ip已经完成了

方法1，读取一个拼接一个然后把拼接好的放到一个列表里
方法2，全部读取出来，放到一个列表，再循环，拼接

suchocolate · 发表于 2020-10-16 09:49:39

with open('ip.txt') as f:
    text = f.readlines()
for item in text:
    url = f'https://xxx.com/group?keyword={item}'
    xxxx

demonbhao · 发表于 2020-10-16 10:09:53

弱弱的佳佳发表于 2020-10-16 09:43
方法1，读取一个拼接一个然后把拼接好的放到一个列表里
方法2，全部读取出来，放到一个列表，再循环， ...

好的，我看看其他鱼油具体的代码，这方面理解的还是不够

demonbhao · 发表于 2020-10-16 10:38:26

suchocolate 发表于 2020-10-16 09:49

大佬打印出来的怎么保存到文件内和在程序内print的结果不一样呢？
with open('lanip.txt','r') as f:
content = f.read().splitlines()
ff = open('out.txt','w')
for item in content:
url = f"https:xxx.com?group?start=0&end=10&keyword={item}&exact=0&idc_id=-1&wall=-1
print(url)
ff.writelines(url)
ff.close()

demonbhao · 发表于 2020-10-16 10:41:44

demonbhao 发表于 2020-10-16 10:38
大佬打印出来的怎么保存到文件内和在程序内print的结果不一样呢？
with open('lanip.txt','r') as f:
...

加了个 ff.writlines(url + '\n') 就可以保存成换行的了

demonbhao · 发表于 2020-10-16 10:43:35

with open('lanip.txt','r') as f:
content = f.read().splitlines()
ff = open('out.txt','w')
for item in content:
url = f"https:xxx.com?group?start=0&end=10&keyword={item}&exact=0&idc_id=-1&wall=-1
print(url)
ff.writelines(url + '\n')
ff.close()
这样子就完成了拼接的过程并且保存好了文本内容那下面的request是可以直接去读文本然后去访问页面的吗？

弱弱的佳佳 · 发表于 2020-10-16 10:44:11

demonbhao 发表于 2020-10-16 10:38
大佬打印出来的怎么保存到文件内和在程序内print的结果不一样呢？
with open('lanip.txt','r') as f:
...

不要用writelines()，这个方法是将可迭代对象写入的，直接write()就行了，下次发代码，发完整的哈！

弱弱的佳佳 · 发表于 2020-10-16 10:45:07

demonbhao 发表于 2020-10-16 10:38
大佬打印出来的怎么保存到文件内和在程序内print的结果不一样呢？
with open('lanip.txt','r') as f:
...

你的url拼接出来也是个字符串呀，直接write(url)写入

demonbhao · 发表于 2020-10-16 11:02:26

弱弱的佳佳发表于 2020-10-16 10:45
你的url拼接出来也是个字符串呀，直接write(url)写入

大佬按照write（url）直接写入保存的txt文件就没有换行了哦
with open('lanip.txt','r') as f:
content = f.read().splitlines()
ff = open('out.txt','w')
for item in content:
url = f"https:xxx.com?group?start=0&end=10&keyword={item}&exact=0&idc_id=-1&wall=-1
print(url)
ff.write(url)
ff.close()
是不是还是要改成ff.write(url + '\n')呢？

suchocolate · 发表于 2020-10-16 14:15:20

这个最佳答案由 suchocolate 给出，感谢 suchocolate 的回答。

单击隐藏图章

本帖最后由 suchocolate 于 2020-10-16 14:16 编辑

demonbhao 发表于 2020-10-16 10:38
大佬打印出来的怎么保存到文件内和在程序内print的结果不一样呢？
with open('lanip.txt','r') as f:
...

with open('ip.txt') as f:
    text = f.readlines()
with open('result.txt', 'w') as f:
    for item in text:
        jtem = item.strip('\n')
        url = f'https:xxx.com?group?start=0&end=10&keyword={jtem}&exact=0&idc_id=-1&wall=-1'
        f.write(url+'\n')

demonbhao · 发表于 2020-10-16 15:23:17

suchocolate 发表于 2020-10-16 14:15

感谢大佬，这一步完成了。现在在琢磨保存在文件夹内的url批量访问并且将访问回来的json值进行保存为csv。这一块大佬有思路提供吗？

suchocolate · 发表于 2020-10-16 19:51:49

demonbhao 发表于 2020-10-16 15:23
感谢大佬，这一步完成了。现在在琢磨保存在文件夹内的url批量访问并且将访问回来的json值进行保存为csv。 ...

要看拿到的json的格式和你想要的内容，json最好还是保持原始json格式，csv个适合存储excel那样的表格数据。

账号		自动登录	找回密码
密码			立即注册