设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 通过python爬取https://sofifa.com/所有的球员数据
返回列表 发新帖
查看: 205|回复: 2

通过python爬取https://sofifa.com/所有的球员数据

[复制链接]
zchb258
发表于 2024-4-20 22:00:08 | 显示全部楼层 |阅读模式
40鱼币
本帖最后由 zchb258 于 2024-4-20 22:01 编辑

本人80后和一些球友常玩这个实况10游戏，因为球员和球员数据总是不断更新，单方面手动复制粘贴工程量很大，下面这篇文章很棒但我实在看不懂，看得有点晕头转向，想请各位大神结合文章出一下完整版，或给个教程，谢谢了

这是原链接https://mp.weixin.qq.com/s/1KX3dw3cfX1J7vk0andL8A
或许看图片文章



用PYTHON爬取的是FIFA网站的球员数据[1].jpg
用PYTHON爬取的是FIFA网站的球员数据[2].jpg
用PYTHON爬取的是FIFA网站的球员数据[3].jpg
用PYTHON爬取的是FIFA网站的球员数据[4].jpg
用PYTHON爬取的是FIFA网站的球员数据[5].jpg
用PYTHON爬取的是FIFA网站的球员数据[6].jpg
用PYTHON爬取的是FIFA网站的球员数据[7].jpg
用PYTHON爬取的是FIFA网站的球员数据[8].jpg
用PYTHON爬取的是FIFA网站的球员数据[9].jpg
用PYTHON爬取的是FIFA网站的球员数据[10].jpg
用PYTHON爬取的是FIFA网站的球员数据[11].jpg
用PYTHON爬取的是FIFA网站的球员数据[12].jpg
用PYTHON爬取的是FIFA网站的球员数据[13].jpg
用PYTHON爬取的是FIFA网站的球员数据[14].jpg
用PYTHON爬取的是FIFA网站的球员数据[15].jpg
用PYTHON爬取的是FIFA网站的球员数据[16].jpg
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

FishC
发表于 2024-4-20 22:01:17 | 显示全部楼层
嗨！我了解你的问题。爬取网页数据是一个常见的需求，可以通过Python中的requests库来实现。下面是一个简单的示例代码，用于从https://sofifa.com/网站上爬取所有球员数据：

  1. import requests
  2. from bs4 import BeautifulSoup

  4. url = "https://sofifa.com/"

  6. # 发送HTTP请求
  7. response = requests.get(url)

  9. # 解析HTML
  10. soup = BeautifulSoup(response.text, "html.parser")

  12. # 获取球员数据所在的标签
  13. player_divs = soup.find_all("div", class_="col-name")

  15. # 遍历每个球员标签，并提取数据
  16. for player_div in player_divs:
  17.     # 提取球员名字和评分
  18.     name = player_div.a.text.strip()
  19.     rating = player_div.parent.find("div", class_="col col-oa").text.strip()

  21.     # 打印结果
  22.     print(name, rating)
复制代码


在这个示例中，我们使用了requests库发送HTTP请求，然后使用BeautifulSoup库解析返回的HTML文档。通过查找特定的标签和类名，我们可以提取出球员的姓名和评分。

请注意，网站的结构可能会有所变化，所以代码可能需要根据实际情况进行调整。此外，爬取网站数据也需要尊重网站的规则和政策，不要进行过于频繁的请求，以免对网站造成负担。

希望这个简单的示例能帮助到你！如果还有其他问题，请随时提问。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

小甲鱼的二师兄
发表于 2024-4-23 04:39:03 | 显示全部楼层
帮你整合了一下代码：

  1. import requests
  2. from bs4 import BeautifulSoup
  3. import re
  4. import csv

  6. def fetchData(id):
  7.     url = f'https://sofifa.com/player/{str(id)}'
  8.     headers = {
  9.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36',
  10.     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
  11.     'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
  12.     'Referer': 'https://www.google.com/'
  13.     }
  14.     myRequest = requests.get(url)
  15.     soup = BeautifulSoup(myRequest.text,'lxml')
  16.     print(myRequest)
  17.     meta = soup.find(attrs={'name':'description'})
  18.     if meta is None:
  19.         return None
  20.    
  21.     meta = meta['content']
  22.     years = soup.find(name='span',attrs={'class':'bp3-button-text'})
  23.     if meta[:4] != 'FIFA' and (str(years.string)) != "FIFA 23" or meta[:4]=='FIFA':
  24.         return None
  25.    
  26.     info = soup.find(name='div',attrs={'class':'info'})
  27.     playerName = info.h1.string
  28.     myList = [id, playerName]
  29.    
  30.     rawdata = soup.select("#body > div:nth-child(5) > div > div.col.col-12 > div.bp3-card.player > div > div")
  31.     offset = rawdata[0].find_all("span")
  32.     offset = (len(offset))-1
  33.     temp = rawdata[0].text
  34.     temp = re.split('\s+',temp)
  35.     if offset > 0:
  36.         for i in range(offset):
  37.             temp.pop(i)
  38.             
  39.     month = ["Jan","Feb","Mar","Apr","May","Jun","Jul","Aug","Sep","Oct","Nov","Dec"]
  40.     mon = temp[3][1:]
  41.     mon = month.index(mon)+1
  42.     day = temp[4][:-1]
  43.     year = temp[5][:-1]
  44.     birthday = [f"{str(year)}/{str(mon)}/{str(day)}"]
  45.     birthday = eval(str(birthday)[1:-1])
  46.     myList.append(birthday)
  47.    
  48.     height = int(temp[6][:-2])
  49.     myList.append(height)
  50.     weight = int(temp[7][:-2])
  51.     myList.append(weight)
  52.    
  53.     rawdata = soup.select("#body > div:nth-child(5) > div > div.col.col-12 > div:nth-child(2) > div > ul")
  54.     temp = rawdata[0].find_all('li',class_="ellipsis")
  55.     preferred_foot = temp[0].contents[1]
  56.     preferred_foot = 1 if (preferred_foot == 'Left') else 2
  57.     myList.append(preferred_foot)
  58.    
  59.     skill_move_level = temp[2].contents[0]
  60.     myList.append(int(skill_move_level))
  61.    
  62.     reputation = temp[3].contents[0]
  63.     myList.append(int(reputation))
  64.    
  65.     todostr = temp[4].text
  66.     workrateString = re.split('\s+',todostr)
  67.     wr_att = workrateString[1][4:-1]
  68.     wr_def = workrateString[2]
  69.     wrList = ['Low',"Medium","High"]
  70.     wr_att = wrList.index(wr_att)+1
  71.     wr_def = wrList.index(wr_def)+1
  72.     myList.append(wr_att)
  73.     myList.append(wr_def)
  74.    
  75.     rawdata = soup.select("#body > div:nth-child(5) > div > div.col.col-12 > div.bp3-card.player > img")
  76.     img_url = rawdata[0].get("data-src")
  77.     img_r = requests.get(img_url,stream=True)
  78.     img_name = f"{id}_{playerName}.png"
  79.     with open(f"./{img_name}","wb") as fi:
  80.         for chunk in img_r.iter_content(chunk_size=120):
  81.             fi.write(chunk)
  82.             
  83.     rawdata = soup.select("#body > div:nth-child(5) > div > div.col.col-12 > div.bp3-card.player > div > div > span")
  84.     allPos = ''.join(f"{p.text} " for p in rawdata)
  85.     myList.append(allPos)
  86.    
  87.     rawdata = soup.select("#body > div:nth-child(6) > div > div.col.col-4 > ul > li:nth-child(1) > span")
  88.     bestPos = rawdata[0].text
  89.     myList.append(bestPos)
  90.    
  91.     rawdata = soup.select("#body > div:nth-child(5) > div > div.col.col-12 > div:nth-child(4) > div > h5> a")
  92.     club = rawdata[0].text if len(rawdata)>0 else "没有俱乐部"
  93.     myList.append(club)
  94.    
  95.     rawdata = soup.select("#body > div:nth-child(5) > div > div.col.col-12 > div.bp3-card.player > div > div > a")
  96.     nation = rawdata[0].get("title") if len(rawdata)>0 else "其他国家"
  97.     myList.append(nation)
  98.    
  99.     rawdata = soup.select('#body>div:nth-child(6)>div>div.col.col-12')
  100.     data = rawdata[0].find_all(class_=re.compile('bp3-tag p'))
  101.     myList.extend(allatt.text for allatt in data)
  102.    
  103.     return myList

  105. def dealWithData(dataToWrite):
  106.     header_list = ['id','name','birthday','height','weight','preferred_foot',"skill_move_level","reputation","wr_att","wr_def",'Positions','Best Position','Club',"nation",'Crossing','Finishing','Heading Accuracy', 'Short Passing','Volleys','Dribbling','Curve', 'FK Accuracy','Long Passing','Ball Control','Acceleration','Sprint Speed','Agility','Reactions','Balance','Shot Power','Jumping','Stamina','Strength','Long Shots','Aggression','Interceptions','Positioning','Vision','Penalties','Composure','Defensive Awareness','Standing Tackle','Sliding Tackle','GK Diving','GK Handling','GK Kicking','GK Positioning','GK Reflexes']
  107.     with open('./output.csv', 'a+', encoding='utf-8-sig', newline='') as f:
  108.         writer = csv.writer(f)
  109.         writer.writerow(header_list)
  110.         writer.writerows(dataToWrite)

  112. def getPlayerID(key):
  113.     url = f"https://sofifa.com/players?keyword={str(key)}"
  114.     myRequest = requests.get(url)
  115.     soup = BeautifulSoup(myRequest.text,'lxml')
  116.     playerTable = soup.select("#body>div.center>div>div.col.col-12>div>table>tbody")
  117.     data = playerTable[0].contents
  118.     playersCandicate = []
  119.    
  120.     if len(data) > 0:
  121.         for p in data:
  122.             id = p.find("img")["id"]
  123.             name = p.find("a")["aria-label"]
  124.             ovr = p.find(attrs={"data-col":"oa"}).get_text()
  125.             playersCandicate.append([id,name,ovr])
  126.     else:
  127.         print("not found")
  128.         playersCandicate.append(["not found","the name you're searching is >>", key])
  129.         
  130.     return playersCandicate

  132. if __name__ == "__main__":
  133.     # 通过递增ID搜索
  134.     for start in range(20000, 40000, 1000):  # 每次爬取1000个球员
  135.         soData = []
  136.         for s in range(start, start + 1000):
  137.             l = fetchData(s)
  138.             if l != None:
  139.                 soData.append(l)
  140.         dealWithData(soData)
  141.         time.sleep(60)  # 爬取完一批次后,休眠60秒
复制代码

想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-4 13:08

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表