刚接触python一个月左右尝试爬链家返回空列表
刚从基础接触到爬虫这里，尝试简单的爬了一下链家的首页每个租房信息的链接，但是每次都是显示空列表，用len查看也是为0，请问这个是被墙了么？有什么解决办法呀，因为刚接触到所以好多都不明白，只能这样简单的稍微试一试，非常感谢import requests
from bs4 import BeautifulSoup
def get_links(url):
responce = requests.get(url)
soup = BeautifulSoup(responce.text,'lxml')
links_div = soup.find_all('div',class_ = 'pic-panel')
links =
return links
url = 'https://bj.lianjia.com/zufang/'
get_links(url) 反爬
起码设置一下header 你数据提取错了 ，我刚刚去了下网页审核元素 没找到你的那个div 里的属性
起码弄个 UA不然你爬几次就把你ban了
本帖最后由 Twilight6 于 2020-4-24 11:20 编辑
我帮你改了改，爬成功了
import requests
from bs4 import BeautifulSoup
def get_links(url):
headers = {'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:24.0) Gecko/20100101 Firefox/24.0"}
responce = requests.get(url,headers=headers)
soup = BeautifulSoup(responce.text,'lxml')
links_div = soup.find_all('p',class_="content__list--item--title twoline")
url_list = []
for i in links_div:
url_list.append('https://bj.lianjia.com/'+i.a.get('href'))
return url_list
url = 'https://bj.lianjia.com/zufang/'
if __name__ =='__main__':
print(get_links(url))
我也是小白，和你一样刚刚学到这个，刚刚爬了半小时才成功
爬虫建议弄个UA头，最基本反爬的伪装成浏览器要吧
页:
[1]