python爬取饿了么的实例-创新互联
小编给大家分享一下python爬取饿了么的实例,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
创新互联专业为企业提供古交网站建设、古交做网站、古交网站设计、古交网站制作等企业网站建设、网页设计与制作、古交企业网站模板建站服务,10年古交做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。在学数据可视化,缺少点数据进行实操,就想着从饿了么上面爬点外卖店信息。
主要是获取数据,所以代码比较简陋,直接上代码:
import requests import json import csv def crawler_ele(page=0): def get_page(page): url = 'https://h6.ele.me/restapi/shopping/v3/restaurants?latitude=xxxx&longitude=xxxx&offset={page}&limit=8&terminal=h6'.format(page=page*8) headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36", 'cookie': r'xxxx' } re = json.loads(requests.get(url,headers=headers).text) return re re = get_page(page) if re.get('items'): with open('data.csv','a',newline='') as f: writer = csv.DictWriter(f,fieldnames=['名称', '月销售量','配送费', '起送价', '风味','评分', '配送时长', '评分统计', '距离', '地址']) writer.writeheader() for item in re.get('items'): info = dict() restaurant = item.get('restaurant') info['地址'] = restaurant.get('address') info['配送费'] = restaurant.get('float_delivery_fee') info['名称'] = restaurant.get('name') info['配送时长'] = restaurant.get('order_lead_time') info['距离'] = restaurant.get('distance') info['起送价'] = restaurant.get('float_minimum_order_amount') info['评分'] = restaurant.get('rating') info['月销售量'] = restaurant.get('recent_order_num') info['评分统计'] = restaurant.get('rating_count') info['风味'] = restaurant.get('flavors')[0].get('name') writer.writerow(info) # print(info) if re.get('has_next') == True: crawler_page(page+1) crawler_ele(0)
在这里简单注释几句:
url 中的经纬度去掉了,可以自行查询添加需要爬取地点的经纬度,也可以通过调用地图api获取经纬度;
headers 需要加 Cookies ,不然会有登录权限限制爬取页数;
最后调用的是递归不是循环,所以保存结果的 csv 文件里面会有多个重复表头,可以用 Excel 打开删除重复值就可以了。
以上是python爬取饿了么的实例的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!
网页题目:python爬取饿了么的实例-创新互联
文章位置:http://scpingwu.com/article/dedcos.html