python美团数据分析 (python怎么爬取外卖数据)

关键词：美团 Python Excel

0.程序是针对美团中的美食部分数据按好评排序采集。

要抓取保存的数据为：

商家名 类型 地理位置 评论人数 均价 最低价格

1.首先编写网页数据采集函数，使用request采集网页源码，具体实现如下

1. def getHtml(url):

2. headers = (’User-Agent’,

3. ’Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11’)

4. opener = urllib.request.build_opener

5. opener.addheaders = [headers]

6. htmldata = opener.open(url).read

7. htmldata=htmldata.decode(’utf-8’)

8. return htmldata

2.根据网页源码解析获取已上线城市的url

2. part = (’gaevent’,’changecity/build’)

3. urldic = {}

4. def handle_starttag(self, tag, attrs):

5. if tag==’a’ and (self.part in attrs):

6. for att,value in attrs:

7. if att==’href’:

8. self.urldic.__setitem__(value, value+’/category/meishi/all/rating’)

9. def getUrl(self):

10. return self.urldic

3.获取分页url

2. pagelist = list

3. temphref = str

4. flg = 0

5. initurl = str

6. def setInitUrl(self,url):

7. self.initurl = url

8. def handle_starttag(self, tag, attrs):

9. if tag==’a’:

10. for attr,value in attrs:

11. if attr==’href’ and (’page’ in value):

12. self.temphref = self.initurl + value

13. if self.temphref not in self.pagelist:

14. self.pagelist.append(self.temphref)

15. def getList(self):

16. return self.pagelist

4.解析网页源码 获取有效信息

2. tempstr = str

3. divsum = int

4. def handle_starttag(self, tag, attrs):

5. if tag==’div’:

6. for attr,value in attrs:

7. if attr==’class’ and value.find(’poi-tile-nodeal’)!=-1:

8. self.tempstr=’’

9. self.divsum = 0

10. def handle_data(self, data):

11. if(data.isspace==False):

12. data = data.replace(’·’, ’·’)

13. if data==’¥’:

14. if ’¥’ not in self.tempstr:

15. self.tempstr+=’无’ +’\t’

16. self.tempstr+=data

17. elif data==’¥’:

18. if ’¥’ not in self.tempstr:

19. self.tempstr+=’无’ +’\t’

20. self.tempstr+=’¥’

21. elif data==’人评价’:

22. self.tempstr=self.tempstr[0:-1]+data+’\t’

23. elif data==’人均 ’:

24. self.tempstr+=’人均’

25. elif data[0]==’起’:

26. self.tempstr=self.tempstr[0:-1]+’起’

27. else:

28. self.tempstr+=data+’\t’

29. def handle_endtag(self, tag):

30. if tag==’div’:

31. self.divsum+=1

32. if self.divsum==6:

33. if (self.tempstr.find(’¥’))!=-1:

34. if (re.split(r’\t’, self.tempstr).__len__)==5:

35. teststr = str

36. flg = 0

37. for stmp in re.split(r’\t’,self.tempstr):

38. if flg==2:

39. teststr+=’无位置信息’+’\t’

40. teststr+=stmp+’\t’

41. flg+=1

42. self.tempstr=teststr

43. if (re.split(r’\t’, self.tempstr).__len__)==6:

44. arraystr.append(self.tempstr)

45. self.divsum=0

46. self.tempstr=’’

5.将信息存放于Excel中

1. def SaveExcel(listdata):

2. head=[’商家名’,’类型’,’地理位置’,’评论人数’,’均价’,’最低价格’]

3. wbk=xlwt.Workbook

4. sheet1=wbk.add_sheet("sheet1")

5. ii=0

6. for testhand in head:

7. sheet1.write(0,ii,testhand)

8. ii+=1

9. i=1

10. j=0

11. for stt in listdata:

12. j=0

13. lis = re.split(r’\t’,stt)

14. for ls in lis:

15. sheet1.write(i,j,ls)

16. j=j+1

17. i+=1

18. wbk.save(’test.xls’)

以下是Excel中的数据：

来自：数据挖掘入门与实战

↓↓↓ 【精彩推荐】

1、 大咖看过来，数据分析网专栏作家招募！！

2、 加入大数据交流QQ群，开启数据江湖！！

3、 有缘人看过来，数据分析网志愿者招募！！

↓↓↓【点击阅读原文访问数据分析网】