app开发定制公司用Python爬取豆瓣电影Top250并进行数据可视化分析

app开发定制公司今天我们小组合作使用Pythonapp开发定制公司爬取豆瓣电影Top250app开发定制公司获取电影详情链接,图片链接,app开发定制公司影片中文名、app开发定制公司影片外国名、评分、评价数，app开发定制公司概况以及相关信息。

第一部分：爬取部分

app开发定制公司使用到的库

  1. import os  #打开文件，处理文件
  2. from bs4 import BeautifulSoup #网页解析，获取数据
  3. import re  #正则表达式库
  4. import  xlwt #进行excel操作
  5. import urllib.request,urllib.error  #指定url，获取网页数据

将相关的库进行安装后使用。

进行网页的分析

通过对网页的观察我发现

第一页：https://movie.douban.com/top250?start=0&filter=
第二页：https://movie.douban.com/top250?start=25&filter=
第三页：https://movie.douban.com/top250?start=50&filter=
第十页：https://movie.douban.com/top250?start=225&filter=

所以我们可以用for循环进行遍历处理。

  1. def getDate(baseurl):
  2.     datalist = []
  3.     x = 1
  4.     #调用获取页面信息的函数(10次)
  5.     for i in range(0,10):
  6.         url = baseurl + str(i*25)
  7.         html = askURL(url) #保存获取到的网页源码
  8.         #逐一解析数据
  9.         soup = BeautifulSoup(html, "html.parser")
  10.         for item in soup.find_all('div', class_="item"):
  11.             data = [] #保存一部电影的所有信息
  12.             item = str(item) #将item转换为字符串
  13.             #影片详情链接
  14.             link = re.findall(findLink, item)[0]
  15.             #追加内容到列表
  16.             data.append(link)
  17.  
  18.             imgSrc = re.findall(findImgSrc, item)[0]
  19.             data.append(imgSrc)
  20.  
  21.             titles = re.findall(findTitle, item)
  22.             if (len(titles) == 2 ):
  23.                 ctitle = titles[0]
  24.                 data.append(ctitle) #添加中文名
  25.                 otitle = titles[1].replace("/", "") 
  26.                 data.append(otitle) #添加外国名
  27.             else:
  28.                 data.append(titles[0])
  29.                 data.append(' ') #外国名如果没有则留空
  30.  
  31.             rating = re.findall(findRating,item)[0]
  32.             data.append(rating)
  33.  
  34.             judgeNum = re.findall(findJudge, item)[0]
  35.             data.append(judgeNum)
  36.  
  37.             inq = re.findall(findInq, item)
  38.             if len(inq) != 0 :
  39.                 inq = inq[0].replace("。", "")
  40.                 data.append(inq)
  41.             else:
  42.                 data.append(' ')
  43.  
  44.             bd = re.findall(findBd,item)[0]
  45.             bd = re.sub('<br(\s+)?/>(\s+)?'," ", bd) 
  46.             bd = re.sub('/', " ", bd)  
  47.             data.append(bd.strip()) 
  48.  
  49.             datalist.append(data) #把处理好的一部电影信息放入datalist
  50.             #print(link)
  51.  
  52.             # 下载图片到本地
  53.             root = "C://Users/DELL/Desktop/新建文件夹/tupian//"#这里是图片下载保存的路径
  54.             path = root + str(x) + '.jpg'
  55.             try:
  56.                 if not os.path.exists(root):
  57.                     os.mkdir(root)
  58.                 if not os.path.exists(path):
  59.                     #r = requests.get(imgSrc, headers=head)
  60.                     urllib.request.urlretrieve(imgSrc,path)
  61.                     #with open(path, 'wb') as f:
  62.                     #   f.write(r.content)
  63.                     #   f.close()
  64.                     print("下载第%d部电影封面"%(x))
  65.                     x += 1
  66.                 else:
  67.                     print("文件保存成功")
  68.             except:
  69.                 print("下载失败")
  70.     return datalist

保存数据存入Excel

首先使用xlwt库进行Excel的操作然后存入数据。

  1. def saveData(datalist, savepath):
  2.     book = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 创建workbook对象
  3.     sheet = book.add_sheet("豆瓣电影Top250",cell_overwrite_ok=True)  # 创建工作表
  4.     col = ('电影详情链接',"图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")#定义元组
  5.     try:
  6.         for i in range(0,8):
  7.             sheet.write(0,i,col[i]) #输入列名
  8.         for i in range(0,250):
  9.             print("第%d条" %(i+1))
  10.             data = datalist[i]
  11.             for j in range(0,8):
  12.                 sheet.write(i+1,j,data[j])
  13.         book.save(savepath)
  14.     except:
  15.         print("爬取异常")
  16.  
  17.  
  18. if __name__ == '__main__':
  19.     main()
  20.     print("爬取完毕")

 第二部分：分析部分以及词云的生成

使用的库有

  1. import pandas as pd #解决数据分析任务
  2. from pyecharts.charts import Bar  #画柱形图
  3. import matplotlib.pyplot as plt  #绘制图形
  4. import collections # 词频统计库
  5. import numpy as np #矩阵操作
  6. import jieba #词频统计库
  7. import wordcloud #词云库
  8.

我们这里统计了评分前25名电影的评价数，部分代码如下：

  1. data = pd.read_excel('豆瓣电影Top250.xls') #首先读取Excel数据文档
  2. df = data.sort_values('评分',ascending=False).head(25) 
  3. v = df['影片中文名'].values.tolist()   #tolist()将数据转换为列表形式
  4. d = df['评分'].values.tolist()
  5. bar = (
  6.     Bar()
  7.     .add_xaxis([i for i in df['影片中文名'].values.tolist()])
  8.     .add_yaxis('评分前25名', df['评价数'].values.tolist())
  9. )
  10. bar.render("./条形图.html")
  11. print("柱形图保存成功！")

然后进行词云生成

读取文件

  1. fn = open('top250.txt','r',encoding='utf-8') 
  2. string_data = fn.read() 
  3. fn.close()

统计相关信息中出现次数前十进行词云生成

  1. seg_list_exact = jieba.cut(string_data, cut_all = False) # 精确模式分词
  2. object_list = []
  3. remove_words = [u'19', u'，',u'20', u'德国', u'导演', u'日本', u'法国',u'等',u'能',u'都',u'。',u' ',u'、',u'中',u'在',u'了',
  4.                 u'20',u'大陆',u'我们',u'美国'] # 自定义去除词库
  5.  
  6. for word in seg_list_exact: # 循环读出每个分词
  7.     if word not in remove_words: # 如果不在去除词库中
  8.         object_list.append(word) # 分词追加到列表

最后是词频展示

  1. # 词频展示
  2. mask = np.array(Image.open('image.jpg')) 
  3. wc = wordcloud.WordCloud(
  4.     font_path='simfang.ttf', 
  5.     mask=mask, 
  6.     max_words=100, # 最多显示词数
  7.     max_font_size=150, # 字体最大值
  8.     background_color='white',
  9.     width=800, height=600,
  10. )

效果图：

最后完整代码

  1. #-*- coding = utf-8 -*-
  2. # 声明编码方式
  3.  
  4. import os
  5. from bs4 import BeautifulSoup #网页解析，获取数据
  6. import re
  7. import  xlwt #进行excel操作
  8. import urllib.request,urllib.error  #指定url，获取网页数据
  9. import pandas as pd
  10. from pyecharts.charts import Bar  #画柱形图
  11. import matplotlib.pyplot as plt
  12. import numpy as np 
  13. import jieba 
  14. import wordcloud 
  15.  
  16. def main():
  17.     baseurl = "https://movie.douban.com/top250?start="
  18.     #获取网页
  19.     datalist = getDate(baseurl)
  20.     savepath = ".\\豆瓣电影Top250.xls"#我的是".\\豆瓣电影Top250.xls"
  21.     #保存数据
  22.     saveData(datalist, savepath)
  23.  
  24. head = {
  25.         "User-Agent":"Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 85.0.4183.121Safari / 537.36"
  26.     }#用户代理：表示告诉豆瓣服务器是什么类型的浏览器(本质上是告诉浏览器可接收什么类型的文件)
  27.  
  28. #影片详情链接规则
  29. findLink = re.compile(r'<a href="(.*?)">') #创建正则表达式对象
  30. #影片图片的链接
  31. findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)
  32. #影片片名
  33. findTitle = re.compile(r'<span class="title">(.*)</span>')
  34. #影片评分
  35. findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
  36. #评价人数
  37. findJudge = re.compile(r'<span>(\d*)人评价</span>')
  38. #概况
  39. findInq = re.compile(r'<span class="inq">(.*)</span>')
  40. #找到影片的相关内容
  41. findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
  42.  
  43. #爬取网页
  44. def getDate(baseurl):
  45.     datalist = []
  46.     x = 1
  47.     #调用获取页面信息的函数(10次)
  48.     for i in range(0,10):
  49.         url = baseurl + str(i*25)
  50.         html = askURL(url) #保存获取到的网页源码
  51.         #逐一解析数据
  52.         soup = BeautifulSoup(html, "html.parser")
  53.         for item in soup.find_all('div', class_="item"):
  54.             data = [] #保存一部电影的所有信息
  55.             item = str(item) #将item转换为字符串
  56.             #影片详情链接
  57.             link = re.findall(findLink, item)[0]
  58.             #追加内容到列表
  59.             data.append(link)
  60.  
  61.             imgSrc = re.findall(findImgSrc, item)[0]
  62.             data.append(imgSrc)
  63.  
  64.             titles = re.findall(findTitle, item)
  65.             if (len(titles) == 2 ):
  66.                 ctitle = titles[0]
  67.                 data.append(ctitle) #添加中文名
  68.                 otitle = titles[1].replace("/", "") 
  69.                 data.append(otitle) #添加外国名
  70.             else:
  71.                 data.append(titles[0])
  72.                 data.append(' ') #外国名如果没有则留空
  73.  
  74.             rating = re.findall(findRating,item)[0]
  75.             data.append(rating)
  76.  
  77.             judgeNum = re.findall(findJudge, item)[0]
  78.             data.append(judgeNum)
  79.  
  80.             inq = re.findall(findInq, item)
  81.             if len(inq) != 0 :
  82.                 inq = inq[0].replace("。", "")
  83.                 data.append(inq)
  84.             else:
  85.                 data.append(' ')
  86.  
  87.             bd = re.findall(findBd,item)[0]
  88.             bd = re.sub('<br(\s+)?/>(\s+)?'," ", bd) 
  89.             bd = re.sub('/', " ", bd)  
  90.             data.append(bd.strip()) 
  91.  
  92.             datalist.append(data) #把处理好的一部电影信息放入datalist
  93.             #print(link)
  94.  
  95.             # 下载图片到本地
  96.             root = "C://Users/DELL/Desktop/新建文件夹/tupian//"#我的是"E://DoubanPic//"
  97.             path = root + str(x) + '.jpg'
  98.             try:
  99.                 if not os.path.exists(root):
  100.                     os.mkdir(root)
  101.                 if not os.path.exists(path):
  102.                     #r = requests.get(imgSrc, headers=head)
  103.                     urllib.request.urlretrieve(imgSrc,path)
  104.                     #with open(path, 'wb') as f:
  105.                     #   f.write(r.content)
  106.                     #   f.close()
  107.                     print("下载第%d部电影封面"%(x))
  108.                     x += 1
  109.                 else:
  110.                     print("文件保存成功")
  111.             except:
  112.                 print("下载失败")
  113.     return datalist
  114.  
  115.  
  116. #得到指定一个url的网页内容
  117. def askURL(url):
  118.     request = urllib.request.Request(url, headers=head)
  119.     html = ""
  120.     try:
  121.         response = urllib.request.urlopen(request)
  122.         html = response.read().decode("utf-8")
  123.     except urllib.error.URLError as e:
  124.         if hasattr(e, "code"):
  125.             print(e.code)#打印错误信息
  126.         if hasattr(e, "reason"):
  127.             print(e.reason)#打印错误原因
  128.     return html
  129.  
  130. #保存数据
  131. def saveData(datalist, savepath):
  132.     book = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 创建workbook对象
  133.     sheet = book.add_sheet("豆瓣电影Top250",cell_overwrite_ok=True)  # 创建工作表
  134.     col = ('电影详情链接',"图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")#定义元组
  135.     try:
  136.         for i in range(0,8):
  137.             sheet.write(0,i,col[i]) #输入列名
  138.         for i in range(0,250):
  139.             print("第%d条" %(i+1))
  140.             data = datalist[i]
  141.             for j in range(0,8):
  142.                 sheet.write(i+1,j,data[j])
  143.         book.save(savepath)
  144.     except:
  145.         print("爬取异常")
  146.  
  147.  
  148. if __name__ == '__main__':
  149.     main()
  150.     print("爬取完毕")
  151. #可视化
  152. data = pd.read_excel('豆瓣电影Top250.xls')
  153. df = data.sort_values('评分',ascending=False).head(25)
  154. v = df['影片中文名'].values.tolist()   #tolist()将数据转换为列表形式
  155. d = df['评分'].values.tolist()
  156. #设置颜色
  157. color_series = ['#2C6BA0','#2B55A1','#2D3D8E','#44388E','#6A368B'
  158.                 '#7D3990','#A63F98','#C31C88','#D52178','#D5225B']
  159. print("-----"*15)
  160. bar = (
  161.     Bar()
  162.     .add_xaxis([i for i in df['影片中文名'].values.tolist()])
  163.     .add_yaxis('评分前25名', df['评价数'].values.tolist())
  164. )
  165. bar.render("./条形图.html")
  166. print("柱形图保存成功！")
  167. # 读取文件
  168. fn = open('top250.txt','r',encoding='utf-8') 
  169. string_data = fn.read() 
  170. fn.close() 
  171. # 文本预处理
  172. pattern = re.compile(u'\t||\.|-|:|;|\)|\(|\?|"') # 定义正则表达式匹配模式
  173. string_data = re.sub(pattern, '', string_data) # 将符合模式的字符去除
  174. # 文本分词
  175. seg_list_exact = jieba.cut(string_data, cut_all = False) # 精确模式分词
  176. object_list = []
  177. remove_words = [u'19', u'，',u'20', u'德国', u'导演', u'日本', u'法国',u'等',u'能',u'都',u'。',u' ',u'、',u'中',u'在',u'了',
  178.                 u'20',u'大陆',u'我们',u'美国'] # 自定义去除词库
  179.  
  180. for word in seg_list_exact: # 循环读出每个分词
  181.     if word not in remove_words: # 如果不在去除词库中
  182.         object_list.append(word) # 分词追加到列表
  183.  
  184. # 词频统计
  185. word_counts = collections.Counter(object_list) 
  186. word_counts_top10 = word_counts.most_common(10) 
  187. print (word_counts_top10) # 输出检查
  188. word_counts_top10 = str(word_counts_top10)
  189.  
  190. # 词频展示
  191. mask = np.array(Image.open('image.jpg')) 
  192. wc = wordcloud.WordCloud(
  193.     font_path='simfang.ttf', 
  194.     mask=mask, 
  195.     max_words=100, # 最多显示词数
  196.     max_font_size=150, # 字体最大值
  197.     background_color='white',
  198.     width=800, height=600,
  199. )
  200.  
  201. wc.generate_from_frequencies(word_counts) 
  202. plt.imshow(wc) 
  203. plt.axis('off')
  204. plt.show() 
  205. wc.to_file('wordcloud.png')

如果错误请大佬指正。 

网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发