Python 爬虫：爬取豆瓣电影榜 Top250

发表于 更新于 分类于
爬取豆瓣电影榜Top250

前言

现在很多网站都做了反爬，导致单一使用 requests 库无法爬到东西，经过全网实验，我发现豆瓣的电影排行榜很容易爬取下来的

实现过程

我们使用浏览器检查工具

分析每一项的 HTML 代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
<div class="item">
          <div class="pic">
              <em class="">1</em>
              <a href="https://movie.douban.com/subject/1292052/">
                  <img width="100" alt="肖申克的救赎" src="https://img2.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg" class="">
              </a>
          </div>
          <div class="info">
              <div class="hd">
                  <a href="https://movie.douban.com/subject/1292052/" class="">
                      <span class="title">肖申克的救赎</span>
                              <span class="title"> / The Shawshank Redemption</span>
                          <span class="other"> / 月黑高飞(港)  /  刺激1995(台)</span>
                  </a>


                      <span class="playable">[可播放]</span>
              </div>
              <div class="bd">
                  <p class="">
                      导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...<br>
                      1994 / 美国 / 犯罪 剧情
                  </p>


                  <div class="star">
                          <span class="rating5-t"></span>
                          <span class="rating_num" property="v:average">9.7</span>
                          <span property="v:best" content="10.0"></span>
                          <span>2674333人评价</span>
                  </div>

                      <p class="quote">
                          <span class="inq">希望让人自由。</span>
                      </p>
              </div>
          </div>
      </div>

每个代码都有如上规律，所以我们用正则表达式去匹配每个电影，获取需要的数据

这个需要有正则表达式知识

1
2
3
pattern=re.compile(
        '<div class="item">.*?<em class="">(.*?)</em>.*?<span class="title">(.*?)</span>.*?<br>(.*?) / .*? / (.*?)</p>.*?property="v:average">(.*?)</span>',re.S)
    items=re.findall(pattern,html)

然后网站是以 GET 方式 25 为增量换页的

1
2
https://movie.douban.com/top250?start=0&filter=
https://movie.douban.com/top250?start=25&filter=

有了以上思路就可以完成爬虫了

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
import requests,re,csv
def getpage(url):
    headers={
    'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.54"
    }
    response=requests.get(url,headers=headers)
    if response.status_code==200:
        return response.text
    print("爬取失败")
    return None

def parsehtml(html):
    pattern=re.compile(
        '<div class="item">.*?<em class="">(.*?)</em>.*?<span class="title">(.*?)</span>.*?<br>(.*?) / .*? / (.*?)</p>.*?property="v:average">(.*?)</span>',re.S)
    items=re.findall(pattern,html)
    return items;

def write(items):
    with open("豆瓣电影Top250.csv",mode="w", encoding="utf-8-sig", newline="") as f:
        writer = csv.writer(f)
        headerList=['排名','电影名','上映时间','分类','豆瓣评分']
        writer.writerow(headerList)
        for i in items:
            tmp=[]
            tmp.append(i[0])
            tmp.append(i[1])
            tmp.append(str(i[2]).strip())
            tmp.append(str(i[3]).strip())
            tmp.append(str(i[4]).strip())
            print(tmp[0],tmp[1],tmp[2],tmp[3],tmp[4])
            writer.writerow(tmp)
def main():
    items=[]
    for i in range(0,250,25):
        url='https://movie.douban.com/top250?start={}&filter='.format(i)
        text=getpage(url)
        items+=parsehtml(text)
    write(items)
main()

结果

非常基础的爬虫入门例子