Osheep

时光不回头,当下最重要。

Python之Instagram图片爬虫(二)

上回我们讲到了基础的图片的URL的获取——Python之Instagram图片爬虫(一),这回将要讲的就是获取加载更多时的图片URL,从而能够获取所属当前用户的所有的图片的URL链接。


分析页面

还记得上回我们并没有点击更多这个按钮,仅仅获取了首页的图片具体链接。

《Python之Instagram图片爬虫(二)》

首页

在首页中分析出来的HTML中,提取到了这样的json数据块。

《Python之Instagram图片爬虫(二)》

json数据块

也成功提取了其中的图片链接,这回让我们先清空一下Chrome 调试中Network Tab页面的跟踪信息,紧接着点击一下更多按钮。

《Python之Instagram图片爬虫(二)》

更多的请求

这时就可以瞧见第一条的请求记录,再来点开它的response,查看一下具体的返回内容。

《Python之Instagram图片爬虫(二)》

提取出来的返回内容

哇?可不是json格式的内容,这样就可以很好的查看到更多的图片链接了。但是查看node的信息,发现图片仅仅只有几张,因此可以猜测这样的请求绝对不止一个。当我们往下拉时,发现Instagram自动加载了新的内容,同时发现了新的请求。

《Python之Instagram图片爬虫(二)》

加载的异步请求

同样返回熟悉的json数据,但是问题是它是怎么请求下一次的呢?请求的参数是什么呢?

《Python之Instagram图片爬虫(二)》

请求参数

如上图所示,其中的参数有这么几个:

  • query_id
  • id【包裹在json中】
  • first
  • after

这几个参数中,对比两次请求的参数,我们可以看到first参数没有变化。id参数也没变,依据经验,这个参数一定是随着不同的Instagram账号而变化的,但肯定容易获取。所以难点就是获取另外两个参数。我们优先查看第一次提取的HTML中的json数据库。

《Python之Instagram图片爬虫(二)》

看图中有几个参数

查看上图,火眼金睛应该能看出其中的几个参数:

  • id
  • end_cursor 【刚好就是第一次query请求的after参数】

那么query_id去哪里了?这个确实复杂,我们在HTML中搜索发现并没有存在这个参数,这时就要分析Instagram的动态加载的JavaScript代码。

《Python之Instagram图片爬虫(二)》

script节点

按照一般的经验,我们查询JavaScript的代码通常从网站所属公司的同源的文件开始,我们先去第一个zh_CN_Common查询query_id所对应的数字,发现确实出现了一条记录。

《Python之Instagram图片爬虫(二)》

匹配一条

再进行queryId字符串的搜索,结果出现好多条,于是我们打算进行正则匹配,但遇到的数字很多。根据正则匹配的结果,我们发现了几个,来自我的猜测,前面几个都是以前的版本号,所以我们选取最后一个。

《Python之Instagram图片爬虫(二)》

queryId

代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
 @File       : spider.py
 @Time       : 2017/8/12 0012 21:22
 @Author     : Empty Chan
 @Contact    : chen19941018@gmail.com
 @Description:
"""
import re
import json
import os
from lxml import etree
import requests
import click
from urllib import parse
import time

PAT = re.compile(r'queryId:"(\d*)?"', re.MULTILINE)
headers = {
    "Origin": "https://www.instagram.com/",
    "Referer": "https://www.instagram.com/morisakitomomi/",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/58.0.3029.110 Safari/537.36",
    "Host": "www.instagram.com",
    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "accept-encoding": "gzip, deflate, sdch, br",
    "accept-language": "zh-CN,zh;q=0.8",
    "X-Instragram-AJAX": "1",
    "X-Requested-With": "XMLHttpRequest",
    "Upgrade-Insecure-Requests": "1",
}

# jso = {"id": "1179476381", "first": 12, "after": ""}
jso = {"id": "", "first": 12, "after": ""}

BASE_URL = "https://www.instagram.com"

# QUERY = "/morisakitomomi/"  # 森咲智美
QUERY = "/_8_jjini/"
NEXT_URL = 'https://www.instagram.com/graphql/query/?query_id={0}&variables={1}'

proxy = {
    'http': 'http://127.0.0.1:38251',
    'https': 'http://127.0.0.1:38251'
}


def crawl():
    click.echo('start...')
    try:
        all_imgs_url = []
        res = requests.get(BASE_URL + QUERY, headers=headers, proxies=proxy)  # , verify=False)
        html = etree.HTML(res.content.decode())
        all_a_tags = html.xpath('//script[@type="text/javascript"]/text()')  # 图片数据源
        query_id_url = html.xpath('//script[@crossorigin="anonymous"]/@src')  # query_id 作为内容加载
        click.echo(query_id_url)
        for a_tag in all_a_tags:
            if a_tag.strip().startswith('window'):
                data = a_tag.split('= {')[1][:-1]  # 获取json数据块
                js_data = json.loads('{' + data, encoding='utf-8')
                nodes = js_data["entry_data"]["ProfilePage"][0]["user"]["media"]["nodes"]
                end_cursor = js_data["entry_data"]["ProfilePage"][0]["user"]["media"]["page_info"]["end_cursor"]
                has_next = js_data["entry_data"]["ProfilePage"][0]["user"]["media"]["page_info"]["has_next_page"]
                id = nodes[0]["owner"]["id"]
                for node in nodes:
                    # click.echo(node["display_src"])
                    all_imgs_url.append(node["display_src"])
                    # click.echo(end_cursor)

                    # 请求query_id
                    query_content = requests.get(BASE_URL + query_id_url[0], headers=headers, proxies=proxy)
                    query_id_list = PAT.findall(query_content.text)
                    for u in query_id_list:
                        click.echo(u)
                    query_id = query_id_list[-1]
                    count = 0
                    # 更多的图片加载
                    while has_next and count <= 1:
                        jso["id"] = id
                        jso["after"] = end_cursor
                        text = json.dumps(jso)
                        url = NEXT_URL.format(query_id, parse.quote(text))
                        res = requests.get(url, headers=headers, proxies=proxy)
                        time.sleep(2)
                        html = json.loads(res.content.decode(), encoding='utf-8')
                        has_next = html["data"]["user"]["edge_owner_to_timeline_media"]["page_info"]["has_next_page"]
                        end_cursor = html["data"]["user"]["edge_owner_to_timeline_media"]["page_info"]["end_cursor"]
                        edges = html["data"]["user"]["edge_owner_to_timeline_media"]["edges"]
                        for edge in edges:
                            click.echo(edge["node"]["display_url"])
                            count += 1
                            # all_imgs_url.append(edge["node"]["display_url"])
                    click.echo('ok')
    except Exception as e:
        raise e

if __name__ == '__main__':
    crawl()

什么,你说怎么下载?那是下回的事情了,哈哈,相信有兴趣的小伙伴早就是想法设法下载了。大家下回见哦,下回将整理整个代码~~

点赞