Selenium

Selenium是一个自动浏览器。虽然官方文档说Selenium是一个自动浏览器,但它并不是真正的浏览器,它只是可以驱动浏览器而已。Selenium是通过WebDriver来驱动浏览器的,每个浏览器都有对应的WebDriver。如果我们要用Chrome,就需要下载Chrome的WebDriver。

Selenium有很多语言版本的,你可以选择使用java,
python等版本的。我这里选择使用python版的。python版本的selenium可以通过pip进行安装:pip install selenium

下载WebDriver时需要选择对应的平台,比如我是在win上跑,下载的就是windows平台的。

图片 1

Python版本的Headless Chrome Web Server

  • pyspider利用phantomjs爬取js动态页面的原理:
    pyspider搜索PATH中的phantomjs命令,然后使用phantomsjs去执行phantomjs_fetcher.js,从而启动一个监听固定port的web
    server服务;当在Handler中的self.crawl(xxx)方法中带上fetch_type=’js’参数时,pyspider便发请求给这个port,利用phantomjs去转发请求,访问js动态页面,从而爬虫动态页面。

如果我想利用selenium+chrome爬取动态页面,也需要实现一个web
server,以便pyspider可以访问它,利用它转发请求。python版本的实现如下:

"""
selenium web driver for js fetcher
"""

import urlparse
import json
import time
import datetime

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from flask import Flask, request

app = Flask(__name__)


@app.route('/', methods=['POST', 'GET'])
def handle_post():
    if request.method == 'GET':
        body = "method not allowed!"
        headers = {
            'Cache': 'no-cache',
            'Content-Length': len(body)
        }
        return body, 403, headers
    else:
        start_time = datetime.datetime.now()
        raw_data = request.get_data()
        fetch = json.loads(raw_data, encoding='utf-8')
        print('fetch=', fetch)

        result = {'orig_url': fetch['url'],
                  'status_code': 200,
                  'error': '',
                  'content': '',
                  'headers': {},
                  'url': '',
                  'cookies': {},
                  'time': 0,
                  'js_script_result': '',
                  'save': '' if fetch.get('save') is None else fetch.get('save')
                  }

        driver = InitWebDriver.get_web_driver(fetch)
        try:
            InitWebDriver.init_extra(fetch)

            driver.get(fetch['url'])

            # first time will sleep 2 seconds
            if InitWebDriver.isFirst:
                time.sleep(2)
                InitWebDriver.isFirst = False

            result['url'] = driver.current_url
            result['content'] = driver.page_source
            result['cookies'] = _parse_cookie(driver.get_cookies())
        except Exception as e:
            result['error'] = str(e)
            result['status_code'] = 599

        end_time = datetime.datetime.now()
        result['time'] = (end_time - start_time).seconds

        # print('result=', result)
        return json.dumps(result), 200, {
            'Cache': 'no-cache',
            'Content-Type': 'application/json',
        }


def _parse_cookie(cookie_list):
    if cookie_list:
        cookie_dict = dict()
        for item in cookie_list:
            cookie_dict[item['name']] = item['value']
        return cookie_dict
    return {}


class InitWebDriver(object):
    _web_driver = None
    isFirst = True

    @staticmethod
    def _init_web_driver(fetch):
        if InitWebDriver._web_driver is None:
            options = Options()
            # set proxy
            if fetch.get('proxy'):
                if '://' not in fetch['proxy']:
                    fetch['proxy'] = 'http://' + fetch['proxy']
                proxy = urlparse.urlparse(fetch['proxy']).netloc
                options.add_argument('--proxy-server=%s' % proxy)

            # reset headers, for now, do nothing
            set_header = fetch.get('headers') is not None
            if set_header:
                fetch['headers']['Accept-Encoding'] = None
                fetch['headers']['Connection'] = None
                fetch['headers']['Content-Length'] = None

            if set_header and fetch['headers']['User-Agent']:
                options.add_argument('user-agent=%s' % fetch['headers']['User-Agent'])

            # disable load images
            if fetch.get('load_images'):
                options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

            # set viewport
            fetch_width = fetch.get('js_viewport_width')
            fetch_height = fetch.get('js_viewport_height')
            width = 1024 if fetch_width is None else fetch_width
            height = 768 * 3 if fetch_height is None else fetch_height
            options.add_argument('--window-size={width},{height}'.format(width=width, height=height))

            # headless mode
            options.add_argument('--headless')

            InitWebDriver._web_driver = webdriver.Chrome(chrome_options=options, port=10001)

    @staticmethod
    def get_web_driver(fetch):
        if InitWebDriver._web_driver is None:
            InitWebDriver._init_web_driver(fetch)
        return InitWebDriver._web_driver

    @staticmethod
    def init_extra(fetch):
        # maybe throw TimeOutException
        driver = InitWebDriver._web_driver
        if fetch.get('timeout'):
            driver.set_page_load_timeout(fetch.get('timeout'))
            driver.set_script_timeout(fetch.get('timeout'))
        else:
            driver.set_page_load_timeout(20)
            driver.set_script_timeout(20)

            # # reset cookie
            # cookie_str = fetch['headers']['Cookie']
            # if fetch.get('headers') and cookie_str:
            #     # driver.delete_all_cookies()
            #     cookie_dict = dict()
            #     for item in cookie_str.split('; '):
            #         key = item.split('=')[0]
            #         value = item.split('=')[1]
            #         cookie_dict[key] = value
            #     # driver.add_cookie(cookie_dict)

    @staticmethod
    def quit_web_driver():
        if InitWebDriver._web_driver is not None:
            InitWebDriver._web_driver.quit()


if __name__ == '__main__':
    app.run('0.0.0.0', 9000)
    InitWebDriver.quit_web_driver()

此实现参考pyspider源码:tornado_fetcher.py和phantomjs_fetcher.js。但是,实现的功能不全,只实现了我需要的功能。诸如:设置cookie,
执行js等并没有实现,您可以参考上面的实现,实现自己的需求。

3年前,无头浏览器 PhantomJS 已经如火如荼出现了,紧跟着 NightmareJS
也成为一名巨星。无头浏览器带来巨大便利性:页面爬虫、自动化测试、WebAutomation…用过PhantomJS的都知道,它的环境是运行在一个封闭的沙盒里面,在环境内外完全不可通信,包括API、变量、全局方法调用等。

Chrome

Chrome浏览器从59版本之后开始支持headless模式,用户可以在无界面下进行各种操作,例如:截图、把html输出PDF等等。MAC、Linux、Windows均有对应的Chrome,请根据平台进行下载、安装。更多headless
chrome的用法可以参考:headless
chrome用法

使用Headless
Chrome也许能让你的自动化测试运行更快,而且在视觉测试上面也有一定的优势。感兴趣的朋友可以上手试试。

背景

最近一直在搞论坛的爬虫。爬着爬着,突然遇到一个论坛的反爬虫机制比较强。例如:http://bbs.nubia.cn/forum-64-1.html。当访问这个页面时,第一次返回的不是html页面,而是加密后的js内容,然后写入cookie,等待设置好的时间,然后跳转到真正的页面。
如下图:

加密混淆后的js

  • 想到的方案:
  1. 分析加密的js,看怎么计算出的cookie,是否有规律可以生成该cookie等,然后每次访问时带上此cookie即可。
  2. 使用Pypisder自带的PhantomJs脚本,以PhantomJs的方法执行这个加密的JS,然后获取html的内容。
  3. 使用Selenium +WebDriver + Headless Chrome的方式获取html的内容。
  4. 使用puppeteer + Headless Chrome获取html的内容。
  • 分析方案:
  1. 分析加密的js不是件容易的事,要破解加密方法等难度相对较大,时间成本有限,暂时放弃。

  2. 本打算使用pyspider自带的phanthomjs方式,结果是phanthoms在访问上面的url时,一直处于卡死的状态;而且phantomjs的作者已经放弃维护它了,对于bug的修复和新的js语法支持力度不够。(需要进一步分析为什么会卡死?)

  3. 最终想到了selenium+webdriver+headlesschrome组合神器。想着如果能使用seleniu+chrome实现爬取动态页面,搭配pyspider爬取动态页面岂不是很爽。chrome是真正的浏览器,支持js特性比较全面,能真实的模拟用户请求,而且Chrome官方也出了针对headless
    chrome的api(node版本),api的可靠性,支持chrome特性的力度都非常的好。

  4. puppeteer 是nodejs版本的api, 对nodejs不熟悉,暂时先忽略。

简而言之,Headless
Browser是没有图形用户界面(GUI)的web浏览器,通常是通过编程或命令行界面来控制的。

配置PATH

把下载的WebDriver放在PATH环境变量可以加载到的位置,这样在程序中不用指定webDriver,会方便很多。

screen.png

让pyspider fetcher访问Headless Chrome Web Server

  1. 先启动chrome web
    server,直接运行:python selenium_fetcher.py即可,端口为9000
  2. 在启动pyspider时,指定--phantomjs-proxy=http://localhost:9000参数,如:pyspider --phantomjs-proxy=http://localhost:9000

安装Headless Chrome 在windows
Selenium操作chrome浏览器需要有ChromeDriver驱动来协助。
什么是ChromeDriver?

Headless Chrome和Python
在发布Headless
Chrome之前,当你需要自动化浏览器的时候随时都有可能涉及多个窗口或标签,你必须担心CPU和/或内存的使用。这两种方式都与必须从被请求的URL中显示显示的图形的浏览器相关联。

当使用一个无头的浏览器时,我们不用担心这个。因此,我们可以预期我们编写的脚本的内存开销会降低,执行速度也会更快。
而Chrome从59版本开始 推出了 headless
mode(当时仅支持Mac和Linux),而目前最新的Chrome63版已经开始在windows上支持headless
mode。

Trident内核:IE,MaxThon,TT,The World,360,搜狗浏览器等
Gecko内核:Netscape6及以上版本,FF,MozillaSuite/SeaMonkey等
Presto内核:Opera7及以上
Webkit内核:Safari,Chrome等

headless对比.png

编写对应的脚本
编写一个对应的百度搜索的脚本

主流浏览器所使用的内核分类

headless chrome.png

以上的脚本运行完成后,你会在你的当前目录看到一个类似于下面画面的screen.png.

图片 2

Headless Browser实际就是节约了第4,5步的时间。

Headless Browser(无头的浏览器)是什么鬼?

先让我们看看浏览器处理过程中的每一个步骤:

安装Selenium 在windows
cmd命令里面运行:
$pip install selenium

基于不同的浏览器,有不同的浏览器引擎。(http://www.cnblogs.com/wangjunqiao/p/5212561.html)

import os
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import time

chrome_options = Options()
chrome_options.add_argument("--headless")

base_url = "http://www.baidu.com/"
#对应的chromedriver的放置目录
driver = webdriver.Chrome(executable_path=(r'C:\Program Files\Google\Chrome\Application\chromedriver.exe'), chrome_options=chrome_options)

driver.get(base_url + "/")

start_time=time.time()
print('this is start_time ',start_time)

driver.find_element_by_id("kw").send_keys("selenium webdriver")
driver.find_element_by_id("su").click()
driver.save_screenshot('screen.png')

driver.close()

end_time=time.time()
print('this is end_time ',end_time)

据运行的试验表明,Headelss
的确比Headed的浏览器在内存消耗,运行时间,CPU占用上面都有一定的优势。

图片 3

可以看出上面的写法和直接使用Selenium调用Chrome浏览器的时候极其类似,只是多添加了对chrome_options的重写。

Headless
Browser的许多用处之一是自动化可用性测试或测试浏览器交互。如果您正在尝试检查页面在不同的浏览器中呈现的方式,或者确认页面元素在用户启动某个工作流之后出现,那么使用Headless
Browser可以提供大量的帮助。除此之外,如果内容是动态呈现的(比如通过Javascript),web抓取等传统的面向web的任务就很难做了。使用Headless
Browser可以方便地访问这些内容,因为内容的呈现方式与完全浏览器中的内容完全相同。

1.处理HTML脚本,生成DOM树
2.处理CSS脚本,生成CSSOM树 (DOM和CSSOM是独立的数据结构)
3.将DOM树和CSSOM树合并为渲染树
4.对渲染树中的内容进行布局,计算每个节点的几何外观
5.将渲染树中的每个节点绘制到屏幕中

ChromeDriver是Chromium
team开发维护的,它是实现WebDriver有线协议的一个单独的服务。ChromeDriver通过chrome的自动代理框架控制浏览器,建议从以下地址直接下载最新的版本:ChromeDriver
2.34

它才可以支持Chrome v61-63。
可以将此driver放置于:C:\Program Files\Google\Chrome\Application\
(对应的Chrome安装目录下)

相关文章