Python爬虫利器四之PhantomJS的用法

作者:分分快三计划
  1. import phantom from 'phantom';  
  2. const pageToPdf = (url) => {  
  3.  phantom.create().then((ph) {  
  4.  ph.createPage().then((page) => {  
  5.   page.open(url).then((status) => {  
  6.   // 配置存储的pdf地址  
  7.   page.render('存储的地址.pdf').then((status) => {  
  8.    console.log('Page rendered');  
  9.    ph.exit();  
  10.   });  
  11.   });  
  12.  });  
  13.  });  
  14. };  
  15. pageToPdf('');  

–proxy-auth specifies the authentication information for the proxy, e.g. –proxy-auth=username:password). [代理认证]

二、生成pdf

  创建一个controller在头部加上require 'phantomjs'

  在format.pdf的代码块里中入如下代码:
      url = "" #这是要生成pdf的页面url
  
    name = "#{Time.now.to_date.to_s(:db)}_#{Digest::MD5.hexdigest('pdf' Time.now.to_i.to_s)}.pdf"
    path = Rails.root.join("public","download", "#{name}").to_s #生成pdf后存放的路径
    Phantomjs.base_dir = Rails.root.join('public','js', 'phantomjs').to_s # 这里是下载phantomjs文件的存放路径,如果不指定这个,它会自动下载phantomjs。
    Phantomjs.run(Rails.root.join('public','js','rasterize.js').to_s, url, path, "", request.host, cookies["_your_session"]) #resterize.js存入在public/js下, _your_session是你的项目的session名称。
    send_file(path)

这里使用的是resterize.js,需要对源码进行修改:

"use strict";
var page = require('webpage').create(),
    system = require('system'),
    address, output, size;

phantom.addCookie({
    'name'     : '_your_session',   /* 你的session 名称  */
    'value'    : system.args[5],  /* session ,传入的参数*/
    'domain'   : system.args[4],  /* 你的域名,传入的参数 */
    'path'     : '/',                /* required property */
    'httponly' : true,
    'secure'   : false,
    'expires'  : (new Date()).getTime() (1000 * 60 * 60)   /* <-- expires in 1 hour */
});

if (system.args.length < 3 || system.args.length > 6) {
    console.log('Usage: rasterize.js URL filename [paperwidth*paperheight|paperformat] [zoom]');
    console.log('  paper (pdf output) examples: "5in*7.5in", "10cm*20cm", "A4", "Letter"');
    console.log('  image (png/jpg output) examples: "1920px" entire page, window width 1920px');
    console.log('                                   "800px*600px" window, clipped to 800x600');
    phantom.exit(1);
} else {
    address = system.args[1];
    output = system.args[2];
    page.viewportSize = { width: 600, height: 600 };

    // if (system.args.length > 4) {
    //     page.zoomFactor = 0.1;
    // }
    page.open(address, function (status) {
        if (status !== 'success') {
            console.log('Unable to load the address!');
            phantom.exit(1);
        } else {
            window.setTimeout(function () {
                page.render(output);
                phantom.exit();
            }, 1000);
        }
    });
}
本例主要是生成pdf,去掉了一些没用的代码,加入了addCookie的代码。

后加部分:

后来发现上面代码不支持https,其实这个并不难,请参考新改部分

 

–ssl-certificates-path= Sets the location for custom CA certificates (if none set, uses system default). [SSL证书路径,默认系统默认路径]

一、新建项目

  rails new app --skip-bundle

  完成后修改Gemfile文件:vim Gemfile

  把source 修改成taobao或者ruby-china的源。

  在这个文件里加入:gem 'phantomjs'

  然后运行:bundle install

  这样项目就新建完成了。

  phantomjs需要单独下载,如果不下载,这个gem运行的时候会自动下载,可能会比较慢。

利用 evaluate 方法我们可以获取网页的源代码。这个执行是“沙盒式”的,它不会去执行网页外的 JavaScript 代码。evalute 方法可以返回一个对象,然而返回值仅限于对象,不能包含函数(或闭包)

第一个程序

WebpageWebpage用例

if (status !== 'success') {

//the clipRect is the portion of the page you are taking a screenshot of

图片 1

网络监听

if (status === "success") {

–local-storage-quota=number maximum size to allow for data. [本地文件最大大小]

–local-to-remote-url-access=[true|false] allows local content to access remote URL (default is false). Also accepted: [yes|no]. [是否允许远程加载文件,默认不允许]

phantom.exit();

加入百度,加入网页搜索,你,可以影响世界。

–config=/path/to/config.json can utilize a JavaScript Object Notation (JSON) configuration file instead of passing in multiple command-line optionss [所有的命令行配置从config.json中读取]

"ignoreSslErrors": true,

职位介绍:

–max-disk-cache-size=size limits the size of disk cache (in KB). [最大缓存空间]

}

图片 2

例如下面的例子就修改了 User-Agent,然后还返回了页面中某元素的内容。

安装

page.open(url, function(status) {

探寻这里的秘密;

Since PhantomJS is using WebKit, a real layout and rendering engine, it can capture a web page as a screenshot. Because PhantomJS can render anything on the web page, it can be used to convert contents not only in HTML and CSS, but also SVG and Canvas.

页面自动化处理

运行结果

page.open('', function (status) {

};

* --disk-cache => diskCacheEnabled

t, address;

实例

console.log("Status: "   status);

下载源码

如果正常显示版本号,那么证明安装成功了。如果提示错误,那么请重新安装。

页面加载

–proxy=address:port specifies the proxy server to use (e.g. –proxy=192.168.1.42:8080). [代理]

PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准:DOM 操作,CSS选择器,JSON,Canvas 以及SVG。

任何来自于网页并且包括来自 evaluate() 内部代码的控制台信息,默认不会显示。

–webdriver starts in ‘Remote WebDriver mode’ (embedded GhostDriver): ‘[[:]]’ (default ‘127.0.0.1:8910’) [以远程WebDriver模式启动]

var page = require('webpage').create();

其中最重要的方法便是 viewportSize 和 clipRect 属性。

var page = require('webpage').create();

}

var page = require('webpage').create();

* --local-to-remote-url-access => localToRemoteUrlAccessEnabled

代码评估

以上是命令行的基本配置

Your Http User Agent string is: SpecialAgent

百度一下,你就知道

Full web stack No browser required

page.open('', function() {

在1.6版本之后允许添加外部的JS库,比如下面的例子添加了jQuery,然后执行了jQuery代码。

因为 PhantomJS 可以加载和操作一个web页面,所以用来自动化处理也是非常适合的。

});

在此提供官方文档实例,多对照实例练习,使用起来会更得心应手。

–load-images=[true|false] load all inlined images (default is true). Also accepted: [yes|no]. [加载图片,默认为加载]

The default user agent is Mozilla/5.0 (Macintosh; Intel Mac OS X) AppleWebKit/538.1 (KHTML, like Gecko) PhantomJS/2.1.0 Safari/538.1

page.evaluate(function() {

大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了。所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。

//viewportSize being the actual size of the headless browser

下面的例子就捕获了github网页的截图。上文有类似内容,不再演示。

测试样例

可以利用 phantom 来实现页面的加载,下面的例子实现了页面的加载并将页面保存为一张图片。

就相当于把浏览器窗口拖到了 1024×768 大小,然后从左上角裁切出了 1024×768 的页面。

屏幕捕获

});

命令行

phantom.exit()

phantomjs loadspeed.js 

/* etc. */

/* Same as: --output-encoding=utf8 */

* --load-images => autoLoadImages

return document.getElementById('myagent').textContent;

引用了 jQuery 之后,我们便可以在下面写一些 jQuery 代码了。

console.log('Unable to access network');

});

var page = require('webpage').create();

下面这个例子计算了一个页面的加载速度,同时还用到了命令行传参的特性。新建文件保存为 loadspeed.js

phantom.exit();

官方实例

–webdriver-selenium-grid-hub URL to the Selenium Grid HUB: ‘URLTOHUB’ (default ‘none’) (NOTE: works only together with ‘–webdriver’) [Selenium接口]

});

PhantomJS提供的命令行选项有:

clipRect 是裁切矩形的大小,需要四个参数,前两个是基准点,后两个参数是宽高。

这样的话,如果你用浏览器打开百度首页,打开调试工具的console,可以看到控制台输出信息。

"maxDiskCacheSize": 1000,

page.render('germy.png');

var url = '';

命令行输入

好,接下来我们就一起来了解一下这个神奇好用的库的用法吧。

DOM操作

首先打印出了默认的 User-Agent,然后通过修改它,请求验证 User-Agent 的一个站点,通过选择器得到了修改后的 User-Agent。

page.onResourceRequested = function(request) {

};

t = Date.now() - t;

需要重写这个行为,使用 onConsoleMessage 回调函数,示例可以改写成

–disk-cache=[true|false] enables disk cache (at desktop services cache storage location, default is false). Also accepted: [yes|no]. [硬盘缓存开关,默认为关]

});

–output-encoding=encoding sets the encoding used for terminal output (default is utf8). [默认输出编码,默认utf8]

测试页面加载速度

page.viewportSize = { width: 1024, height: 768 };

} else {

目前(2016/3/21)最新发行版本是 v2.1,

PhantomJS

} else {

前言

啊,我没有在为百度打广告!

快速开始

console.log('Usage: loadspeed.js ');

除了 png 格式的转换,PhantomJS还支持 jpg,gif,pdf等格式。

});

phantom.exit();

运行结果

//the rest of the code is the same as the previous example

* --local-storage-path => offlineStoragePath

t = Date.now();

To evaluate JavaScript code in the context of the web page, useevaluate()function. The execution is “sandboxed”, there is no way for the code to access any JavaScript objects and variables outside its own page context. An object can be returned fromevaluate(), however it is limited to simple objects and can’t contain functions or closures.

});

本文介绍大部分内容来自于官方文档,博主对其进行了整理,学习更多请参考

var ua = page.evaluate(function() {

});

{

Because PhantomJS can load and manipulate a web page, it is perfect to carry out various page automations.

–version or -v prints out the version of PhantomJS. Halts immediately, will not run a script passed as argument. [查看版本]

page.onConsoleMessage = function (msg) {

程序判断了参数的多少,如果参数不够,那么终止运行。然后记录了打开页面的时间,请求页面之后,再纪录当前时间,二者之差就是页面加载速度。

注:JSON文件配置格式

发现执行成功,然后目录下多了一张图片,example.png

运行结果

Loading time 11678 msec

/* Same as: --max-disk-cache-size=1000 */

});

以上代码获取了百度的网站标题。

因为 PhantomJS 有网络通信的检查功能,它也很适合用来做网络行为的分析。

phantom.exit();

var page = require('webpage').create();

下载地址

使用附加库

成为这里的主人;

console.log('The default user agent is '   page.settings.userAgent);

当接受到请求时,可以通过改写onResourceRequested和onResourceReceived回调函数来实现接收到资源请求和资源接受完毕的监听。例如

当然如果你不嫌麻烦,可以选择

});

Because PhantomJS permits the inspection of network traffic, it is suitable to build various analysis on the network behavior and performance.

console.log(msg);

首先创建了一个webpage对象,然后加载本站点主页,判断响应状态,如果成功,那么保存截图为 example.png

phantom.exit();

请将简历发送至 %c ps_recruiter@baidu.com( 邮件标题请以“姓名-应聘XX职位-来自console”命名) color:red

–local-storage-path=/some/path path to save LocalStorage content and WebSQL content. [本地存储路径,如本地文件和SQL文件等]

var url = '';

–remote-debugger-autorun runs the script in the debugger immediately: ‘yes’ or ‘no’ (default) [在调试环境下是否立即执行脚本,默认否]

phantom.exit();

Loading 

system = require('system'),

var page = require('webpage').create(),

以上代码命名为 pageload.js,命令行

page.render('github.png');

var page = require('webpage').create();

在前面我们介绍了 webpage 对象的几个方法和属性,其实它本身还有其它很多的属性。具体的内容可以参考

page.settings.userAgent = 'SpecialAgent';

脚本都是像在浏览器中运行的,所以标准的 JavaScript 的 DOM 操作和 CSS 选择器也是生效的。

page.open('', function() {

–help or -h lists all possible command-line options. Halts immediately, will not run a script passed as argument. [帮助列表]

var page = require('webpage').create();

console.log('FAIL to load the address');

phantom.exit();

var url = '';

通过下面的小例子感受一下。

page.evaluate(function () {

phantom.exit();

if (system.args.length === 1) {

* --web-security => webSecurityEnabled

console.log('Receive '   JSON.stringify(response, undefined, 4));

程序输出了 Hello,world!程序第二句话终止了 phantom 的执行。

return document.title;

Page title is 百度一下,你就知道

一张网页,要经历怎样的过程,才能抵达用户面前?

Webpage对象

Command-line Options

}

console.log('Request '   JSON.stringify(request, undefined, 4));

phantom.exit();

–ssl-protocol=[sslv3|sslv2|tlsv1|any’] sets the SSL protocol for secure connections (default is SSLv3). [SSL协议,默认SSLv3]

–script-encoding=encoding sets the encoding used for the starting script (default is utf8). [脚本编码,默认utf8]

var title = page.evaluate(function() {

PhantomJS is a headless WebKit scriptable with a JavaScript API. It hasfastandnativesupport for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG.

体验这里的挑战;

phantomjs helloworld.js

–proxy-type=[http|socks5|none] specifies the type of the proxy server (default is http). [代理类型,默认http]

运行结果会打印出所有资源的请求和接收状态,以JSON格式输出。

phantomjs pageload.js

以上是博主对 PhantomJS 官方文档的基本总结和翻译,如有差错,希望大家可以指正。另外可能有的小伙伴觉得这个工具和 Python 有什么关系?不要急,后面会有 Python 和 PhantomJS 的综合使用的。

因为这个 render 方法,phantom 经常会用到网页截图的功能。

/* Same as: --ignore-ssl-errors=true */

因为 PhantomJS 使用了 WebKit内核,是一个真正的布局和渲染引擎,它可以像屏幕截图一样捕获一个web界面。因为它可以渲染网页中的人和元素,所以它不仅用到HTML,CSS的内容转化,还用在SVG,Canvas。可见其功能是相当强大的。

官方文档

});

–cookies-file=/path/to/cookies.txt specifies the file name to store the persistent Cookies. [指定存放cookies的路径]

page.open(address, function(status) {

}

page.open(url);

Since the script is executed as if it is running on a web browser, standard DOM scripting and CSS selectors work just fine.

其中有一个比较常用的工具,那就是

$("button").click();

console.log(ua);

viewportSize 是视区的大小,你可以理解为你打开了一个浏览器,然后把浏览器窗口拖到了多大。

page.open('', function(status) {

–ignore-ssl-errors=[true|false]Python爬虫利器四之PhantomJS的用法。 ignores SSL errors, such as expired or self-signed certificate errors (default is false). Also accepted: [yes|no]. [忽略ssl错误,默认不忽略]

page.open(url, function (status) {

这个时间包括JS渲染的时间,当然和网速也有关。

console.log('Loading time '   t   ' msec');

注意:phantom.exit();这句话非常重要,否则程序将永远不会终止。

–web-security=[true|false] enables web security and forbids cross-domain XHR (default is true). Also accepted: [yes|no]. [是否开启安全保护和禁止异站Ajax,默认开启保护]

–remote-debugger-port starts the script in a debug harness and listens on the specified port [远程调试端口]

}

page.clipRect = { top: 0, left: 0, width: 1024, height: 768 };

page.includeJs("", function() {

address = system.args[1];

There are some keys that do not translate directly:

更多爬虫以及web知识可以关注博客

page.open('', function() {

console.log(document.title);

重写了 onConsoleMessage 方法之后,可以发现控制台输出的结果和我们需要输出的标题都打印出来了。

console.log('Page title is '   title);

里面介绍了 webpage的所有属性,方法,回调。

大家可以依照自己的开发平台选择不同的包进行下载

第一个程序当然是Hello World,新建一个 js 文件。命名为 helloworld.js

});

if (status !== 'success') {

"outputEncoding": "utf8"

When a page requests a resource from a remote server, both the request and the response can be tracked via onResourceRequested and onResourceReceived callback.

console.log('Loading '   system.args[1]);

};

PhantomJS安装方法有两种,一种是下载源码之后自己来编译,另一种是直接下载编译好的二进制文件。然而自己编译需要的时间太长,而且需要挺多的磁盘空间。官方推荐直接下载二进制文件然后安装。

phantomjs -v

然后自己编译。

* --local-storage-quota => offlineStorageDefaultQuota

安装完成之后命令行输入

console.log('Hello, world!');

一位新人,要经历怎样的成长,才能站在技术之巅?

page.render('example.png');

page.onResourceReceived = function(response) {

});

结语

var page = require('webpage').create();

本文由分分快三计划发布,转载请注明来源

关键词: 分分快三计划 日记本 python爬... ruby r