NodeJS的url截取模块url-extract的使用实例
转载 & & 作者：
本文主要介绍了NodeJS的url信息截取模块url-extract的使用方法，最后提供了实例代码供大家参考
上次介绍了怎么利用NodeJS + PhantomJS进行截图，但由于对每次截图操作，都启用了一个PhantomJS进程，所以并发量上去后，效率堪忧，所以我们重写了所有代码，并将其独立成为一个模块，方便调用。如何改进？控制线程数，以及单线程处理url数量。使用Standard Output & WebSocket 进行通讯。添加缓存机制，目前使用Javascript Object进行。对外提供简易的接口。 设计图
&依赖 & 安装
由于PhantomJS 1.9.0+才开始支持Websocket，所以我们先要确定在PATH中的PhantomJS是为1.9.0以上版本。在命令行键入：
$ phantomjs -v
如果能返回版本号1.9.x，则可以继续操作。如果版本过低，或者出现错误，请到下载最新版本。
如果你已经安装了Git，或者拥有Git Shell，那么在命令行键入：$ npm install url-extract
进行安装。一个简单的例子 比如我们要截取百度首页，那么可以这样： 代码如下: module.exports = (function () { "use strict" var urlExtract = require('url-extract'); urlExtract.snapshot('http://www.baidu.com', function (job) { console.log('This is a snapshot example.'); console.log(job); process.exit(); }); })();
下面是打印：
其中，image属性就是截图相对于工作路径的地址。我们可以使用Job的getData接口来得到更清楚的数据，例如： 代码如下: module.exports = (function () { "use strict" var urlExtract = require('url-extract'); urlExtract.snapshot('http://www.baidu.com', function (job) { console.log('This is a snapshot example.'); console.log(job.getData()); process.exit(); }); })();
打印就变成了这样了：
image表示截图相对于工作路径的地址，status表示状态是否正常，true代表正常，false代表截图失败。
更多例子请参见：
url快照.snapshot(url, [callback]).snapshot(urls, [callback]).snapshot(url, [option]).snapshot(urls, [option])
代码如下: url {String} 要截取的地址 urls {Array} 要截取的地址数组 callback {Function} 回调函数 option {Object} 可选参数 ┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效 ┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效 ┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url ┝ ignoreCache {Boolean} 是否忽略缓存 ┗ callback {Function} 回调函数
url信息抓取，并获取快照.extract(url, [callback]).extract(urls, [callback]).extract(url, [option]).extract(urls, [option])
url {String} 要截取的地址
urls {Array} 要截取的地址数组
callback {Function} 回调函数
option {Object} 可选参数
┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效
┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效
┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url
┝&ignoreCache&{Boolean} 是否忽略缓存
┗&callback {Function} 回调函数
每一个url对应一个job对象，url的相关信息由job对象存储。
url {String} 链接地址content {Boolean} 是否抓取页面的title和description信息id {String} job的idgroupId {String} 一堆job的组idcache {Boolean} 是否开启缓存callback {Function} 回调函数image {String} 图片地址status {Boolean} job当前是否正常
getData() 获取job的相关数据
url-extract根目录中的config文件可以进行全局配置，默认如下：
module.exports = { wsPort: 3001, maxJob: 100, maxQueueJob: 400, cache: 'object', maxCache: 10000, workerNum: 0};
wsPort {Number} websocket占用的端口地址maxJob {Number} 每个PhantomJS线程可并发worker数maxQueueJob {Number} 最大等待工作数量，0表示不限制，超过该数量，任何工作都直接返回失败（即status = false）cache {String} 缓存实现，目前只有object实现maxCache {Number} 最大缓存链接数workerNum {Number} PhantomJS线程数，0表示和CPU数量相同
&一个简单的服务例子
注意，需要安装connect和url-extract：
$ npm install
如果你下载了网盘的文件，那么请安装connect：
$ npm install connect
然后键入：
$ node bin/server
查看效果。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具Posts - 92,
Articles - 0,
Comments - 413
22:49 by Justany_WhiteSnow, ... 阅读,
，介绍了怎么利用NodeJS + PhantomJS进行截图，但由于对每次截图操作，都启用了一个PhantomJS进程，所以并发量上去后，效率堪忧，所以我们重写了所有代码，并将其独立成为一个模块，方便调用。
如何改进？
控制线程数，以及单线程处理url数量。
使用Standard Output & WebSocket 进行通讯。
添加缓存机制，目前使用Javascript Object进行。
对外提供简易的接口。
依赖 & 安装
由于PhantomJS 1.9.0+才开始支持Websocket，所以我们先要确定在PATH中的PhantomJS是为1.9.0以上版本。在命令行键入：
$ phantomjs -v
如果能返回版本号1.9.x，则可以继续操作。如果版本过低，或者出现错误，请到下载最新版本。
如果你已经安装了Git，或者拥有Git Shell，那么在命令行键入：
$ npm install url-extract
进行安装。
如果没有，那么请在下面的连接下载整个项目：
一个简单的例子
比如我们要截取百度首页，那么可以这样：
module.exports = (function () {
"use strict"
var urlExtract = require('url-extract');
urlExtract.snapshot('http://www.baidu.com', function (job) {
console.log('This is a snapshot example.');
console.log(job);
process.exit();
下面是打印：
其中，image属性就是截图相对于工作路径的地址。我们可以使用Job的getData接口来得到更清楚的数据，例如：
module.exports = (function () {
"use strict"
var urlExtract = require('url-extract');
urlExtract.snapshot('http://www.baidu.com', function (job) {
console.log('This is a snapshot example.');
console.log(job.getData());
process.exit();
打印就变成了这样了：
image表示截图相对于工作路径的地址，status表示状态是否正常，true代表正常，false代表截图失败。
更多例子请参见：
.snapshot(url, [callback])
.snapshot(urls, [callback])
.snapshot(url, [option])
.snapshot(urls, [option])
url {String} 要截取的地址
urls {Array} 要截取的地址数组
callback {Function} 回调函数
option {Object} 可选参数
┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效
┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效
┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url
┝ ignoreCache&{Boolean} 是否忽略缓存
┗&callback {Function} 回调函数
url信息抓取，并获取快照
.extract(url, [callback])
.extract(urls, [callback])
.extract(url, [option])
.extract(urls, [option])
url {String} 要截取的地址
urls {Array} 要截取的地址数组
callback {Function} 回调函数
option {Object} 可选参数
┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效
┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效
┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url
┝&ignoreCache&{Boolean} 是否忽略缓存
┗&callback {Function} 回调函数
每一个url对应一个job对象，url的相关信息由job对象存储。
url {String} 链接地址
content {Boolean} 是否抓取页面的title和description信息
id {String} job的id
groupId {String} 一堆job的组id
cache {Boolean} 是否开启缓存
callback {Function} 回调函数
image {String} 图片地址
status {Boolean} job当前是否正常
getData() 获取job的相关数据
url-extract根目录中的config文件可以进行全局配置，默认如下：
module.exports = {
wsPort: 3001,
maxJob: 100,
maxQueueJob: 400,
cache: 'object',
maxCache: 10000,
workerNum: 0
wsPort {Number} websocket占用的端口地址
maxJob {Number} 每个PhantomJS线程可并发worker数
maxQueueJob {Number} 最大等待工作数量，0表示不限制，超过该数量，任何工作都直接返回失败（即status = false）
cache {String} 缓存实现，目前只有object实现
maxCache {Number} 最大缓存链接数
workerNum {Number} PhantomJS线程数，0表示和CPU数量相同
一个简单的服务例子
注意，需要安装connect和url-extract：
$ npm install
如果你下载了网盘的文件，那么请安装connect：
$ npm install connect
然后键入：
$ node bin/server
查看效果。他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)NodeJS的url截取模块url-extract的使用实例
本文主要介绍了NodeJS的url信息截取模块url-extract的使用方法，最后提供了实例代码供大家参考
上次介绍了怎么利用NodeJS + PhantomJS进行截图，但由于对每次截图操作，都启用了一个PhantomJS进程，所以并发量上去后，效率堪忧，所以我们重写了所有代码，并将其独立成为一个模块，方便调用。
如何改进？控制线程数，以及单线程处理url数量。使用Standard Output & WebSocket 进行通讯。添加缓存机制，目前使用Javascript Object进行。对外提供简易的接口。
依赖 & 安装
由于PhantomJS 1.9.0+才开始支持Websocket，所以我们先要确定在PATH中的PhantomJS是为1.9.0以上版本。在命令行键入：
$ phantomjs -v
如果能返回版本号1.9.x，则可以继续操作。如果版本过低，或者出现错误，请到下载最新版本。
如果你已经安装了Git，或者拥有Git Shell，那么在命令行键入：
$ npm install url-extract
进行安装。
一个简单的例子
比如我们要截取百度首页，那么可以这样：
module.exports = (function () { "use strict" var urlExtract = require('url-extract'); urlExtract.snapshot('http://www.baidu.com', function (job) { console.log('This is a snapshot example.'); console.log(job); process.exit(); }); })();
下面是打印：
其中，image属性就是截图相对于工作路径的地址。我们可以使用Job的getData接口来得到更清楚的数据，例如：
module.exports = (function () { "use strict" var urlExtract = require('url-extract'); urlExtract.snapshot('http://www.baidu.com', function (job) { console.log('This is a snapshot example.'); console.log(job.getData()); process.exit(); }); })();
打印就变成了这样了：
image表示截图相对于工作路径的地址，status表示状态是否正常，true代表正常，false代表截图失败。
更多例子请参见：
.snapshot(url, [callback]).snapshot(urls, [callback]).snapshot(url, [option]).snapshot(urls, [option])
url {String} 要截取的地址 urls {Array} 要截取的地址数组 callback {Function} 回调函数 option {Object} 可选参数 ┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效 ┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效 ┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url ┝ ignoreCache {Boolean} 是否忽略缓存 ┗ callback {Function} 回调函数
url信息抓取，并获取快照
.extract(url, [callback]).extract(urls, [callback]).extract(url, [option]).extract(urls, [option])
url {String} 要截取的地址
urls {Array} 要截取的地址数组
callback {Function} 回调函数
option {Object} 可选参数
┝ id {String} 自定义url的id，如果第一个参数是urls，此参数无效
┝ image {String} 自定义截图的保存地址，如果第一个参数是urls，此参数无效
┝ groupId {String} 定义一组url的groupId，用于返回时候辨认是哪一组url
┝ ignoreCache {Boolean} 是否忽略缓存
┗ callback {Function} 回调函数
每一个url对应一个job对象，url的相关信息由job对象存储。
url {String} 链接地址content {Boolean} 是否抓取页面的title和description信息id {String} job的idgroupId {String} 一堆job的组idcache {Boolean} 是否开启缓存callback {Function} 回调函数image {String} 图片地址status {Boolean} job当前是否正常
getData() 获取job的相关数据
url-extract根目录中的config文件可以进行全局配置，默认如下：
module.exports = { wsPort: 3001, maxJob: 100, maxQueueJob: 400, cache: 'object', maxCache: 10000, workerNum: 0};
wsPort {Number} websocket占用的端口地址maxJob {Number} 每个PhantomJS线程可并发worker数maxQueueJob {Number} 最大等待工作数量，0表示不限制，超过该数量，任何工作都直接返回失败（即status = false）cache {String} 缓存实现，目前只有object实现maxCache {Number} 最大缓存链接数workerNum {Number} PhantomJS线程数，0表示和CPU数量相同
一个简单的服务例子
注意，需要安装connect和url-extract：
$ npm install
如果你下载了网盘的文件，那么请安装connect：
$ npm install connect
然后键入：
$ node bin/server
查看效果。
Copyright (C) , All Rights Reserved.
版权所有 闽ICP备号
processed in 0.031 (s). 12 q(s)如何用nodejs去做网页截图呢？ - CNode技术社区
这家伙很懒，什么个性签名都没有留下。
想做个东西，想到这样一个需求。怎么用nodejs去做网页截图？类似于谷歌浏览器这种
或許可以看看
這東西是沒窗口的 webkit
可以做，你可以安装phantom.js，地址： 安装好后把使用环境设置我公共的，然后在用node-phantom包去做， npm install phantom phantom 地址：
谢谢，我在它的项目地址中找到很多相关项目
CNode 社区为国内最专业的 Node.js 开源技术社区，致力于 Node.js 的技术研究。
服务器赞助商为
，存储赞助商为
，由提供应用性能服务。
新手搭建 Node.js 服务器，推荐使用无需备案的