linux命令行抓取网页快照-(xvfb+CutyCapt)

作者: xiaojikuaipao 2017-02-25 10:11:02

目的:


在一台没有安装X-server的Debian服务器上实现命令行抓取网页快照。


 


软件:


1.xvfb(http://www.x.org/archive/X11R6.8.2/doc/Xvfb.1.html)(在命令行下实现对X-server的模拟,渲染图形进行缓存)-在没有安装X-Server的环境下提供图像渲染


2.CutyCapt(https://sourceforge.net/projects/cutycapt/)(模拟浏览器对网页进行下载、HTML、css渲染、Javascript执行,并将最终渲染完成的网页进行快照)- 主力干将


3.Qt(http://qt.nokia.com/)(CutyCapt是基于此框架开发的)


 


实践:


1.安装CutyCapt、Qt及相关软件包:


sudo apt-get install subversion libqt4-webkit libqt4-dev g++


svn co https://cutycapt.svn.sourceforge.net/svnroot/cutycapt


cd cutycapt/CutyCapt


qmake


make


2.安装xvfb:


apt-get install xvfb


3.抓取测试:


xvfb-run --server-args="-screen 0, 1024x768x24" ./CutyCapt --url=http://www.zol.com.cn --out=zol.png


 


本文永久更新地址:http://www.linuxdiyf.com/linux/28683.html

相关资讯