登录    注册    忘记密码

专利详细信息

基于虚浏览器下载的互联网大数据采集系统       

文献类型:专利

专利类型:发明专利

是否失效:

是否授权:

申 请 号:CN201510910412.3

申 请 日:20151210

发 明 人:李天与 杨伟锋

申 请 人:天津海量信息技术有限公司

申请人地址:300020 天津市和平区南马路11号麦购国际大厦23层

公 开 日:20160413

公 开 号:CN105491131A

代 理 人:王山

代理机构:天津市尚仪知识产权代理事务所(普通合伙)

语  种:中文

摘  要:一种基于虚浏览器下载的互联网大数据采集系统,由顶至下,包括由虚浏览器层、负载均衡层和HTTP代理层;其中虚浏览器层为系统的顶层,由虚浏览器集群构成,发出HTTP请求;负载均衡层为系统的中间层,虚浏览器层通过负载均衡层连接HTTP代理层;HTTP代理层为系统的底层,依HTTP请求返回HTTP响应。过使用虚浏览器作为下载客户端,利用虚浏览器的网页渲染和脚本解析引擎,可以直接获取到JavaScript脚本在Dom上执行、渲染后的结果。负载均衡层提高了系统的效率,保证了系统的鲁棒性。而由于系统中的HTTP代理服务和虚浏览器处于同一子网,能够极大避免外部带宽开销和下载耗时开销。

主 权 项:1.一种基于虚浏览器下载的互联网大数据采集系统,其特征在于:由顶至下,包括由虚浏览器层、负载均衡层和HTTP代理层;其中虚浏览器层为系统的顶层,由虚浏览器集群构成,发出HTTP请求;负载均衡层为系统的中间层,虚浏览器层通过负载均衡层连接HTTP代理层;HTTP代理层为系统的底层,依HTTP请求返回HTTP响应。

关 键 词:浏览器  负载均衡  下载 脚本解析引擎  下载客户端  采集系统  带宽开销  网页渲染  直接获取  层连接  大数据 鲁棒性  中间层  脚本  顶层  集群  一种  子网 开销 耗时  渲染 互联网 返回  外部  构成  发出  保证  执行  服务  

IPC专利分类号:H04L29/08(20060101)

参考文献:

正在载入数据...

二级参考文献:

正在载入数据...

耦合文献:

正在载入数据...

引证文献:

正在载入数据...

二级引证文献:

正在载入数据...

同被引文献:

正在载入数据...

版权所有©重庆科技学院 重庆维普资讯有限公司 渝B2-20050021-7
 渝公网安备 50019002500408号 违法和不良信息举报中心