专利详细信息
文献类型:专利
专利类型:发明专利
是否失效:否
是否授权:否
申 请 号:CN201510910412.3
申 请 日:20151210
申 请 人:天津海量信息技术有限公司
申请人地址:300020 天津市和平区南马路11号麦购国际大厦23层
公 开 日:20160413
公 开 号:CN105491131A
代 理 人:王山
代理机构:天津市尚仪知识产权代理事务所(普通合伙)
语 种:中文
摘 要:一种基于虚浏览器下载的互联网大数据采集系统,由顶至下,包括由虚浏览器层、负载均衡层和HTTP代理层;其中虚浏览器层为系统的顶层,由虚浏览器集群构成,发出HTTP请求;负载均衡层为系统的中间层,虚浏览器层通过负载均衡层连接HTTP代理层;HTTP代理层为系统的底层,依HTTP请求返回HTTP响应。过使用虚浏览器作为下载客户端,利用虚浏览器的网页渲染和脚本解析引擎,可以直接获取到JavaScript脚本在Dom上执行、渲染后的结果。负载均衡层提高了系统的效率,保证了系统的鲁棒性。而由于系统中的HTTP代理服务和虚浏览器处于同一子网,能够极大避免外部带宽开销和下载耗时开销。
主 权 项:1.一种基于虚浏览器下载的互联网大数据采集系统,其特征在于:由顶至下,包括由虚浏览器层、负载均衡层和HTTP代理层;其中虚浏览器层为系统的顶层,由虚浏览器集群构成,发出HTTP请求;负载均衡层为系统的中间层,虚浏览器层通过负载均衡层连接HTTP代理层;HTTP代理层为系统的底层,依HTTP请求返回HTTP响应。
关 键 词:浏览器 负载均衡 下载 脚本解析引擎 下载客户端 采集系统 带宽开销 网页渲染 直接获取 层连接 大数据 鲁棒性 中间层 脚本 顶层 集群 一种 子网 开销 耗时 渲染 互联网 返回 外部 构成 发出 保证 执行 服务
IPC专利分类号:H04L29/08(20060101)
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...