搜索引擎url采集

  

  

一米智能搜索引擎url采集主要优势包含以下几点:


搜索引擎url采集


1、支持国外与国内多个主流搜索引擎,每个引擎的参数可单独控制;


2、可自动检测当前网络属于国内还是国外,用于部分国外引擎的初始网络代理设定判断。


3、无需特定环境与依赖,可直接运行;


4、自动去重过滤。同时支持按url模式或者域名模式进行重复判断;


5、支持webhook,采集的结果,可实时推送到自定义远程API接口;


6、CPU占用、内存资源占用低;


7、跨平台,同时支持windows各主流版本操作系统、以及Centos、Ubuntu、Mac等各版本操作系统;


8、支持自定义保存数据字段(域名、网址、所属引擎、标题、描述、IP、访问状态码等)


9、支持自定义代理功能,同时支持本地txt载入代理,以及支持代理平台API接口,可自定义自动更新时间频率;

  

上一条:采集搜索引擎

下一条:搜索引擎采集器

相关资讯