爬虫采集亚马逊数据库

  

做亚马逊懂技术的很多人都在用爬虫采集亚马逊数据库,但很多新手不是很理解,下面一米亚马逊采集软件就来和大家介绍一下。


爬虫采集亚马逊数据库


scrapy-amazon(亚马逊爬虫)


基于scrapy的亚马逊的爬虫


默认python3环境,python2未测试


默认抓取手机版亚马逊


默认采集亚马逊指定关键词所有商品


采集属性包括商品名称、链接、图片地址、ASIN、商品描述、评论等等


爬取到的数据存储到MongoDB数据库


未开源版本新增功能


支持采集指定不同国家的亚马逊(美国亚马逊、日本亚马逊等等)


支持指定代理IP访问,减少亚马逊Robot Check几率


支持采集、发布日志保存到文件,方便查询


接入百度翻译、有道翻译、腾讯翻译,自定义语种实现伪原创


支持采集到的数据清洗伪原创一键发布到wordpress(带特色图片)


支持发布去重、减少网站被K几率


一米软件提醒您:建议自行指定IP池,随机更换User-Agent,防止被封

相关资讯