跨境电商批量采集系列教程三(Shopee)教你如何批量采集Shopee平台上的产品

roy 2018-4-5 学做跨境电商 0 1

前两篇文章中,我们已经讲过了如何批量采集抓取tophatter和lazada平台上的产品,相信你已经体验到了批量采集抓取的美妙之处。现在海量SKU数量已经不再是多复杂多困难的事情了。在我们看来,那都是分分钟的事情。总的来说,批量采集抓取并不复杂,也不是什么高难度的技术,但作为跨境电商卖家,掌握了这项技能,就已经比不少中小卖家都要“领先”了。之所以将其称之为技能是因为充分利用这种方法,能做的事情非常多,即便是在生活和工作中的其他很多地方,也能给你带来惊喜。

今天跨境电商批量采集系列教程的采集对象是Shopee。关于Shopee平台,可以翻阅晨飞博客之前的《取长补短更接地气的东南亚电商平台Shopee开店经验分享》。如何批量采集抓取Shopee平台产品,我在早前《看他们是如何用Python抓取Shopee虾皮商品信息》这篇文章就分享过由台湾技术开发人员制作的Python抓取shopee采集教程,在youtube上可以看到

数据分析过程,与我们之前采集tophatter和lazada相同,这里不再多讲。采集过程,这里用的是Python,而我们之前用的是第三方采集软件进行。对比两种方式,Python更加灵活、简便、高效,对于专业技术人员,是毋庸置疑的首选方式。而对于没有编程基础的非专业技术人员来说,第三方采集软件显得更容易理解和使用,也是大部分跨境电商卖家的首选方式。老样子,我们继续用火车采集器来搞定Shopee。

一、分析

我们以shopee马来西亚站为例,老样子,通过列表页找关联内容页,获得需要的数据。打开首页,随便找一个目录,比如美妆类,https://shopee.com.my/Health-Beauty-cat.129

首先,还是习惯性的打开列表页的源代码,优先以前后字符截取方式获得数据,先查找能产品相关信息。结果一无所获,全篇只有56行代码,整个源代码中没有任何产品相关的文字信息可供截取。

 换种方式吧。还是用Chrome浏览器,按F12,观察Network下面的XHR,按F5刷新页面,

很明显 https://shopee.com.my/api/v2/search_items/?by=relevancy&limit=50&match_id=129&newest=300&order=desc&page_type=search  ,这个链接中newest=后的数字,每翻一页,增加50 通过数字叠加,可以批量获得所有的列表页。接下来,我们要找出,列表页和内容页之间的关联。我们先看内容页,随便点开一个产品,观察XHR.

知道这个json数据包链接:https://shopee.com.my/api/v1/item_detail/?item_id=774780589&shop_id=18228905

仔细看下,你会发现,链接中包含了item_id和shop_id,删除任何一个,都无法打开链接,也就是说我们得从列表也中,找到这2个变量才能获得内容页信息。

那么,回到列表页,翻翻看。看下图,找到了!

点开列表页格式化后的json数据包,很容易就找到了item_id和shop_id。到这里,该找的东西都找到了,分析工作就做完了,接下来就是采集了。

二、采集

打开火车采集器,新建任务shopee。

打开https://shopee.com.my/api/v2/search_items/?by=relevancy&limit=50&match_id=129&newest=50&order=desc&page_type=search ,

找出itemid和shopid匹配信息,

粘贴到提出规则中,用参数1和参数2替代,变量部分用(*)替代

我们采集试试看。

 

测试成功,已经能够抓取到内容页信息了。

通过json提取方式,获得产品标题名称。

测试效果,抓取成功,然后就可以开始批量开始抓取数据了。

至此,shopee的产品标题抓取过程就做完了,按照这个方法,同样可以将描述、图片、价格等信息一并抓取下来。总的来说,Shopee的数据抓取难度不大。只要是前期分析工作到位,不管是python还是第三方采集器,都能顺利抓取到这些数据。

会员权益升级:不会采集么?没关系,申请成为晨飞博客 会员 ,可登录会员区观看采集讲解视频。学不会?也没关系。晨飞将为会员用户提供一次Shopee产品批量采集服务,帮助会员理解批量采集。

会员登录
   
如果你喜欢我的文章,点击“喜欢”让我知道。如需咨询求助,发邮件给我roy@chenfei.cn
我在『会员区』中为大家准备了一些讲解视频和深度解读内容,相信不会让你失望,欢迎订阅。

转载请注明来自晨飞,本文标题:《跨境电商批量采集系列教程三(Shopee)教你如何批量采集Shopee平台上的产品》

喜欢 (1) 发布评论
发表评论


Top