如何爬取海关数据

Lifestyle | | 0 | 235 阅读

如何爬取海关数据

近年来,随着互联网和大数据的发展,海关数据作为宝贵的公共数据集也越来越受到广大用户的关注。作为一个数据爱好者,你是否也感兴趣获取这些官方数据进行分析应用?本文将为您介绍几种方法可以获取和爬取我国海关公开数据。

1. 从海关网站下载数据

中国海关总署网站上提供了丰富的统计数据,您可以直接从下面几个链接下载:

1)进出口商品清单:http://www.customs.gov.cn/customs/302249/302274/302274/index.html

2)全国水运货物信息:http://www.customs.gov.cn/customs/302249/302274/302275/index.html

3)全国空运货物信息:http://www.customs.gov.cn/customs/302249/302274/302276/index.html

下载的数据格式主要是xls和xlsx,数量 reaching到几GB大小,涵盖不同年份和区域的进出口货物明细。这是获取海关数据最直接易行的方式。

2. 调用海关开放API获取动态数据

除了静态下载,海关也提供了部分数据的API接口,可以据此编写程序实时爬取数据。目前开放的API包括:

1)单次询价接口:提供输入某个产品编码后,返回该产品的报关税率信息。

2)历史数据查询接口:支持输入条件如产品名称、时间范围等,返回符合条件的历史报关记录。

3)实时报关进度查询接口:给定报关单号,可以查询报关单当前的处理进度。

通过利用这些API,开发者可以编程实现定时或事件驱动地获取动态数据用于分析。需要注意的是,海关限制了每个IP每天的调用次数,爬取规模需要酌情控制。

3. 处理开源数据衍生出海关数据

除直接从海关获取外,一些开源数据也可以通过处理间接得到与海关相关的数据。例如:

1)从联合国Comtrade数据库提取我国相关进出口数据。这个数据库收录了全球200多个国家的贸易数据。

2)分析我国主要货运公司如中储粮、中集集运等的船舶动态,估算其货物类型及重量,有可能推断出海关 clearance 数据。

3)我国电商平台包括淘宝、京东等,其商品数据含有产地信息,通过统计可推断出某些常规进口产品的来源国家。

4)我国海关总署也会不定期发布一些与贸易有关的统计报告,从中可以清晰一些数据纬度。

这些开源数据中含有与海关相关的线索,通过定制化处理分析即可间接获取到类似海关动态和统计的数据视角。需要进行大量数据配合与分析。

4. 寻找海关数据公司提供的商业数据库

除公开途径外,也有一些专业海关数据公司对海关公开的数据进行了进一步整理与增值,提供给用户作为商业数据库使用购买,

代表性的公司包括:

1) 易奥海关:提供我国进出口产品报关数据。

2) 同花顺:提供金融与贸易多个数据库,其中有海关贸易数据范畴。

3) 同盟船舶信息网:提供船舶动态信息,间接反映海关物流运输。

这些产品质量好,信息规整好,但价格一般较高。如果需要大规模或商业应用海关数据,从这些专业公司获取可能是首选。)

以上几种方法,从易到难,从免费到需付费,帮助您可以根据实际需要梳理出获取海关公开数据的途径。有了数据,就可以进行进一步的海关分析与应用了。