简易构建适合风控系统的ip库

实际上，对大部分用户来说，如果要求不高，完全可以拿现成的资源来使用：

1. 老外的数据有maxmind，不过对国内有些水土不服。

2. BAT级别的公司有开放api支持，但不提供离线库。

3. 国内也有第三方的优秀提供商，比如ipip.net。他们提供免费的离线库，以及收费的服务。是国内比较专业的ip信息服务商，也有一篇高质量的ip库构建文章讲述了来龙去脉。普通使用，推荐直接使用该库。

但对我们这样的风控公司来说，现成的资源有以下不足：

所以，我们做了一些工作，来构建自己的ip库，方便我们的风控系统使用。本文余下部分会描述我们的大概思路（具体实现会采用简要方法来说明）。

作为一个非专业公司，不可能像 ipip.net 那样花很大的力气去撒点做网络探测和分析，最省事的就是爬取网上的资源。这里举一个简单例子，拿局域网内最大的搜索引擎公司作为数据来源。

1. 生成ip c段地址列表，由seq来生成相应的数字

2. 将数字转为ip的字符串形式，由awk来转换

3. 利用curl向度娘发起请求

原始数据拿来后，需要进行整理，首先需要去掉重复信息，比如原始的数据是这样的

这些c段紧靠在一起，完全没有必要，再通过一行命令去做去重

说明：

1. 首先按照ip进行排序，由于之前有多进程并发操作，结果数据会有乱序情况出现，不利于去重
   

2. 利用awk，只输出归属地相同的邻近行的第一行
   

3. 最终得到的结果中，任意相邻的两行地址都不一样

这里涉及到我们去建地址库的初衷，由于有的数据来源地理位置不统一，比如有的显示市，有的显示区，有的县级市地级市傻傻分不清楚。所以需要对所有归属地进行规范化处理。

整个过程略复杂，我们通过算法去自动生成和校正如下的映射表，然后再利用规范化算法得到统一的地址。整个过程略复杂，而且映射表数据需要不停的自动化构建来校准，就不展示更多的细节。

• ip库生成

得到最终数据后，需要做最后打包。

一种最简单的方式是直接将上述数据作为最终数据，然后使用的时候读入，塞进一个 treemap 即可。但这种方式效率比较低，生成的包也比较大，从而影响到使用地理库的应用。

我们采用了另一种方法，逆向了ipip.net的数据格式，用该格式打出自己的数据包，这里有几个好处：

上文描述了构建的大概过程，但核心的部分由于篇幅限制采用了简易方法进行说明，如果要做生产级别的还需要注意一下方面:

  1.更好的原始数据获取。

• 百度的数据来源并不是最好的

• 需要更健壮复杂的爬虫系统，简单的bash脚本还是有玩具性质，进拿来做展示用

• 大部分时间只关心国内数据，可以利用现有的asn数据来识别国家，减少数据爬取的规模。网上也有国内ip段的划分

• c段地址有点粗，不太准确，而且爬取效率低，需要更聪明的爬取策略

  2.持续的数据获取，以及自动化的校准库和ip库构建。由于ip数据变化频率高，只有不停更新才能保证更好的精度。

  3.统一ip、手机、***、wifi地址等数据做统一的地理信息库。单个维度的信息往往只能用来做展示，如果有强计算需求的话需要做统一的数据库。

【本文由岂安科技入驻安全脉搏专栏账号发布  转载注明来源安全脉搏】