数据采集与字体反爬解析

项目背景

网页数据采集需要同时解决请求能否取得内容，以及返回内容能否被正确理解的问题。本项目遇到的主要障碍是 IP 封禁与数据加密：前者影响页面获取，后者使直接提取的字符无法对应页面中实际展示的数据。

围绕这两个问题，建立代理 IP 池，并逆向获取页面使用的字体文件，通过解析字符与字形的对应关系还原字段内容。

难点一：IP 封禁与访问可用性

采集请求使用的 IP 被封禁后，原有访问入口无法继续取得页面内容，导致采集流程受阻。

解决方案：建立代理 IP 池

将代理 IP 组织为可替换的访问资源，在请求受封禁影响时更换代理出口，降低采集流程对单一 IP 的依赖。处理重点是恢复页面获取能力，为后续内容解析提供输入。

难点二：字体映射加密与字段还原

部分字段通过自定义字体显示，响应中的字符编码与页面上看到的文字或数字并不直接对应。仅提取页面文本，无法得到原始字段的真实含义。

解决方案：字体文件逆向解析

逆向分析页面的字体引用，定位并获取相关字体文件；结合字符编码与字形信息，建立加密字符到实际内容的映射，再对采集到的字段进行替换和解码。

将字体映射还原纳入数据解析流程，使采集结果从页面中的编码字符转化为可读的字段内容。

处理流程

代理 IP 池处理访问入口问题，字体逆向解析处理内容识别问题。两个环节衔接后，形成从页面获取、字体分析到字段还原的采集流程。

项目小结

这项实践将数据采集拆分为访问与解析两个层面，针对 IP 封禁和字体映射加密分别实现处理方案，积累了代理资源使用、页面字体分析及加密字段还原的实践经验。