医药电商 AI 智能数据采集平台

23 类核心数据场景 ｜ AI 自动生成采集脚本 ｜ 全量 + 增量双模式 ｜ SaaS ERP → 企业数据库自动贯通

项目背景

某医药健康企业在电商业务运营过程中，大量订单、商品、库存、采购、物流、售后等核心经营数据沉淀于第三方 SaaS ERP 平台。

由于该系统采用 SaaS 模式部署，企业无法直接访问后台数据库，也无法按照私有化系统的方式直接获取底层数据。随着业务规模持续扩大，供应链、客服、运营等多个部门对数据时效性和完整性的要求不断提升，传统依赖人工查询、导出和整理数据的方式，逐渐成为业务效率提升和数据分析能力建设的瓶颈。

企业希望建立一套无需侵入第三方系统、能够长期稳定运行的自动化数据采集能力，将 ERP 中分散的业务数据持续同步至企业自有数据库，为后续经营分析、供应链管理和 AI 应用提供统一的数据基础。

核心挑战

该项目的难点并不只是"自动抓取数据"。

首先，客户所使用的是第三方 SaaS ERP，企业无法直接连接其后台数据库，也无法依赖传统 ETL 方式完成数据抽取，只能从业务界面层建立稳定的数据通道。

其次，业务数据分布在多个菜单和业务页面中，不同类型数据的更新逻辑并不一致。例如，商品档案、基础资料等数据更适合周期性全量覆盖；订单、退款、出入库、物流等交易数据则需要先完成一次全量初始化，再进行持续增量更新。

同时，项目覆盖商品、采购、订单、库存、物流、售后等多个业务域，涉及 23 类核心业务数据场景，需要长期稳定运行，并能够适应页面变化、异常弹窗、网络波动和数据缺失等复杂情况。

解决方案

针对第三方 SaaS 系统无法直接访问后台数据的问题，我们构建了一套基于 AI+RPA 的智能数据采集平台。

系统通过自动化机器人模拟业务人员操作，在无需侵入原有 SaaS 系统的前提下，按照预设流程进入不同业务模块，自动识别页面数据，并按照业务规则写入企业自有数据库。

整个数据链路形成：

第三方 SaaS ERP → AI 自动化采集 → 数据校验与异常处理 → 企业数据库

相比传统人工导出方式，平台能够持续稳定地执行数据采集任务，将原本依赖人工完成的数据搬运工作转化为自动化任务。

AI 原生的自动化开发方式

这个项目中，AI 并不是简单作为一个"概念标签"，而是真正参与到了自动化程序的生产和运行过程中。

我们采用 AI 辅助生成自动化采集脚本，根据业务页面结构、字段定义和操作流程，自动生成或辅助生成大量 RPA 流程代码和采集逻辑，大幅降低复杂页面自动化开发的人工成本。

对于重复度高、规则清晰的页面操作，AI 可以快速生成脚本骨架；开发人员则专注于复杂业务规则、稳定性设计和异常策略。

这使项目从传统"人工逐页编写自动化脚本"，升级为：

AI 生成 + 工程师校验 + 自动化执行 + 持续优化

AI 同样被用于异常识别和异常处理。在实际运行过程中，自动化任务可能遇到页面加载失败、弹窗干扰、字段变化、数据为空、网络异常等情况。系统通过预设异常策略与 AI 辅助判断机制，对不同异常进行识别、分类和处理，提升自动化任务的健壮性和持续运行能力。

覆盖 23 类核心业务数据

项目最终实现了对商品、采购、订单、库存、物流、售后、统计分析等多个业务环节的数据采集，包括商品档案、单品、组合装、平台商品、采购单、采购预警、订单明细、退款信息、销售出库、物流追踪、入库、出库、调拨、库存详情、售后退款、订单日志、发货明细、客户排行等核心业务数据。

针对不同数据类型，平台设计了两套主要同步机制：

• 全量采集模式：适用于基础资料和变化频率较低的数据，通过周期性全量刷新保证数据一致性。
• 首次全量 + 持续增量模式：适用于订单、库存、物流、售后等流水类数据，在完成历史数据初始化后，只同步新增或变化数据。

这种策略既保证了数据完整性，又兼顾了采集效率和系统稳定性。

从流程自动化，走向数据智能

项目并没有停留在"替代人工操作"这一层。采集到的数据最终进入企业自有数据库，使企业真正拥有可持续积累、可进一步分析和复用的数据资产。

因此，这套平台实际上承担了企业数据基础设施的角色：

AI+RPA 负责连接第三方系统，数据库负责沉淀数据，BI 与 AI 应用负责释放数据价值。

在此基础上，企业未来可以进一步建设经营驾驶舱、供应链分析、利润分析、库存预测、智能补货和 AI Agent 等应用。

项目价值

• 无需改造原系统，也能获取核心业务数据：通过界面级自动化方式解决 SaaS 系统后台不可访问的问题。
• 覆盖 23 类核心业务数据场景：打通商品、采购、订单、库存、物流、售后等关键数据链路。
• 全量与增量双模式协同：根据不同数据特征设计差异化更新机制。
• AI 参与自动化脚本生产：提升复杂 RPA 项目的开发效率和迭代速度。
• AI 辅助异常识别与处理：增强自动化流程面对异常环境时的稳定性。
• 为后续 AI 应用构建数据底座：让原本封闭在 SaaS 平台中的数据成为企业自己的可用资产。