数据采集

Data acquisition
  • 自主知识产权，独立组件
  • 支持众多行业应用中的数据采集场景
  • 支持多种数据源类型和多种数据格式，支持不同的数据采集模型和规则
  • 提供数据实时对接接口和数据文件导出方式
  • 可定制计划时间和周期，全程托管
  • 图形化模型配置界面，可定制条件公式
  • 可以与大数据平台对接，实现数据分析功能
  • 具备分布式集群化部署采集能力和存储能力

功能特点

Features
  • 1

    采集源配置

    支持包括数据库、数据接口、web地址等数据源，以及各种不同数据格式，通过图形化界面进行配置。

  • 2

    采集任务管理

    对采集任务的启停操作，管理采集任务的调度、采集数据的监控、数据存储等。

  • 3

    采集模型设计

    提供多节点分布式集群采集和集群存储，全托管式数据采集，通过接口实现实时或延时结构化数据获取。

  • 4

    云采集云存储

    提供多节点分布式集群采集和集群存储，全托管式数据采集，通过接口实现实时或延时结构化数据获取。

  • 5

    物联网接入

    支持物联网硬件设备的直连、网关连接、接口连接。

  • 6

    计划任务

    可设置任务执行的计划时间和周期，可查看、管理运行情况和运行结果。

采集方式

Data Collection Mode

  • 接口采集

    针对规范的程序数据接口、数据库、物联网设备网关进行数据自动采集

  • Web结构化采集

    定向采集，主要针对web网站页面中的数据进行采集和数据预处理

  • 爬虫

    非定向或半定向采集，主要针对网络上公开内容的爬取、清洗、整理归纳等