数据采集

行业现状

采集难度较大

数据多来源于机器设备数据、企业信息化数据和产业链相关数据,包含基础的数据,结构化行为数据以及其他非结构化数据,采集工具单一性导致无法控制同步应用中的多个数据采集系统,采集难度增大

采集精准度低

采集工具爬取多个网站时,爬虫脚本过多,出现重复劳动的情况;单一数据采集工具无法同时在多平台实现精准数据采集与运行,数据采集、爬取频率受到限制

扩展维护成本较高

现有数据采集产品大多只面向自家生产的传感器等设备,想要重新创建一个采集器,需要后台创建或重新在新的机器上部署软件、创建采集器;开发人员变动后维护变得很困难,成本高

采集设备兼容性差

私有协议无法实现互联互通,各类型传感器和数据采集模块间存在参数、配置、通信协议等的异构性,使得数据采集兼容性不高
解决方案
  • 灵活采集
    基于适配器模式,可根据需求,进行定制化驱动开发,一个系统即可控制同步应用中多个数据采集系统
  • 精准采集
    业界领先的自动数据采集技术Agent数据采集、网络爬虫等,可最大程度提高数据采集的绝对精度
  • 高扩展性
    使用跨平台开发框架Qt;添加自定义驱动或自定义爬虫进行扩展、创建新采集器,满足不同情况采集需求
  • 多兼容性
    分布式架构,适配器模式。编写适应的驱动即可加载到DCA进行数据采集工作,多DCA串联满足不同采集场景
方案优势

《数据采集》解决方案包括数据采集代理DCA和网络爬虫管理工具两部分,其中DCA可采集传感器、工控机、PLC、数据库、主机等数据,分布式架构进行数据采集,满足大规模、大范围数据采集的需求;网络爬虫管理工具可采集网页数据。可满足不同场景下数据采集:如环境传感器的数据采集、能耗数据采集、大数据采集与分析等,根据应用场景实现定制化扩展。

产品架构

  吉佳通达数据采集方案具有采集覆盖面广、采集方式多样、扩展性强等优点。采用TCP方式、UDP方式、串口方式、驱动方式以及爬虫方式进行数据采集;根据不同需求采集不同网页数据,包括结构化数据和非机构化数据,为大数据分析计算提供数据支持。

应用成效
该解决方案中数据采集代理DCA和网络爬虫管理工具的应用。数据采集代理DCA采用独特的适配器模式,通过加载对应的适配器驱动,可以适配任意通信协议,以达到对各式各样的数据采集功能,适应性广泛。网络爬虫管理工具可有效解决爬虫脚本的管理问题:查看爬虫脚本运行情况,是否执行完毕,以及启动爬虫脚本。可以通过添加自定义驱动或自定义爬虫来进行扩展,满足不同情况下数据采集的需求。
相关应用
为各行各业提供不同的数据特色解决方案,帮助用户在不同应用下解决不同使用大数据问题

免费报价

免费解决方案
工作时间:8:30-17:00
客服电话:17743467638
移动电话:17743467638
联系邮箱:jijiatongda@163.com
公司网址:www.jiasoftware.com