请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务

"\u003Cdiv\u003E\u003Ch1\u003E\u003Cstrong\u003E背景\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cp\u003E随着时序数据的飞速增长,时序数据库不仅需要解决系统的稳定性和性能问题,还需实现数据从采集到分析的链路打通,才能让时序数据真正产生价值。在时序数据采集领域,一直缺少自动化的采集工具。虽然用户可以使用一些开源的采集工具实现数据采集,例如,Telegraf、Logstash和TCollector等,但是,这些采集工具都需要用户自行搭建并维护其运行的环境,增加了用户的学习成本,大大提高了数据采集的门槛。另一方面,现有的采集工具缺乏对多个采集源的自动化管理,用户难以统一管理多个不同的采集源,实时监控各个采集工具是否正常运行并采集数据。\u003C\u002Fp\u003E\u003Cp\u003E阿里云InfluxDB®除了提供稳定可靠的时序数据库服务,还提供了非常便捷的数据采集服务。用户能够方便查看各个采集源的运行状态并管理它们,采集的数据会自动存储到阿里云InfluxDB®。用户无需担心运维的问题,实现数据从采集到分析的一站式服务。本文主要介绍如何使用InfluxDB®的数据采集服务,实现数据从采集到存储的自动化管理。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Cstrong\u003E阿里云InfluxDB®数据采集服务优势\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cul\u003E\u003Cli\u003E提供丰富的采集指标:支持MySQL、Redis、MongoDB和系统监控等数据的采集\u003C\u002Fli\u003E\u003Cli\u003E支持监控多个采集源:用户可以一目了然地监控多个采集源的状态\u003C\u002Fli\u003E\u003Cli\u003E采集源便捷管理:无需编码,用户即可方便地添加、删除和修改采集源\u003C\u002Fli\u003E\u003Cli\u003E采集数据自动存入InfluxDB®,保障采集数据不丢失\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Ch1\u003E\u003Cstrong\u003E我们能做什么?\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cp\u003E\u003Cstrong\u003E1. 轻松采集数据\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E目前,阿里云InfluxDB®支持采集有关MySQL、Redis、MongoDB和系统监控等四种不同类型的数据,针对每种类型的数据,采集多项监控指标,方便用户更全面地了解被监控对象。用户通过InfluxDB®实例的管理控制台,即可添加新采集源,一键安装,无需编写代码。\u003C\u002Fp\u003E\u003Cp\u003E采集数据的操作流程如下:\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fa4776253115843c9b72372ef0e6100e6\" img_width=\"1037\" img_height=\"79\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E创建采集配置:选择采集数据的类型、数据写入的数据库和保留策略。\u003C\u002Fli\u003E\u003Cli\u003E添加采集源:在数据源机器上一键安装InfluxDB®数据采集工具,选择采集配置,即可开始采集数据。\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E2. 实时监控采集源\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E采集源在运行过程中,您可以实时地监控数据采集的状态,查看采集数据最近一次到达InfluxDB®的时间;并且,您还可以随时停止数据的采集,在您认为合适的时候再重新开启数据采集服务。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F627dcc660a9c4c64b1691eb52849e5e6\" img_width=\"2404\" img_height=\"300\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E3. 一键切换采集数据类型\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果您想要改变被监控机器上的采集数据类型,无需重新添加新的采集源,只需选择您想要的采集配置即可,数据采集工具会自动切换成采集您指定的监控数据。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E4. 采集数据自动存入InfluxDB®\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E您可以在采集配置中选择数据流入的数据库和保留策略,数据采集工具会自动将采集数据存入指定的数据库和保留策略,并且,您可以在采集源运行的过程中修改数据写入的数据库和保留策略,只需修改采集配置即可。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Cstrong\u003E最佳实践\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cp\u003E本小节将介绍如何采集系统监控的数据,并实时展示采集结果。系统监控的数据包含处理器、磁盘、内存、网络、进程和系统等信息,收集的数据分别存储在8个不同的measurement中(measurement分别为cpu、disk、diskio、mem、net、processes、swap和system)。在开始前,请先确保已经成功创建数据库和对该数据库有读写权限的用户账号。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E1. 创建采集系统监控数据的配置\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E点击InfluxDB®管理控制台左侧导航栏的“添加采集配置”,进入到采集配置添加界面,如下图所示。填写“采集配置名称”,选择“采集数据类型”为“系统监控”,然后选择“授权账号”、“数据写入DB”和“数据库存储策略”,并填写“授权密码”。点击“添加”即可成功创建采集配置。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Ff6ed10856e7c404b9b01fc19c988555d\" img_width=\"1504\" img_height=\"886\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E2. 添加采集源\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E点击InfluxDB®管理控制台左侧导航栏的“添加采集源”,进入到采集源添加页面。\u003C\u002Fp\u003E\u003Cp\u003E(1)选择网络类型,“公网”或者“专有网络”,然后点击“下一步”,如下图所示。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Fdd45173bffc649b48a280bce1af65161\" img_width=\"1960\" img_height=\"724\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E(2)在数据源所在主机安装采集工具。将安装命令复制到主机上即可运行采集工具。采集工具运行后会与InfluxDB®建立连接,在“新采集源扫描结果列表”上可以看到新添加的采集源,如果在该列表上没有显示,可以点击“刷新”或“自动刷新”。如下图所示。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002Feb2d629b3cd3490ea9d641e04d35c250\" img_width=\"2154\" img_height=\"1356\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E(3)选择采集系统监控的数据。在上图中,点击“选择采集配置”,进入如下界面,从下拉框中选择刚刚创建的名为“collect-system”的采集配置。选择完成后,点击“保存”。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Fdb25af1b49cd42cc91f20df13f294b22\" img_width=\"1192\" img_height=\"540\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E(4)启动数据采集。勾选需要启动的采集源,然后点击“完成并启动采集”,采集工具即可在采集源上开始采集数据,如下图所示。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Ff7290ecf702041ec8586b73a716f400f\" img_width=\"2194\" img_height=\"528\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E3. 查看数据采集的状态\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E在“采集源列表”中,您可以看到所有与InfluxDB®实例建立连接的采集源,如下图所示。每个采集源由uuid唯一标识,“采集状态”为“running”表示采集工具正在采集数据并上报到InfluxDB®,“最新采集上报成功时间”表示采集数据最近一次成功发送到InfluxDB®的时间。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Ff7147096e4d74770a634dd188342155c\" img_width=\"2328\" img_height=\"312\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E4. 使用Grafana可视化采集数据\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E(1)安装Grafana。有关如何安装Grafana可查看文档。\u003C\u002Fp\u003E\u003Cp\u003E(2)添加数据源。设置“URL”为InfluxDB®实例的地址,并且填写采集数据所写入的数据库和用户账号,如下图所示。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fb5f2059935594cb5ab2e044eeaee27cd\" img_width=\"1114\" img_height=\"1432\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E(3)配置Dashboard,编写查询规则。这里示范的是查询磁盘使用率,查询语句为:\u003C\u002Fp\u003E\u003Cpre\u003ESELECT MEAN(\"used_percent\") FROM \"disk\" GROUP BY time(10s)\u003Cbr\u003E\u003C\u002Fpre\u003E\u003Cp\u003E实时查询结果如下图所示。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F93fb2d64d3ea49bb8990198fb3082999\" img_width=\"2518\" img_height=\"1240\" alt=\"一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E您可以根据实际需要,查看其它measurement和field的数据,分别在FROM和SELECT语句中指定即可。\u003C\u002Fp\u003E\u003Ch1\u003E\u003Cstrong\u003E总结\u003C\u002Fstrong\u003E\u003C\u002Fh1\u003E\u003Cp\u003E阿里云InfluxDB®提供方便快捷的数据采集服务,自动化管理数据源,帮您解决数据采集的问题,实现数据从采集到存储的自动化。未来,我们会支持更多数据类型和指标的采集,敬请期待。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E阿里云InfluxDB®️数据采集使用手册:https:\u002F\u002Fhelp.aliyun.com\u002Fdocument_detail\u002F125863.html?spm=a2c4g.11174283.6.711.5898130essOnWz\u003C\u002Fli\u003E\u003Cli\u003E阿里云InfluxDB®️文档:https:\u002F\u002Fhelp.aliyun.com\u002Fdocument_detail\u002F113093.html?spm=a2c4g.11186623.6.705.4a4046adFUBnM2\u003C\u002Fli\u003E\u003Cli\u003E阿里云InfluxDB®️公测购买链接:https:\u002F\u002Fcommon-buy.aliyun.com\u002F?commodityCode=hitsdb_influxdb_pre#\u002Fbuy\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E本文作者:德施\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E"'.slice(6, -6),      groupId: '6716687777154466318
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册