logstash docker 部署

Logstash Docker 部署

Logstash 是 Elasticsearch 项目的一部分，它能够处理和解析大量数据，并将其存储到 Elasticsearch 中。5 Logstash 可以从多种来源收集数据，如文件、HTTP 请求、Syslog、数据库等，并且可以对收集到的数据进行转换、过滤和聚合，以便在 Elasticsearch 中进行搜索和分析。5 Docker 是一种容器化技术，它可以将应用程序和其所有依赖项打包成一个可移植的容器，以便在任何支持 Docker 的平台上运行。5

环境准备

在开始部署 Logstash 之前，需要确保已经安装了 Docker，并且 Docker 服务已经启动。如果还没有安装 Docker，可以下载对应环境的安装包进行安装。2 同时，需要确保已经安装了 JVM 运行环境，因为 Logstash 依赖 JVM 运行环境。4

下载 Logstash Docker 镜像

可以通过 Docker pull 命令从 Elastic Docker registry 下载 Logstash 的 Docker 镜像。例如，使用以下命令下载 Logstash 7.17.21 版本的镜像：

docker pull docker.elastic.co/logstash/logstash:7.17.21

8 也可以选择下载其他只包含 Apache 2.0 许可特性的 Docker 镜像。3

配置 Logstash

在部署 Logstash 时，可以通过环境变量来配置 Logstash 设置。当容器启动时，一个辅助进程会检查环境变量，并将这些变量映射到 Logstash 设置中。如果在环境变量中找到了设置，则会覆盖 logstash.yml 中的设置。7

启动 Logstash 容器

创建并启动 Logstash 容器的命令如下：

sudo docker compose -f /opt/logstash/logstash.yaml up -d

1 这将根据指定的 YAML 文件启动 Logstash 容器。

复制 Logstash 配置文件

如果需要将 Logstash 容器中的配置文件复制到宿主机上，可以使用以下命令：

sudo docker cp logstash:/usr/share/logstash /opt/logstash/data

1 然后，可以将复制出来的配置文件中的相关内容复制到宿主机的相应目录中，并删除 logstash 文件夹。

设置文件夹权限

为了确保 Logstash 能够正常运行，需要给相关的文件夹设置读写权限：

sudo chmod 777 -R /opt/logstash/data
sudo chmod 777 -R /opt/logstash/messages

1

配置文件示例

logstash.conf 是一个重要的配置文件，它定义了日志的输入、输出和解析过程。以下是一个简单的配置文件示例：

input {
  file {
    path => "/path/to/log/file.log"
    start_position => "beginning"
  }
}

filter {
  # 这里可以添加数据转换和过滤的配置
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "index-name"
  }
}

2

总结

通过上述步骤，可以在 Docker 中部署 Logstash。首先，确保环境满足要求，然后下载 Logstash 的 Docker 镜像，接着配置 Logstash，最后启动容器并设置文件夹权限。在配置文件中，可以定义数据的输入、过滤和输出过程，以便将数据存储到 Elasticsearch 中进行搜索和分析。5