ที่เครื่องเซิฟเวอร์ที่เราต้องการส่ง log มาให้ Fluentd Server พิมพ์
wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -
sudo vim /etc/apt/sources.list
ให้ไปที่บรรทัดสุดท้ายแล้วทำการเพิ่ม repository ของ fluent-bit เข้าไป
deb https://packages.fluentbit.io/ubuntu/bionic bionic main
เซฟแล้วออกจากโปรแกรมแล้วดำเนินการอัพเดท repository อีกครั้ง
sudo apt -y update && sudo apt -y upgrade
sudo apt install -y td-agent-bit
จะได้ผลลัพธ์ตามนี้
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following NEW packages will be installed:
td-agent-bit
0 upgraded, 1 newly installed, 0 to remove and 34 not upgraded.
Need to get 1,865 kB of archives.
After this operation, 11.6 MB of additional disk space will be used.
Get:1 https://packages.fluentbit.io/ubuntu/bionic bionic/main amd64 td-agent-bit amd64 1.0.4 [1,865 kB]
Fetched 1,865 kB in 2s (805 kB/s)
Selecting previously unselected package td-agent-bit.
(Reading database ... 108636 files and directories currently installed.)
Preparing to unpack .../td-agent-bit_1.0.4_amd64.deb ...
Unpacking td-agent-bit (1.0.4) ...
Setting up td-agent-bit (1.0.4) ...
...
จากนั้นให้เข้าไปตั้งค่าของ fluent-bit โดยให้พิมพ์
sudo vim /etc/td-agent-bit/td-agent-bit.conf
ค้นหาบรรทัด [INPUT] แล้วแก้ค่าข้างในตามนี้
[INPUT]
Name tail
Path /var/log/apache2/access.log
Tag apache.*
Parser apache
จากนั้นให้เพิ่ม
[FILTER]
Name record_modifier
Match *
Record host_param ${HOSTNAME}
แล้วมองหาบรรทัด [OUTPUT] แล้วแก้หมายเลข IP ใหม่
[OUTPUT]
Name forward
Match *
Host 192.168.33.6
Port 5142
จากนั้นเซฟแล้วออกจากโปรแกรม
ทำการสั่งให้โปรแกรมทำงานพร้อมกับระบบโดยพิมพ์
sudo systemctl enable td-agent-bit.service
sudo systemctl start td-agent-bit.service
sudo systemctl status td-agent-bit.service
จะได้ผลลัพธ์ดังนี้
● td-agent-bit.service - TD Agent Bit
Loaded: loaded (/lib/systemd/system/td-agent-bit.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2019-02-25 16:49:08 +07; 5s ago
Main PID: 24049 (td-agent-bit)
Tasks: 2 (limit: 2319)
CGroup: /system.slice/td-agent-bit.service
└─24049 /opt/td-agent-bit/bin/td-agent-bit -c //etc/td-agent-bit/td-agent-bit.conf
...
เป็นอันเสร็จพิธีในการติดตั้งและส่ง Log มานะครับเบื้องต้นผมทำการตั้งค่าให้ Agent ทำการไปอ่าน Apache log แล้วทำการส่งมาที่ Fluentd Server แล้วตัว Fluentd Server ก็จะทำการ forward log ต่อไปให้ elasticsearch ในรูปแบบของ logstash format นะครับทีนี้เราจะมาดู log กันนะครับว่าส่งมาถึงจริงรึเปล่าให้กลับไปที่โปรแกรม web browser ที่ได้ทดลองเปิด Kibana ที่เราลงไว้ก่อนหน้านี้ครับแล้วไปที่ Management คลิก Index Patterns ดังภาพครับ
ให้คลิกที่ Create index pattern ที่ช่อง text box ให้พิมพ์ logstash* ลงไปแล้วสังเกตว่ามันจะตรงกับชื่อของ index ที่เรามีอยุ่ซึ่ง index ตรงนี้ถูกส่งมาจากเครื่อง Fluentd Server นั่นเอง แล้วคลิก Next Step
เราจากนั้นให้คลิกที่ drop down list แล้วเลือก @timestamp เพื่อให้ใช้ฟิลด์ timestamp เป็นฟิลด์หลักในการแสดงผล เสร็จแล้วคลิก Create index pattern
จากนั้นเราจะเห็นผลลัพธ์ดังภาพด้านล่างเป็นอันเสร็จขั้นตอนการสร้าง index pattern
No comments:
Post a Comment