ติดตั้ง EFK Stack บน Ubuntu 18.04 LTS

วันนี้จะมาทำขั้นตอนการติดตั้ง EFK Stack บน Ubuntu 18.04 LTS Bionic ครับสิ่งที่ต้องเตรียมกันก่อนใน Lab ของผมวันนี้นะครับ เครื่องเซิฟเวอร์ 4 เครื่องดังนี้

1. สำหรับติดตั้ง Elastic Search
2. สำหรับติดตั้ง Fluentd
3. สำหรับติดตั้ง Kibana
4. สำหรับติดตั้ง Fluent-bit เพื่อทำตัวเป็น Log Forwarder

โดยขั้นตอนการติดตั้งผมจะทำเป็น Syntax Highlight อาจจะเป็นแบบยาว ๆ พิมพ์คำสั่งไปด้วยอธิบายไปด้วยนะครับ เริ่มกันเลยครับที่เครื่องเซิฟเวอร์ทุกเครื่องให้อัพเดท repository ให้เป็นรุ่นล่าสุด

ทำความรู้จักกับ Fluent Bit

ทำความรู้จักกับ Fluent Bit

Fluent Bit คือ Agent ตัวเล็ก ๆ ตัวนึงที่ทำหน้าที่สำหรับเป็นตัว Log Forwarder (ที่เรียกแบบนี้เพราะเราติดตั้งเพื่อกระทำกับ Log นะครับ จริง ๆถ้าจะเรียกให้เข้ากับความเป็น Fluent ควรเรียกว่าเป็น Data Forwarder เพราะ Fluentd เค้าเคลมตัวเองเป็น Data Collector ไม่ใช่ Log Collector ครับ )

Fluentd VS Fluent Bit

          ที่ทำหัวข้อนี้ขึ้นมาเพื่อทำให้คนที่ยังไม่รู้เผื่อเข้ามาอ่านจะได้เข้าใจว่ามันต่างกันยังไงนะครับ ซึ่งจริง ๆ แล้วมันก็คือ Software ตัวลูกของ Fluentd นั่นเองครับ คือผมเขียนจากความเข้าใจของผมนะครับดังนั้นถ้าอยากได้ความชัวร์ให้ไปอ่านเพิ่มเติมได้ที่นี่ มาเริ่มกันเลยดีกว่าตัว Fluentd นั้นทำหน้าที่หลัก ๆ อยู่ 3 อย่างคือ เป็น Log Collector, Processor และ Aggregator และตัว Fluent Bit นี้จะทำหน้าที่เหมือนกับ Fluentd ครับเพียงแต่ไม่มีความสามารถในการทำ Aggregator นั่นเองเปรียบเทียบความสามารถได้จากตารางด้านล่างครับ หรือถ้าอยากได้ข้อมูลเปรียบเทียบเพิ่มเติมคลิกที่นี่

เริ่มต้นศึกษา Fluentd

วันนี้ผมจะมาเริ่มศึกษาลงลึกทีละส่วน โดยจะเริ่มจาก Fluentd ซึ่งเป็น Free Opensource Software สำหรับทำ Data Collector นั่นเองหรือจะเรียกว่า Log Collector ก็ได้อยู่นะครับ โดยเจ้า Fluentd เนี่ยทางบริษัทผู้ผลิตเคลมว่าสามารถรองรับระบบได้มากกว่า 125 ชนิดกันเลยทีเดียว [อ้างอิง] โดย Fluentd นั้นจะเก็บรวบรวม Log ในรูปแบบของ JSON Format ทำให้ง่ายต่อการทำความเข้าใจ และมันถูกเขียนขึ้นมาจากภาษาซีเป็นหลัก แล้วใช้ Ruby ผสมผสานเข้าด้วยกันเพื่อเพิ่มความยืดหยุ่นในการทำงานนั่นเอง

ติดตั้ง Graylog 2.5 ใน Ubuntu 18.04

เนื่องด้วยมีความจำเป็นที่จะต้องศึกษาเรื่องของการทำ Centralize Log Server ด้วย EFK Stack เลยต้องมาลองเล่นทีละตัว วันนี้จะลองมาทำ Graylog โดยการติดตั้งไว้ใน Cloud ก่อนเพื่อให้เพื่อน ๆ ของผมได้ลองเล่นด้วยว่าใช้งานได้มั๊ยเป็นไงบ้าง จะบอกว่าไม่ได้คิดเองทำเองนะครับ ไปดูของต่างประเทศมาแต่มันมีหลายลิงค์เลยจะเอามารวมกันเป็นอันเดียว และเขียนด้วยภาษาไทย

EFK Stack (Elasticsearch, Fluentd, Kibana) กับความท้าทายของผม

ดีจ้า สบายกันดีมะครับ ยินดีกับตัวเองที่ลาออกจากที่เก่าแล้วมาเริ่มงานที่ใหม่ได้แล้ว เนื่องจากต้องการพัฒนาตัวเอง และที่เก่าไม่มีอะไรน่าค้นหาอีกต่อไปสำหรับผม เพราะทำมาครบลูปละ เลยต้องมาทำอะไรใหม่ ๆ บ้างซึ่งได้ย้ายงานมาทำให้กับหน่วยงานทางด้านการเงินที่นึง มาอยู่ในทีม IT-Security คิดถึงการเขียนบล็อคเลยกลับมาเขียนครับ


วันนี้ผมจะมาเขียนบทความเกี่ยวกับการทำระบบ Centralize Log Server กับ Open Source Solution ที่เป็นตัวเลือกอันนึง ที่ผ่าน ๆ มา System Admin หลาย ๆ คนอาจจะคุ้นเคยกับ ELK Stack ซึ่งประกอบไปด้วย Open Source Software ทั้งสิ้น 3 ตัวคือ