elastic stack چیست؟ فقط یک موتور جستجو یا بیشتر؟

elastic stack چیست؟ فقط یک موتور جستجو یا بیشتر؟

elastic stack چیست؟ فقط یک موتور جستجو یا بیشتر؟

در این مقاله قصد دارم تکنولوژیهای مختلف الاستیک(Elastic) را برای شما معرفی کنم.

الاستیک یک شرکت فناوری اطلاعات است که محصولاتی در رابطه با جمع آوری،ذخیره سازی و آنالیز داده ها در اختیار کاربران قرار میدهد.

محصولات

مجموعه محصولات الاستیک به شرح زییر میباشد:

  • ElasticSearch
  • LogStash
  • Kibana
  • Beats
    • FileBeat
    • Metricbeat
    • Packetbeat
    • Winlogbeat
    • Auditbeat
    • Heartbeat
  • X-Pack
    • Security
    • Alerting
    • Monitoring
    • Machine Learning
    • Graph
    • Reporting
    • SQL
  • Elastic Cloud Enterprise

که در ادامه به شرح عملیاتهای این محصولات و راه حلهای مختلف فناوری اطلاعات میپردازیم که این محصولات آنها را پشتیبانی میکنند.

 

 

ElasticSearch

elasticsearch

توضیحات

این محصول ،هسته ی مرکزی تکنولوژی های Elastic  است که به عنوان موتور جستجو و آنالیز دیتا به صورت توزیع شده میباشد.

این محصول دیتاهای موجود را در دیتابیس خود ذخیره میکند و به وسیله ی موتور ایندکس خود که بر پایه ی پروژه Apache Lucene آنها را ایندکس میکند.

 

 

ویژگی ها

موتور جستجو ElasticSearch دارای ویژگی های زیر است:

  • کوئریهای بسیار گسترده و ساده
  • آنالیز قوی بر روی داده ها
  • سرعت بسیار بسیار زیاد
  • گسترش پذیری ساده
  • مقاومت در برابر خرابی
  • انعطاف پذیری

 

 

 

LogStash

توضیحات

این محصول وظیفه جمع آوری و Transform داده ها قبل از ورود به ElasticSearch را دارد.به این معنی که در اصل logstash یک محصول جهت جمع آوری داده ها به طرق مختلف ،تغییر دادن اطلاعات و داده ها برای ذخیره سازی و آنالیز بهتر و در آخر انتقال این داده ها به دیتابیس elasticsearch میباشد.

 

 

ویژگی ها

LogStash دارای ویژگی های زیر است:

  • ورودیهای مختلف
    • از محصول Beats
    • cloudwatch
    • couchdb_changes
    • dead_letter_queue
    • elasticsearch
    • exec
    • file
    • ganglia
    • gelf
    • generator
    • github
    • heartbeat
    • http
    • imap
    • irc
    • jdbc
    • kafka
    • kinesis
    • log4j
    • rabbitmq
    • redis
    • relp
    • rss
    • s3
    • salesforce
    • snmptrap
    • sqlite
    • sqs
    • stdin
    • stomp
    • syslog
    • tcp
    • twitter
    • udp
    • unix
    • varnishlog
    • websocket

و …

 

  • تبدیل و تغییر دیتا
    • Aggregate
    • Filter
    • CSV
    • Date
    • Drop
    • JSON

و …

  • خروجی داده ها
  • PLUG & PLAY
  • توسعه پذیری
  • امنیت و پایداری
  • مانیتورینگ
  • مدیریت

 

 

Kibana

توضیحات

این محصول وظیفه نمایش داده های موجود در elasticsearch را دارد.

در اصل این محصول با توانایی های مختلف بر روی سرور الاستیک سرچ سوار میشود و قابلیتهای مختلفی را برای کاربران فراهم میکند.

برای نمایش دمو میتوانید به این آدرس مراجعه کنید.

 

 

ویژگی ها

این محصول تمام ویژگی های مختلف الاستیک را برای کاربران به صورت گرافیکی نمایش میدهد.در زیر بعضی از ویژگی های Kibana لیست شده است:

  • مدیریت Elastic Stack به صورت گرافیکی
  • زیبایی در کمال قدرت (ابزارهای توسعه)
  • نمایش داده ها با انواع چارتها و نمایش های مختلف به صورتهای تکی و داشبوردی
  • اجتماع با بقیه ی محصولات از جمله X-Pack ، Logstash و …

Beats

این محصول به منظور جمع آوری داده های منحصر به فرد از ورودی های مختلف و ارسال آن به logstash و یا خود الاستیک سرچ میباشد.

این محصول خود شامل چندین زیر محصول میباشد که هر کدام به منظور خاصی استفاده میگردد.

 

 

FileBeat

برای جمع آوری اطلاعات از فایلهای لاگ و ارسال آن به مقصد می باشد.

Metricbeat

برای جمع آوری اطلاعات از سرویسهای مختلف،منابع متفاوت و … و ارسال آن به مقصد می باشد.

 

 

Packetbeat

برای جمع آوری اطلاعات از بسته های رد و بدل شده در شبکه و ارسال آن به مقصد می باشد.

Winlogbeat

برای جمع آوری اطلاعات از سرویسهای ویندوزی و ارسال آن به مقصد استفاده میگردد.

 

 

Auditbeat

برای جمع آوری داده از فری ورک  audit لینوکس و ارسال آن به مقصد استفاده میشود.

Heartbeat

برای جمع آوری اطلاعات Uptime بودن سرویسهای مختلف و ارسال آن به مقصد استفاده میشود.

 

 

X-Pack

این محصول مجموعه ای از تکنولژی های مختلف میباشد که به محصولات دیگر توانایی های فراتری میدهد.

این محصول از نسخه ۶.۳ به بعد به صورت default در محصولات مختلف وجود دارد و قسمتی از تکنولوژیهای آن بصورت رایگان در اختیار کاربران قرار میگیرد.

 

 

ویژگی ها

این محصول دارای ویژگی های مختلفی از جمله موارد زیر است:

  • Security
    • لاگین ، RBAC ، ارتباط بر روی پروتکل امن(SSL) ، بررسی login ها
  • Alerting
    • مانیتور تغییرات در داده ها ، ارسال پیام آگاه سازی به روشهای مختلف (sms,email,slack) ، ترکیب با یادگیری ماشینی
  • Monitoring
    • مانیتور کامل کلاستر، نودها ، کیبانا ، لاگ استش ، ایندکسها
  • Machine Learning
    • توانایی های یادگیری ماشینی و شناسایی ناهنجاری ها و پیش بینی
  • Graph
    • نمایش داده ها به صورت گراف
  • Reporting
    • خروجی از داده ها به صورت CSV و PDF
  • SQL (NEW)
    • استفاده از زبان SQL برای کوئری در داده ها

Solutions

Logging (ELK Stack)

این راه حل برای جمع آوری داده های مختلف لاگ به صورت متن باز و با تمام قابلیتهای یک سیستم مدیریت لاگ مرکزی است که شامل سه محصول اصلی ElasticSearch,Logstash,Kibana میباشد و قابلیت افزایش توانایی ها با اضافه کردن محصول X-Pack و Beats هم هست.

 

APM

این solution برای مانیتور کردن اپلیکیشنهای مختلف و ارسال اطلاعات مربوط به آن اپلیکیشن به سرور الاستیک و نمایش آن در داشبورد کیبانا میباشد.

Metrics

ذخیره سازی و نمایش اطلاعات metric برای سرورهای مختلف راه حل دیگری برای مانیتور سرورهای مختلف میباشد.

Site Search

Security Analytics

App Search

Business Analytics

 

 

 

۱۳۹۷/۴/۲۱ ۱۶:۲۳:۵۰