بهترین اقدامات در خصوص افزایش بهره وری اسپلانک

در این مقاله به Best Practice های توصیه شده توسط شرکت اسپلانک در خصوص افزایش بهره وری سامانه در هر سه لایه معماری توزیع شده خواهیم پرداخت:

لایه جستجو (Search Layer)

توصیه های این لایه به منظور افزایش کارایی معماری اسپلانک شامل موارد زیر میباشد:

• از لحاط معماری شبکه ای لایه search باید حتی الامکان به لایه Indexing مان نزدیک باشد، زیرا هرگونه تاخیر مبتنی بر network تاثیر مستقیم بر روی سرعت جستجوها خواهد داشت.
• عدم استفاده از search head های مجزا (غیر کلاستر)، زیرا این Search head های مستقل artifact های ایجاد شده توسط کاربران را با همدیگر share نمی کنند. و همچنین قابلیت مقیاس پذیری ندارند.
• در صورت تمایل به مقیاس پذیری در این لایه راه اندازی Search head cluster توصیه می گردد، زیرا در سطح کلاستر artifact ها با یکدیکر replicate شده و امکان توزیع جستجوهای زمانبندی شده بین تمام اعضا فراهم شده و همچنین منجر به برقراری قابلیت high availability خواهد گردید.
• ارسال لاگ های internal لایه جستجو به لایه Index، زیرا تمام داده های index شده باید در لایه index ذخیره شوند، این عمل علاوه بر تسهیل مدیریت ، نیاز به استفاده از storage های سریع در لایه جستجو را نیزبرطرف میسازد.
• از آنجاییکه هر Search بصورت پیش فرض، جهت اجرا نیازبه یک Core CPU دارد، بمنظور اجرای چندین search همزمان تعداد Core های CPU ماشین های Search head مان را به میزان کافی در نظر بگیریم.

لازم به ذکر میباشد اگر search ی در زمان اجرا CPU  در اختیار نداشته باشد، Search  مذکور به حالت queue رفته و منجر به تاخیر در نمایش خروجی میگردد.

• جهت مدیریت یکپارچه و متمرکز کاربران و همچنین بالابردن امنیت استفاده از LDAP بمنظور authentication کاربران توصیه میگردد.
• جهت تعریف جستجوهای زمانبندی شده، حتی الامکان از search time windows استفاده شود. این کار باعث میشود تمام جستجوهای scheduled ( که به عنوان مثال قرار است هر ساعت یا هر نیم ساعت یکبار اجرا شوند) همزمان با هم اجرا نگردند.
• محدودیت استفاده از چندین Search head cluster، زیرا باعث ایجاد بار بر روی لایه Indexing میگردد.
• تعداد اعضای کلاستر Search head ها باید عدد فرد باشد : 5،3، …

لایه ذخیره سازی(Indexing)

1. فعالسازی قابلیت parallel pipelines جهت فعالسازی قابلیت  parallelization بر روی ایندکسرها جهت استفاده از تمامی منابع اختصاص یافته به ماشینها.
2. استفاده از منابع ذخیره سازی پرسرعت SSD برای باکت های Hot/Warm جهت تسریع سرعت جستجوها.
3. نزدیک بودن لایه Indexing به لایه search از نظر جایگذاری در سطح شبکه، حداقل Latency شبکه تاثیر مثبتی در زمان نمایش خروجی جستجوها میگذارد.
4. فعالسازی قابلیت replication بین ایندکسرها به منظور برقراری High Availability و محافظت از Indexer failure و تعیین replication factor بر اساس SLA
5. مانیتورینگ مداوم سامانه با استفاده از کنسول مانیتورینگ جهت تشخیص خودکار failure ها خصوصا در ساختارهای .Enterprise
6. تنظیم قابلیت batch mode search parallelization به منظور استفاده حداکثری از منابع سیستم و بالابردن Performance جستجوها.
7. مانیتور وضعیت توزیع داده ها بین ایندکسرها به منظور افزایش سرعت جستجوها و حصول اطمینان از رعایت سیاست های نگهداری لاگ.
8. غیر فعالسازی Web ایندکسرها در معماری های شامل Indexer Cluster ، زیرا نیازی برای دسترسی به وب ایندکسرها  وجود ندارد.
9. نصب و استفاده از Technology add-on های اسپلانک بجای اعمال تنظیمات دستی ، زیرا TA  های اسپلانک بهینه تر می باشند.
10. مانیتورینگ وضعیت استفاده منابع پردازشی ایندکسرها به منظور حصول اطمینان از استفاده بهینه از منابع تخصیص یافته.

لایه تجمیع لاگ (Collection)

1. در صورت تجمیع لاگ از تجهیزات متعدد ، تنظیم حد اقل 2 pipeline جهت Forward لاگ از forwarder به ایندکسرها
2. ایمن سازی ارتباط بین Forwarder و Indexer ها با استفاده از SSL
3. استفاده از قابلیت Load Balancing اسپلانک به منظور توزیع داده های ورودی بین ایندکسرها
4. استقرار Syslog server مجزا جهت دریافت syslog تجهیزات و سپس ارسال از سرور مذکور به سمت Forwarder، از مزایای این مورد عدم از دست دادن لاگ در صورت Restart فورواردر میباشد.