Skip to content

HamoonDBA/Stream-MySQL-data-to-ElasticSearch-with-Kafka

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

این Repository مربوط به آموزش منتشر شده در وب سایت alihossein.ir می باشد.

موارد موجود در این Repository

  1. تنظیمات ماشین های مورد استفاده در Vagrant
  2. فایل SQL مربوط به Schema مورد استفاده در MySQL
  3. پروژه ی تولید داده های فیک با استفاده از Laravel 5.1
  4. اسلاید ها و مستندات راهنمای راه اندازی ابزار ها

توضیحات آموزش

ابزار ElasticSearch به عنوان یکی از محبوب ترین ابزارهای جستجو در محتوا، این روزها محبوبیت بالایی بین برنامه نویسان پیدا کرده است.

راه اندازی سریع، سرعت بسیار بالا در جستجو، داشبورد محبوب Kibana از عوامل محبوبیت این ابزار می باشد.

از طرفی دیگر MySQL به عنوان مجبوب ترین دیتابیس رابطه ای Open Source در بازار نقش بسیار پررنگی در سرویس های OLTP ایفا می کند.

اما اگر بخواهیم کانال ارتباطی بین این دو ابزار داشته باشیم چه روشی مناسب است؟

Kafka به عنوان محبوب ترین ابزار Publish/Subscribe در بازار می تواند کمک فراوانی در ارتباط بین این دو ابزار داشته باشد.

در این ویدیو آموزشی نگاهی خواهیم داشت به ویژگی های هر سه ابزار MySQL, Apache Kafka, ElasticSearch. در ادامه با تعریف CDC و علت نیاز آن صحبت خواهیم کرد. سپس به معرفی انواع ابزار های CDC در MySQL و نحوه ی کارکرد هرکدام می پردازیم. بعد از انتخاب یکی از ابزار های CDC شروع به تنظیمات هر کدام از ابزار ها . اتصال آنها می کنیم. با استفاده از ویژگی Scheduler فریم ورک Laravel کدهایی جهت تولید داده در دیتابیس های مورد نظر جهت انتقال به دیتابیس و Stream آن به Elastic طراحی و اجرا می کنیم و در انتها خروجی کار را که در قالب یک پروژه تعریف شده است با هم مرور می کنیم.