ارسال لاگ (Log Forwarder)، لاگ درخواست‌های دامنه پشت CDN را به مقصدی مانند Kafka، RabbitMQ، WebSocket، Elastic یا Loki می‌فرستد. با این قابلیت، نگهداری و تحلیل لاگ‌ها در زیرساخت خودمان انجام می‌شود. برای مشاهده درخواست‌های جاری در پنل، از لاگ لحظه‌ای استفاده می‌کنیم.

ستون برای ارسال لاگ از Vector استفاده می‌کند. در Vector، هر مقصد ارسال sink نام دارد. مستندات Vector Sinks رفتار مقصدهای مختلف را توضیح می‌دهد؛ همه گزینه‌های Vector در ستون قابل تنظیم نیستند و گزینه‌های در دسترس در پنل و مرجع ارسال لاگ (Log Forwarder) مشخص شده‌اند.

کدام لاگ‌ها ارسال می‌شوند؟

هر ارسال لاگ به یک CDN متصل است. فیلترها مشخص می‌کنند کدام درخواست‌ها ارسال شوند؛ مثلا فقط درخواست‌هایی با وضعیت پاسخ مشخص. انتخاب هدرها، اطلاعات داخل هر پیام را تعیین می‌کند. می‌توان برای یک CDN چند ارسال لاگ با مقصدهای مستقل تعریف کرد.

اگر محدودیت نرخ فعال باشد، پیام‌های بیشتر از آن محدودیت ارسال نمی‌شوند و برای بازه بعد نیز نگهداری نمی‌شوند.

هنگام اختلال مقصد چه اتفاقی می‌افتد؟

برای هر مقصد، یک بافر دیسکی با ظرفیت حدود ۲۵۶ مگابایت در نظر گرفته می‌شود. اگر مقصد موقتا در دسترس نباشد یا ارسال با خطای موقت اتصال روبه‌رو شود، پیام‌های در بافر با تلاش مجدد ارسال می‌شوند. بافر محدود است؛ اگر پر شود، پیام‌های جدید حذف می‌شوند.

بنابراین دریافت یک پیام آزمایشی، تحویل همه لاگ‌ها را تضمین نمی‌کند. برای بررسی ارسال، دریافت پیام در مقصد و نمودارهای مانیتورینگ را کنار هم بررسی می‌کنیم.

آیا ممکن است یک لاگ چند بار برسد؟

بله؛ ممکن است در مسیر تلاش مجدد، یک پیام بیش از یک بار به مقصد برسد. Vector برای مقصد AMQP رفتار ارسال را at-least-once توصیف می‌کند. این رفتار به معنی نبودن پیام تکراری یا تضمین تحویل همه درخواست‌های CDN نیست؛ فیلتر، محدودیت نرخ و پر شدن بافر می‌توانند باعث حذف پیام شوند.

اگر پردازش هر لاگ باید فقط یک بار انجام شود، در مقصد از فیلد request_id برای تشخیص پیام‌های تکراری استفاده می‌کنیم. معنی فیلدها را در مرجع فیلدهای لاگ درخواست مطالعه می‌کنیم.

اتصال به RabbitMQ

ستون پیام‌ها را به exchange مشخص‌شده ارسال می‌کند. نوع exchange مانند direct، topic یا fanout و اتصال آن به queue در RabbitMQ خودمان تنظیم می‌شود؛ سمت ستون نام exchange را مشخص می‌کنیم.

در حال حاضر، Routing key از طریق API ستون قابل تنظیم نیست. Publisher Confirm و تنظیم persistent بودن پیام‌ها نیز پشتیبانی نمی‌شوند؛ ارسال پیام به معنی تایید نگهداری آن در queue نیست.

برای دسترسی شبکه، رنج 87.247.173.176/29 را برای اتصال ارسال لاگ به RabbitMQ در allowlist مقصد در نظر می‌گیریم. فهرست IPهای CDN ستون از فهرست IPها با قالب YAML در دسترس است.

پایش ارسال لاگ

نمودارهای ارسال لاگ در داشبورد CDN در مانیتورینگ یکپارچه ستون در دسترس‌اند. تعداد پیام‌های ارسال‌شده، تلاش‌های مجدد، پیام‌های حذف‌شده و خطاهای ارسال را برای بررسی وضعیت مقصد دنبال می‌کنیم.

برای ارزیابی حجم و پایداری در یک بازه آزمایشی ۲۴ تا ۴۸ ساعته، این نمودارها را همراه با نرخ دریافت و اندازه پیام‌ها در مقصد بررسی می‌کنیم. این اطلاعات به برآورد حجم روزانه و ظرفیت موردنیاز گیرنده کمک می‌کنند.

ادامه مسیر