(日本語は下記にございます)
Time of occurrence: 2020-11-05 17:47 JST
Recovery time: 2020-11-05 20:20 JST
[Contents]
During the above time frame, there was an event that occurred on the TableCheck Manager system that prevented the reservation notification email from the 3rd party booking website from being processed, or caused a delay in the processing of the emails.
*Other than the email scraping (import) function, all other services were working normally.
Timeline.
11/05 17:47 JST: Failure of the external system occurred. The company started to fix the system.
11/05 18:48 JST: The email scraping function is restarted, and the mails that failed to be processed are resent sequentially.
11/05 18:48 ~ 20:20: 20 minutes delay in processing some emails.
11/05 20:20: All emails are retrieved and processed.
[Cause]
Due to the failure of an external system that we use, the system failed to obtain a certificate that is automatically updated every month, and we were unable to access Amazon's mail servers.
At 18:48 JST, we repaired the configuration of the system and restarted our mail servers, which resolved most of the issue.
We were able to access Amazon again, and the emails that failed to be processed were resent one by one, and all emails were retrieved by 20:20.
[Solutions]
Completed - Added alerts for failed loading attempts from Amazon.
Future Actions:
11/9: Set certificate expiration date to 365 days (previously 30 days) for applicable services.
11/9: Added alert when new reservation notification email has not been processed for a certain amount of time (few minutes).
11/30: Removed the service in question from the email scraping system and replaced it with a static key.
We apologize for any inconvenience this may have caused you.
TableCheck Support
*******************************************************************
発生時刻:2020-11-05 17:47
復旧時刻:2020-11-05 20:20
【内容】
上記時間帯にて、グルメサイトからの予約通知メールがTableCheck管理画面内に取り込まれない事象、もしくは取り込みの遅延が発生しておりました。
*メール取り込み機能以外の弊社サービスは通常稼働しておりました。
タイムライン:
11/05 17:47:弊社にて利用している外部システムの障害が発生。該当システムの修正作業を開始。
11/05 18:48: メール取り込みの機能を再起動、これにより取り込みに失敗していたメールが順次再送される。
11/05 18:48 ~ 20:20: 一部のメールが20分ほど取り込みに遅延。
11/05 20:20: 全メールが取り込み完了。
【原因】
弊社で利用している外部システムの障害により、1ヶ月毎に自動更新される証明書の取得に失敗、Amazonのメールサーバへアクセス不可となったことが原因でした。
18:48に該当システムの構成修復及び弊社のメール取り込み用のサーバを再起動したことで、
Amazonに再アクセス出来、取り込みに失敗していたメールが順次再送され、20:20までに全メールが取り込み完了致しました。
【対応】
対応済:
・Amazonからの読み込みに失敗した際のアラートを追加。
今後の対応:
11/9:該当サービスの証明書の有効期限を365日に設定 (以前は30日)。
11/9:新規の予約通知メールが特定時間(分)以上取り込みされていない場合のアラートを追加。
11/30:メール取り込みの機能から今回問題となった該当サービスの使用を排除し、静的鍵に切替を行う。
ご利用の皆様へご迷惑をご不便をおかけし誠に申し訳ございませんでした。
TableCheckサポート