[Incident Report]: Issue with import of OTA (3rd party website) reservations/【障害報告】グルメサイトのメール取り込み不具合
Incident Report for TableCheck
Postmortem

(日本語は下記にございます)

Time of occurrence: 2020-11-05 17:47 JST
Recovery time: 2020-11-05 20:20 JST

[Contents]
During the above time frame, there was an event that occurred on the TableCheck Manager system that prevented the reservation notification email from the 3rd party booking website from being processed, or caused a delay in the processing of the emails.
*Other than the email scraping (import) function, all other services were working normally.

Timeline.
11/05 17:47 JST: Failure of the external system occurred. The company started to fix the system.
11/05 18:48 JST: The email scraping function is restarted, and the mails that failed to be processed are resent sequentially.
11/05 18:48 ~ 20:20: 20 minutes delay in processing some emails.
11/05 20:20: All emails are retrieved and processed.

[Cause]
Due to the failure of an external system that we use, the system failed to obtain a certificate that is automatically updated every month, and we were unable to access Amazon's mail servers.
At 18:48 JST, we repaired the configuration of the system and restarted our mail servers, which resolved most of the issue.
We were able to access Amazon again, and the emails that failed to be processed were resent one by one, and all emails were retrieved by 20:20.

[Solutions]
Completed - Added alerts for failed loading attempts from Amazon.

Future Actions:
11/9: Set certificate expiration date to 365 days (previously 30 days) for applicable services.
11/9: Added alert when new reservation notification email has not been processed for a certain amount of time (few minutes).
11/30: Removed the service in question from the email scraping system and replaced it with a static key.

We apologize for any inconvenience this may have caused you.
TableCheck Support

*******************************************************************

発生時刻:2020-11-05 17:47
復旧時刻:2020-11-05 20:20

【内容】
上記時間帯にて、グルメサイトからの予約通知メールがTableCheck管理画面内に取り込まれない事象、もしくは取り込みの遅延が発生しておりました。
*メール取り込み機能以外の弊社サービスは通常稼働しておりました。

タイムライン:
11/05 17:47:弊社にて利用している外部システムの障害が発生。該当システムの修正作業を開始。
11/05 18:48: メール取り込みの機能を再起動、これにより取り込みに失敗していたメールが順次再送される。
11/05 18:48 ~ 20:20: 一部のメールが20分ほど取り込みに遅延。
11/05 20:20: 全メールが取り込み完了。

【原因】
弊社で利用している外部システムの障害により、1ヶ月毎に自動更新される証明書の取得に失敗、Amazonのメールサーバへアクセス不可となったことが原因でした。
18:48に該当システムの構成修復及び弊社のメール取り込み用のサーバを再起動したことで、
Amazonに再アクセス出来、取り込みに失敗していたメールが順次再送され、20:20までに全メールが取り込み完了致しました。

【対応】
対応済:
・Amazonからの読み込みに失敗した際のアラートを追加。

今後の対応:
11/9:該当サービスの証明書の有効期限を365日に設定 (以前は30日)。
11/9:新規の予約通知メールが特定時間(分)以上取り込みされていない場合のアラートを追加。
11/30:メール取り込みの機能から今回問題となった該当サービスの使用を排除し、静的鍵に切替を行う。

ご利用の皆様へご迷惑をご不便をおかけし誠に申し訳ございませんでした。
TableCheckサポート

Posted Nov 11, 2020 - 12:20 JST

Resolved
Date of Resolution: 2020-11-05 18:55 JST

We have resent the emails that had failed to be imported.
****************************************
復旧時間:2020-11-05 18:55

取り込みに失敗したメールの再送を行いました。
Posted Nov 05, 2020 - 19:10 JST
Investigating
Date & Time of Occurrence: 2020-11-05 18:20 JST

Contents:
It has been reported that the some reservations from 3rd party websites are not being forwarded to TableCheck Manager.
We are currently in the process of investigating the issue & rectifying it, however please check if you see notifications on the Online tab on TableCheck Manager i.e. on the Operation System.

We sincerely apologize for the inconvenience caused.
TableCheck Support
***********************************************
発生時刻:2020-11-05 18:20

一部のグルメサイトメールがTableCheck管理画面へ転送されないケースが報告されています。
弊社にて調査・修正を進めておりますが、店舗様で受信されているご予約通知とTableCheck管理画面のオンライン通知をご確認いただきます様、お願い致します。

ご迷惑とご不便おかけし大変申し訳ございません。
TableCheckサポート
Posted Nov 05, 2020 - 18:45 JST
This incident affected: TableCheck for Restaurants - Services (TableCheck OTA Mail Services).