[Recovery Report]Regarding Operation Delay/【復旧報告】動作遅延に関して

Incident Report for TableCheck

Postmortem

Problem Description
Vendors were unable to use TableCheck Public API intermittently between Friday, March 18 between 06:39 and 10:29 JST.

Symptoms

On Friday, March 18 between 06:39 and 10:29 JST over 60% of requests to the TableCheck Public API began returning 5XX gateway and timeout errors.
On Friday, March 18 between 06:39 and 10:29 JST over 60% of requests to TableCheck Diner applications began returning 5XX gateway and timeout errors.

Cause

Due to a new system change, we identified a bug in a 3rd party component which caused a caching database to become overloaded and return failure results to requests.

Mitigation

We have patched the bug and added additional alerting to prevent this issue from occurring in future.

We sincerely apologize for the inconvenience caused.
TableCheck Support

********************************

【障害内容】
TableCheckサービス全てに於いて断続的に使用できない状態
※ 17日発生のログイン障害と関連性のない異なる事象

【影響範囲】
・TableCheck管理画面
・TableCheck設定画面
・TableCheck予約ページ
・TableCheck API

【影響時間】
2022年3月18日　06:39-10:29(日本時間)

【原因】
新しいシステムへの変更に伴いサードパーティコンポーネントのバグが確認され、バグの影響でリクエスト処理に失敗したとの結果を返すようになり、キャッシュデータベースが過負荷の状態となった。

【対応】
今後、同様の問題が発生しないよう不具合の修正とアラートの追加を行いました。

ご利用の皆様にはご迷惑をお掛けして誠に申し訳ございませんでした。
TableCheckサポート

Posted Mar 25, 2022 - 17:31 JST

Resolved

This incident has been resolved.
*****
当障害は復旧致しました

Posted Mar 18, 2022 - 10:48 JST

Update

Date & Time of Occurrence: 2022-03-18 09:47 JST
Date & Time of Recovery: 2022-03-18 10:30 JST

[Details]
During the above time interval, a delay was observed on the TableCheck Manager system and online booking page. Some users were unable to login to the system or unable to open the booking page.

Affected System:
・TableCheck Manager System
・TableCheck online booking page
・ TableCheck Settings System

[Cause]
investigating.

We sincerely apologize for the inconvenience caused to all users.
TableCheck Support
**************
発生日時：2022-03-18 09:47
復旧日時：2022-03-18 10:30

【内容】
上記時間内にて、TableCheck管理画面・予約ページ上での動作遅延が発生しておりました。
一部のお客様においては、ログインできない・予約ページが開けないなど現象が発生しておりました。

影響範囲：
・TableCheck管理画面
・TableCheck予約ページ
・TableCheck設定画面

【原因】
調査中

ご利用の皆様にはご迷惑をお掛けして誠に申し訳ございません。
TableCheckサポート

Posted Mar 18, 2022 - 10:47 JST

Update

Posted Mar 18, 2022 - 10:44 JST

Investigating

Date & Time of Occurrence: 2022-03-18 09:47 JST

[Details]
Currently, a delay is observed on the TableCheck Manager system and online booking page. Some users are unable to login to the system or take long time to open the booking page.

Affected System:
・TableCheck Manager System
・TableCheck online booking page
・TableCheck Settings System

[Cause]
investigating.

Please use Rescue App until the fix is done. You can reach there from the [Rescue App] button on the login page/ session error page.

We sincerely apologize for the inconvenience caused to all users.
TableCheck Support
**********************
発生日時：2022-03-18 09:47

【内容】
只今、TableCheck管理画面・予約ページ上での動作遅延が発生しております。
一部のお客様においては、ログインできない・予約ページが開けないなどの現象が発生しております。

影響範囲：
・TableCheck管理画面
・TableCheck予約ページ
・TableCheck設定画面

【原因】
調査中

修正完了まではバックアップサービスをご利用下さいませ。ログイン画面/セッションエラー画面下部の[バックアップサービス]ボタンからリンク可能です。

ご利用の皆様にはご迷惑をお掛けして誠に申し訳ございません。
TableCheckサポート

Posted Mar 18, 2022 - 10:21 JST

This incident affected: TableCheck for Diners and TableCheck for Restaurants.