メニュー翻訳アプリの中身：撮影・翻訳・オーバーレイ

メニュー翻訳アプリは、外国語のメニューをスマホで撮影し、印刷された文字を読み取って翻訳し、その結果を画面上の元の文字に重ねて表示するツールです。「pulpo a la gallega」にカメラを向ければ、数秒で「ガリシア風タコ」と表示されます。

この翻訳は正しいです。それでも、茹でたタコをスライスしてじゃがいもの上に並べ、パプリカと海塩を振った料理が出てくる、ということまでは教えてくれません。訳された料理名と料理の説明とのあいだのズレこそ、メニューでの勘違いの大半が起きる場所です。

要点

• カメラ翻訳はどれも3つのステップ（文字認識、翻訳、表示）を順に実行しており、結果が文字化けしているときは、たいてい2番目ではなく1番目のステップでつまずいています。
• 汎用の翻訳アプリは単語を変換するだけで、食材の内訳まで示そうとするのは料理特化型のアプリだけです。そしてどちらも、アレルゲンの保証にはなりません。
• 黒板、筆記体のフォント、縦書きの日本語、キャンドルの灯るテーブルの4つが、意味不明な結果を生みやすい条件です。
• レストランのWi-Fiやローミング通信は当てにならないので、出発前にオフライン用の言語パックをダウンロードし、自宅でメニューを試しにスキャンしておきましょう。

メニュー翻訳アプリとは？ひとことで言うと

メニュー翻訳アプリとは、Google翻訳のような汎用アプリ、または料理特化型のアプリで、スマホのカメラを使って見慣れない言語のメニューを自分の言語の読める文章に変えるソフトウェアです。汎用ツールは単語を訳すだけです。料理特化型のアプリは、そこに料理の説明や写真、食事制限のマークを加えます。

この2種類は、解決する問題が違います。

種類	得られるもの	足りないもの
汎用翻訳アプリ（Google翻訳、Naver Papago）	直訳、ライブカメラのオーバーレイ、オフラインパック	実際にどんな料理なのか、アレルゲン
料理特化型のメニューアプリ	料理の説明、食材の推測、場合によっては写真や食事制限フィルター	通信が必要なことが多い。食材リストはあくまで推定
レストラン独自の翻訳メニュー（QRコード）	厨房が確認した翻訳	オーナーが費用をかけた店にしかない

Google翻訳のインスタントカメラ翻訳は100近い言語に対応し、オフラインパックもダウンロードできますが、得られるのは文字の直訳だけで、それ以上ではありません。App StoreのMenu Translator Appのような専用アプリは、文字認識にAIを組み合わせて、料理の写真や食材の内訳、アレルゲンのマークを表示します。

写真から文字をどうやって読み取るのか？

ステップ1は光学文字認識（OCR）です。アプリは画像の中から文字のかたまりを見つけて行ごとに分け、それぞれの形を文字に照合します。均一な明るさで、標準的なフォントで横書きされたきれいな印刷なら、ほぼ完璧に読み取れます。その後のすべての処理は、このステップにかかっています。

先ほどの例で考えてみましょう。OCRは「pulpo a la gallega」を1行として認識し、右側の価格「14,50」と切り分け、下にある説明文とくっつけないようにする必要があります。汚れのせいで「pulpo a la ga11ega」と読んでしまうと、翻訳エンジンは見たこともない単語を受け取り、訳さずにそのまま通すか、当て推量をします。

私たちはこの問題に、逆の立場からずっと向き合ってきました。Split The BillはAIによるOCRでレシートの写真を読み取っていますが、同じ法則はメニューにも当てはまります。精度を決めるのはアプリよりも、光、角度、フォントです。平らなメニューを真正面から撮った写真は、テーブルの向こうから斜めに撮った写真に毎回勝ちます。

手早い見分け方があります。1行の中に英語と元の言語の単語が半々で表示されていたら、アプリが文字を読めなかったということです。翻訳のせいにする前に、写真を撮り直しましょう。

英語に相当する言葉がない料理名はどう訳されるのか？

ステップ2は機械翻訳で、料理名の扱いは3通りのどれかです。単語ごとの直訳（「ガリシア風タコ」）、名前をそのまま残す（「パエリア」）、あるいは自信満々の誤訳です。どれも、皿に何がのっているかは教えてくれません。

料理名は、レシピを圧縮したものです。「a la gallega」は「ガリシア風に」という意味で、スペインの人にとってはパプリカ、オリーブオイル、粗塩、そしてたいていじゃがいもを指します。翻訳アプリは言葉は正しく訳しても、意味は取り違えます。意味は辞書ではなく、料理人の伝統の中にあるからです。

見分けたい3つのパターンがあります。

• 地方スタイルを示す言葉（「alla romana」「à la provençale」「a la gallega」）：正しく訳されても、説明はされません。料理は別途調べましょう。
• 固有の料理名（「cacio e pepe」「ビビンバ」）：たいていそのまま残されるか、ばかばかしいほどの直訳になります。料理特化型アプリが役に立つのはここです。
• 料理用と料理以外の意味を持つ単語：汎用の翻訳アプリは料理以外の意味を選ぶことがあり、なぞなぞのような文になります。訳がおかしく聞こえたら、たぶん料理用語です。

東アジアのメニューでは、韓国語、日本語、簡体字・繁体字の中国語について、文字の読み取りでも意味の扱いでも、Naver Papagoのほうが汎用ツールより強いと広く評価されています。

ライブオーバーレイには何が表示され、静止画のほうが良いのはどんなときか？

ステップ3は表示です。ライブモードはフレームごとにOCRをやり直し、カメラ映像の上に訳文をリアルタイムで描き直します。写真モードは、1枚の鮮明な画像に対して1回だけ処理します。ざっと目を通すならライブモードのほうが速いです。長いメニューや文字の詰まったメニューでは、写真モードのほうが正確です。

ライブオーバーレイがちらつくのは、フレームごとに新しく推測しているからです。手がわずかに震えるだけで文字がずれ、ある行の訳が1秒ごとに変わることもあります。「デザートはどのコーナー？」程度なら問題ありません。小さな文字の説明が並ぶ2ページのメニューには向きません。

次のようなときは静止画に切り替えましょう。

1. メニューが複数の段組みになっているとき。ライブモードは段をまたいで行をごちゃ混ぜにしがちです。
2. スマホを構えているあいだに単語が変わり続けるとき。
3. 1行だけタップして読みたいとき、または検索用にコピーしたいとき。
4. 店員に何かを見せたいとき。拡大して指させる静止画のほうが、揺れる画面よりずっと伝わります。

注文の際は、MenuGuideが紹介している分割表示機能、つまり元の文字と訳文を並べる表示が、どのアプリでも身につけたい習慣です。指さすのは英語ではなく、元の言葉にしましょう。店員が読むのはメニューであって、あなたの翻訳ではありません。

翻訳アプリが苦手なメニューは？

失敗の大半は、手書きの黒板、装飾的なフォントや筆記体、縦書き、暗い照明の4つの条件で起こります。4つとも、ステップ1の文字認識を崩すため、翻訳エンジンにきれいな入力が届きません。どれも1分以内でできる対処法があります。

メニューの状態	何がうまくいかないか	対処法
手書きの黒板	OCRは主に印刷文字で学習しているため、チョークの筆跡や続け字を読み違える	真正面から近づいて1行ずつ撮る。または単語を手入力する
筆記体や装飾フォント	凝った文字が別の文字に照合される	写真モードで拡大する。印刷版やQRメニューがないか確認する
縦書き（日本のメニューに多い）	モードによっては列を上から下ではなく横に読んでしまう	写真モードで文字の範囲を選ぶ。PapagoはCJKのレイアウトに比較的強い
薄暗い照明、キャンドル、反射	ぼやけてノイズの多い画像になり、ラミネートのメニューに光が反射する	メニューを傾けて反射を消す。ラミネートのカードにはフラッシュを使わない
とても長いメニュー	ライブオーバーレイが行を飛ばし、段を混ぜる	セクションごとに分けて撮る

表では解決できない失敗がもうひとつあります。メニューの印刷も翻訳も完璧なのに、料理の正体がわからないままというケースです。それが「ガリシア風タコ」問題で、カメラの設定ではどうにもなりません。

翻訳アプリに頼ってよいのは誰で、店員に聞くべきなのはどんなときか？

メニュー翻訳アプリが向いているのは、食事制限がなく、さっと目を通して明らかに苦手なものを避け、隣の人の皿を指ささずに注文したい旅行者です。重いアレルギーやセリアック病の人、厳格な宗教上の食事規定がある人には十分ではありません。翻訳も食材の推測も間違うことがあるからです。

アプリに頼ってよいのはこんなときです。

• 間違えても、最悪の結果が「あまり好みではない料理」で済むとき。
• 10品から3品に絞り込むためにスキャンし、その3品はきちんと読むとき。
• 店が混んでいて、スタッフがあなたの話せる言語を一切話さないとき。

店員に聞くか、印刷したフレーズカードを使うべきなのはこんなときです。

• 体調を崩す可能性のある食材があるとき。アレルギーをはっきり書いた現地語のカードを持ち歩きましょう。どんな翻訳メニューよりも確実です。
• メニューの大半が黒板に書かれた日替わり料理のとき。OCRが最も苦手とするところです。
• 料理名が「ハウススタイル」や「おばあちゃんのレシピ」のような曖昧な言葉に訳されたとき。確かな情報源は厨房だけです。

便利な折衷案があります。メニューを翻訳して候補を選び、料理ごとに「はい／いいえ」で答えられる質問をひとつだけするのです。「Pulpo, ¿con patatas?（タコにじゃがいもは付きますか？）」のほうが、スマホに表示した長文よりも店員は答えやすいはずです。

出発前に準備しておくことは？

いちばん役に立つ準備は、旅程に含まれるすべての国のオフライン言語パックを、自宅のWi-Fiにつないでいるうちにダウンロードしておくことです。これがないと、ほとんどの翻訳アプリは通信が必要になり、レストランのWi-Fiや弱いローミング電波のせいで、肝心なときにカメラが止まってしまいます。

1. アプリを2つ入れる。 汎用の翻訳アプリ1つに加えて、東アジアならPapago、料理の説明が欲しいなら料理特化型アプリを入れましょう。片方が読み間違えても、もう片方は読めることがよくあります。
2. オフラインパックをダウンロードする。 行き先の言語と自分の言語の両方です。
3. 自宅でテストスキャンをする。 現地語のメニュー写真をネットで探し、画面にカメラを向けて、ライブモードと写真モードの両方を試しましょう。お腹が空いて急いでいるときより先に、ボタンの位置を覚えられます。
4. オフラインモードで動くか確認する。 機内モードにして、もう一度スキャンしてみましょう。オフライン翻訳はたいていオンラインより粗いので、どの程度か知っておくと安心です。
5. フレーズカードを保存する。 カメラロールに写真として保存しておけば、アプリも電波もなしで開けます。

よくある質問

メニュー翻訳アプリは価格を自国通貨に換算してくれますか？

いいえ。カメラ翻訳アプリは価格を数字として扱い、そのまま表示します。ユーロ払いでもそれ以外でも「14,50」と表示され、カンマが小数点の意味で使われていることもあります。通貨換算ツールを手元に用意しておきましょう。グループで費用を分けるなら、各支出を元の通貨のまま記録しておけば、食事のたびに頭の中で換算しなくても、精算時に1回換算するだけで済みます。

メニュー翻訳アプリで、アレルギーがあっても安全な料理か確認できますか？

何も確認はできません。できるのは、入っていそうな食材を示すことだけです。汎用の翻訳アプリはアレルゲンをまったく表示しませんし、料理特化型アプリも料理名から推定しているだけなので、店独自のレシピ、交差汚染、出汁やナッツオイルのような隠れた食材は見落とします。アプリは候補から外す料理を決めるのに使い、残った候補は書面のアレルギーカードを使って店員に確認しましょう。

レストランにQRコードのメニューがあったら？

まずそれをスキャンしましょう。多くのQRメニューには翻訳が組み込まれています。数十の言語に対応したメニューソフトを使うレストランは増えており、その翻訳はたいてい料理を知っている人がチェックしているので、カメラ翻訳より信頼できます。QRメニューが現地語しかない場合は、スマホで開いて、カメラではなく翻訳アプリのテキスト翻訳やページ翻訳を使いましょう。デジタルの文字なら、OCRのステップをまるごと省けます。

店員が待っているあいだにメニュー翻訳アプリを使っても大丈夫ですか？

大丈夫ですが、時間のかかる作業は店員が来る前に済ませましょう。席に着いたらスキャンして候補を絞り、店員が来たら画面に元の言語の行を表示して指さします。会話の途中でカメラを構え、オーバーレイが落ち着くのを待っていると、気まずい間が生まれます。

食後はレシートを1枚撮るだけ

メニュー翻訳アプリのおかげで注文は乗り切れます。そこへ同じ言語で書かれた伝票が届き、テーブルの誰かがカードで払って、みんなは「あとで自分の分を送るね」と約束します。その誰かは、たいていあなたです。

翻訳はあくまで推測でした。割り勘はそうであってはいけません。Split The Billはレシートの写真をOCRで読み取り、精算の計算はAIの推定ではなく、決まったルールで行います。品目ごとに割り当てるので、誰がワインを頼んだかで揉めることもありません。友人には各自の負担額がはっきりわかるWebリンクが届き、そこから銀行振込を始められます。アプリのインストールも会員登録も不要です。旅行全体を記録しているなら、誰が誰にいくら払うか計算ツールで、その裏にある「支払額−負担額」の考え方を解説しています。グループがすでにアプリを使っているなら、TricountとSplitwiseの比較で、それぞれどこが手間になるかをまとめています。

次にやること：今夜のうちにオフライン言語パックをダウンロードしましょう。そして海外での最初のディナーでは、誰かが席を立つ前にレシートを撮影しましょう。