Google、pixel6だけの独自機能「自動字幕起こし」に感動

2022.5.27

先日Google、pixel6のリアルタイム翻訳が本当に便利！！ということを書いたのだけれど、実は持っているAndroid端末やiPhone13でも、まったく同じことができることを発見。

なおオフラインでのリアルタイム翻訳ができるのはpixel6だけ。ちなみに今オフラインで翻訳できるのは、フランス語、スペイン語、イタリア語、ドイツ語など主要言語。オフラインで音声まで出るのは英語だけ。

ただ、よく考えると今の時代、オフラインになることはほぼない。海外に行く時だって、必ずその国のシムを買うしエベレストの5000mのベースキャンプだって携帯が通じる時代だ。となると、このオフラインのリアルタイム翻訳機能、いったい使うのか？

またもう一つのGoogle、pixel6の機能「消しゴム機能」。この「消しゴム機能」も今だと普通にアンドロイドでも使える。pixelの専用機能は、Android端末にも反映されていくので、いずれすべて使えるようになっていく。なので、じつはGoogle、pixel6のみの良さというのがじつはあまりない？？と思い始めた矢先、あった！Google、pixel6だけの独自機能。

「自動字幕起こし」これは端末の中のものをすべてを自動で字幕起こしするというもの。

端末内のすべての音声を自動で字幕起こししてくれる。

英語の動画、日本の動画、会話、オーディオブック、すべてリアルタイムで文字起こししてくれる。

YouTubeはグーグルのサービスだから使えるのは当然だとして、すごいのがアマゾンの朗読サービスオーディブルとオーディオブックなど、グーグル以外のサービスの音声もすべて自動文字起こし、さらには翻訳までしてくれること。さらには、ラインやメッセンジャーの通話も自動で文字起こし翻訳までしてくれる。

文字起こしは英語の音声を英語の音声のまま。もしくは英語の音声を日本語に翻訳して。さらには日本語の音声を英語に翻訳して。

この何がすごいって、オーディオブックの全部の書籍を、英語で同時翻訳しながら聞けるのだ。つまり英語の勉強にはもってこい。

最近、英語の勉強で、日本の書籍を英語に訳すというのをやっていたのだけれど、これが瞬時にできる。ただ画面を見ているだけで訳してくれる。逆にもちろん、英語音声のオーディオブックもリアルタイムで日本語に訳してくれる。

なおこのサービスに現時点で対応しているのは、フランス語、スペイン語、イタリア語、ドイツ語、日本語。

ちなみに精度はというと、英語のオーディオブックを英語でする文字起こしはほぼ完璧。英語のオーディオブックを日本語に訳しながら聞くと正直今のところ精度はいまいち。

自分はよく自動翻訳を使うけれど、現在の自動翻訳では、相手にとって失礼な文章でメッセージを送っていることが多々ある。自分は英語の力がないので、わからないけれど、もしかすると今の日本語から英語の翻訳も、英語から日本語への翻訳と同じぐらい、いまいちな精度なのかもしれない。

とはいえ、グーグル翻訳も2016年から2022年圧倒的に上がったから、この「自動字幕起こし」の機能も5年ほど経てば爆発的にあがっているはず。とにかく多くの英語に触れる機会が手軽にできてきたというのは本当にすばらしい。本当にすごい時代になったものだ。

ーーーー

Google, pixel6’s unique feature “automatic subtitle transcription” is amazing!

The other day I wrote about Google pixel6 real-time translation is really useful! I wrote about it, but I discovered that I can actually do the exact same thing with my Android device and iPhone 13.

Only pixel6 can translate offline in real time. For your information, the major languages that can be translated offline now are French, Spanish, Italian, German, etc. Only English can be translated offline and the translated text is read aloud.

however, in this day and age, you almost never go offline. Whenever I go abroad, I always buy a sim of the country I’m going to, and even in base camp at 5000m on Everest, I can use my cell phone. So, what on earth is the use of this offline real-time translation function?

Another Google, pixel6 feature, the “eraser function”. This “eraser function” is also available on Android phones now. pixel’s exclusive functions will be reflected on Android devices, so eventually all of them will be available. So, just when I was beginning to think that there are not many advantages of Google pixel 6.

But there it is: Google’s pixel6-only unique feature, “auto-transcribing”, which automatically transcribes everything in the device.

Automatically transcribes all audio in a mobile device.

English videos, Japanese videos, conversations, audiobooks, all transcribed in real time.

The amazing thing is that it can also automatically transcribe and even translate audio from non-Google services, such as Amazon’s audible reading service and audiobooks. In addition, Line and Messenger calls are also automatically transcribed and translated.

Transcription is English audio as English audio. Or translate the English audio into Japanese. Or even Japanese audio translated into English.

What’s great about this is that you can listen to the entire audiobook in English with simultaneous translation. In other words, it’s great for studying English.

I was recently trying to translate a Japanese book into English as part of my English studies, and this can be done instantly. Just by looking at the screen, it translates. Conversely, of course, it also translates English audio audiobooks into Japanese in real time.

This service is currently available in French, Spanish, Italian, German, and Japanese.

Accuracy-wise, transcription of English audiobooks in English is almost perfect. The accuracy so far is not so good when listening to English audiobooks while translating them into Japanese.

I often use automatic translation, but the current automatic translation often sends messages with sentences that are rude to the recipient. I don’t speak English well, but perhaps the current translation from Japanese to English is just as inaccurate as the translation from English to Japanese.

However, Google Translate has improved from 2016 to 2022 overwhelmingly, so this “automatic subtitle transcription” function should also explode in about 5 years. Anyway, it’s really wonderful that we can now easily access to a lot of English. It is truly an amazing time we live in.