グーグルの｢Bard｣は遅れを取っている…GPT-4が正答率96%のワードパズルで全滅

グーグルのBardはOpenAのChatGPTに対抗するAIチャットボットだ。

Jonathan Raa/NurPhoto/Getty Images

• OpenAIの｢ChatGPT｣に対するグーグルの回答である｢Bard｣が公開されたが、初期に試した人たちを失望させている。

• アメリカとイギリスのユーザーがこのAIチャットボットを試してみたところ、OpenAIの技術に比べると劣っていることが分かったという。

• それらはグーグルがAIの力を実証する上で遅れを取っている事実を裏付けている。

OpenAIの人工知能（AI）チャットボット｢ChatGPT｣に対しての、検索エンジンの巨大企業グーグル（Google）の回答、｢Bard｣には多くの問題があるようだ。

OpenAIが2022年11月に公開したChatGPTは絶賛された。さらにマイクロソフト（Microsoft）が自社の検索エンジン｢Bing｣にOpenAIの大規模言語モデルを搭載して話題になった。だからグーグルは、人々に意識してもらうためにもBardが必要なのだ。

だが、Bardの潜在的な人気、違う言い方をすると人気の無さは、同社の検索分野におけるリーダーシップ、さらに最先端技術の大手企業としての地位に深刻な影響を及ぼすものになってしまっている。

そして今のところ、ポジティブな兆候はない。

2023年3月22日、グーグルはアメリカとイギリスで人工知能チャットボットBardをローンチし、ユーザー登録を呼びかけた。同社は2022年末から2023年始めにChatGPTが世界を席巻したことを受け、2023年2月に初めてBardのデモを実施したが、今になってようやくそのアクセスを許可したのだ。

グーグルはこのAIチャットボットを｢ジェネレーティブAIでコラボレーションする初期の実験｣と説明している。Bardのウェイティングリストに登録するのには18歳以上であること、個人のグーグルアカウント、対応するブラウザが必要だという。

残念なことに、Bardがベータ版であることは明らかであり、OpenAIのGPT-4テクノロジーと比較すると、最初に使ってみた人たちはその機能に失望しているように見える。

精彩を欠くデビュー作

Bardには、すでに妙な問題が起こっている。

2023年2月のデモ公開時にチャットボットが犯した可能性のあるミスが分かった後、グーグルの親会社アルファベット（Alphabet）の評価額が1000億ドル（約13兆円）暴落する事態が起こった。

それを試した人たちによると、現在のBardもChatGPTに追いついていないという。

｢今日、グーグルのBardで遊んでみた。こんなことを言うことになるとは思わなかったが、マイクロソフトのBingは、（このチャット機能で）グーグルよりもずっと先を行くものになっている｣と、2023年3月21日、テクノロジー系YouTuberのマーキス・ブラウンリー（Marques Brownlee）はツイッター（Twitter）に投稿した。

もっと知る

グーグル、AIチャットボット｢Bard｣のトレーニングを全社員に指示。テスト指示書の全文を公開

ペンシルベニア大学ウォートン校で起業とイノベーションを教えるイーサン・モリック（Ethan Mollick）准教授は、まだ初期段階ではあるが｢グーグルのBardは、BingやGPT-4ほど学習ツールとして有能ではないようだ｣とツイートしている。

またモリック氏は、グーグルのBardは、詩の分野では全部で39行からなるフランスの定型詩｢セスティーナ｣を作るのに大変苦戦しており、ライバルに｢大差で｣負けていると指摘している。

また、ある人は、常軌を逸したストーリー展開で知られる映画監督デイヴィッド・リンチ（David Lynch）スタイルで、映画『スター・ウォーズ』のあらすじを作るというプロンプトをBardに出したが、ごく普通の『スター・ウォーズ』の筋書きを生成しただけだったという。

一方、GPT-4に同じプロンプトを出してみたら、リンチの映画っぽい筋書きを生成したというのだ。

This is a pretty telling #Bard v #GPT4 comparison.

The prompt was:

“Write a synopsis of a made-up Star Wars movie written by David Lynch.” #Google #OpenAI pic.twitter.com/MwgAgfMOZr

— Leo Kelion (@LeoKelion) March 22, 2023

これはかなり分かりやすいBardとGPT4の比較だ。

プロンプトはこうだった。

｢デイヴィッド・リンチが書いたスター・ウォーズのあらすじを書いて｣

大規模な言語モデルを搭載したAIが理論上得意とするはずのワードパズルの処理でもBardには問題がある。｢Twofer Goofer｣というオンラインゲームは、｢韻を踏むふたつの単語｣を少し分かりにくいプロンプトとヒントによってユーザーが導き出す単語パズルだ。

この単語パズル｢Twofer Goofer｣の製作者は、ChatGPTがグーグルのBardよりずっと優れた解答力を持つことを発見した。

Insider/Shona Ghosh/Twofer Goofer

このパズルを作ったゲームメーカーの分析によると、人間の正答率が82％なのに対して、OpenAIのGPT-4の正答率は96％だという。

そして、Bardの成功率は0％であることが判明した。

分析の中でこのパズルの共同制作者コリン・ウォルドック（Collin Waldoch）はこの結果について、｢衝撃的なほど残念｣と表現しており、｢Bardは、出題されたTwofer Gooferをひとつも解くことができなかった｣としている。

グーグルは、イノベーターのジレンマに陥ったのかもしれない。つまり、既存の企業が現状を維持するだけでイノベーションを起こさないのであれば、勢いのある新興企業の脅威に直面することになるかもしれない。

グーグルが非常に素晴らしいAIツールを用意している可能性はある。Insiderのヒュー・ラングリー（Hugh Langley）は2023年3月初め、グーグルの社員が｢Big Bard｣と呼ばれる｢Bard｣よりもさらに知的なバージョンをテストしていると報告している。このツールは、より人間に近い反応を示し、よりカジュアルなものだとラングリーは書いている。現在一般に公開されているのは軽量バージョンだという。

グーグルは長年にわたり、OpenAI的な商業用AIのリリースに反対してきた。それは、エラーや偏見、誤用を招きやすい技術であるため、倫理的な問題が根底にあるからだ。だが、Bardがリリースされた日にビル・ゲイツ（Bill Gates）が述べたように、今はAIの時代だ。ゲイツの言葉を借りれば、AIの開発は、｢マイクロプロセッサー、パーソナルコンピューター、インターネット、携帯電話の誕生と同じくらい基本的なこと｣になっている。

ちなみに、ゲイツは｢基本的なこと｣のリストで、ウェブ検索を上げていない。グーグルは技術史にその名を刻むには、もっとより迅速に動く必要があるのかもしれない。