## 大規模AIモデルと分類

AIモデルとは、パターン認識、テキスト生成、視覚的質問応答（VQA）など、特定のタスクを実行するために、データセットを用いて訓練されたソフトウェアプログラムやアルゴリズムのことである。

AIのサブセットである機械学習（AIを応用して、コンピューターがより効率的かつ高速にタスクを実行できるようにするシステム）が、学習過程において最適化するパラメータ数が多いものを大規模AIモデルと呼ぶ。

![202308 generativeAI 04](//images.ctfassets.net/bdepgd648nl9/k2AIKc67EgGXifhr8KCSe/7f8ea61b4fb832547e4cdc062b0b26ac/202308_generativeAI_04.jpg)

> 写真： Tada Images / Shutterstock.com

一般に、モデルのパラメータ数が多いほど、訓練データから得られる情報が多くなり、予測の精度が上がり、モデルの性能も向上する。

たとえば、2020年に発表された当時最大規模と称された、OpenAIのGPT-3で、パラメータ数は1750億ある。このモデルは、インターネットから収集したデータセットで訓練されたディープラーニング・アルゴリズムを活用して、人間が書くようなテキストを生成するため、ニューラルネットワークとも呼ばれている。

現在構築されている大規模AIモデルは、テキスト（言語）か視覚領域、あるいはさまざまな種類の情報を処理できるマルチモーダルの領域に分類される。

<Image type="full-column" src="//images.ctfassets.net/bdepgd648nl9/jeA8ZVDNuEzeLwuUoZD59/602944a24acdf1c35f3978b66b74e64f/202308_generativeAI_01.png" />

## 進化の過程：4つの発展がポイント

現存する最大のAIモデルはすべて、2020-22年の期間に発表される。しかしその技術は[1960年代から提唱](https://arxiv.org/ftp/arxiv/papers/1911/1911.05289.pdf)されており、AIや機械学習への関心が本格的に高まったのは、80年代後半から90年代前半だ。コンピューターが大規模なニューラルネットワークを訓練するのに十分な性能を持つようになったのは、2000年代の終わり頃だ。

現在の大規模AIモデルの進化を導いた、4つの重要な発展をまとめる。

__1.ビッグデータの台頭__

機械学習の性能に影響するデータ量は、過去10年間で爆発的に増加した。2020年には、世界のデータ供給量が59ゼタバイト（ZB）にのぼり、そして2025年には[175ZB](https://theconversation.com/the-worlds-data-explained-how-much-were-producing-and-where-its-all-stored-159964)に達すると予測されている。

身近な例としては、1日あたりツイート（現ポスト）5億件、Eメール2,940億件、Facebookデータ400万GB、WhatsAppメッセージ650億件、YouTubeの新コンテンツ72万時間分が生成されていると推定される。

このデータ量の増加がAIの性能を飛躍的に向上させた。

__2.AI／機械学習の進化とディープラーニング革命__

過去10年で、機械学習とその応用分野の研究成果は急増している。学術論文のオープンアクセスeプリントリポジトリであるArxivに投稿された、機械学習関連の論文数は2009-18年にかけて32倍以上に増えた。

1日あたり100本以上の論文がArxivに投稿され、勢いが衰える気配はない。研究の活発化は、機械学習ベースのコンピュータービジョンモデルの性能向上にも表れている。

たとえば、コンピューターによる物体認識の精度を競う国際コンテスト「[ImageNet](https://www.image-net.org/challenges/LSVRC/)」では、1,000のカテゴリにまたがる100万枚のカラー画像から、画像分類と物体検出のタスクが要求される。

以前このコンテストではマニュアル設計されたコンピュータービジョン技術を使用し、優勝したチームでもTop-5エラー率(※1)は25%を超えていた。しかし、ディープラーニングが用いられるようになった2011年以降、明らかな性能向上がみられる。

> ※1Top-5エラー率：ImageNet データセットでの確率が高い上位5個の予測ラベルに正解ラベルが含まれていない割合

<Image type="full-column" src="//images.ctfassets.net/bdepgd648nl9/4pGIIiUbbOMKGuyRHXcIGD/54e7979ac469eac73e01cbc113c0b7ac/202308_generativeAI_02.png" />

__3.計算量の増加__

2010年代初頭にディープラーニングが登場すると、計算量（計算性能）の成長がさらに加速し、通常規模のモデルでは約6か月ごとに倍増するようになった。

2015-16年には、GoogleのAlphaGo（プロの囲碁棋士を破った最初のコンピュータープログラム）を皮切りに、次々と大規模モデルが誕生した。これらの大規模モデルの計算量は[10か月ごとに倍増した](https://arxiv.org/pdf/2202.05924.pdf)。この[計算量の増加傾向](https://openai.com/research/ai-and-compute#fn1)が続く限り、AIモデルの性能は現在の水準をはるかに超えて進化を遂げる可能性がある。

__4.Transfomerアーキテクチャの開発__

ニューラルネットワークは、ディープラーニング・アルゴリズムによって人間の思考回路を模倣する。言語モデリング、機械翻訳、質問応答などの言語理解タスクを実行するうえで重要な手法である。

2017年、Googleは、「[Transformer（トランスフォーマー）](https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html)」と呼ばれる、自己注意（Self-Attention）機構に基づく新しいニューラルネットワークアーキテクチャを開発・オープンソース化した。自己注意機構によって、大規模AIモデルが入力データの特定部分のみにフォーカスを当て、文脈に基づいてどのデータが最も関連性が高いかをより効率的に推論できるようになった。

Googleチームは、Transformerアーキテクチャの性能は、リカレントニューラルネットワーク（RNN）や畳み込みニューラルネットワーク（CNN）といった従来のアプローチを上回ると述べている。現在、大規模AIモデルのほとんどはTransformerをベースにしている（MetaのSEER はCNNベース）。

## 主要プレイヤーは協力し合う

大規模なAIモデルの訓練や運用には膨大なコストがかかるため、現在はビッグテックをはじめ、大手テック企業やAIラボが主導している。

現在、米国のビッグテックが最前線を走っており、中国、韓国、ロシア勢が後を追う。AIラボも、単独で、あるいはビッグテックのパートナーとして、AI研究に参加している。

大規模AIモデルを支えるハードウェアやソフトウェアシステムについて主要プレイヤーは協力し合う。

LGのモデル「EXAONE（エクサワン）」は、[Googleとの戦略的提携](https://www.kedglobal.com/artificial-intelligence/newsView/ked202112140015)を通じて構築され、GoogleはLGに計算用AIチップ「TPU u4」を供給し、Google BrainはEXAONE用に互換ソフトウェアフレームワークを作成した。

一方、[MicrosoftとNvidia](https://analyticsindiamag.com/Nvidia-microsoft-introduce-new-language-model-mt-nlg-with-530-billion-parameters-leaves-gpt-3-behind/)は、Nvidia SeleneやMicrosoft Azure NDv4といった最先端のスパコンクラスターを活用し、自然言語生成モデル「MT-NLG」の訓練で協業している。

<Image type="full-column" src="//images.ctfassets.net/bdepgd648nl9/1ynpHfcacbbF8woSQLxtci/4f3ec80db870b1fbf9e4cc524ce468e4/202308_generativeAI_03.png" />

## 需要の促進要因

__1.デジタルなカスタマー体験の向上__

コロナ禍を機に、消費者のオンラインシフトはさらに加速している。[McKinseyの2020年の調査](https://www.mckinsey.com/capabilities/strategy-and-corporate-finance/our-insights/how-covid-19-has-pushed-companies-over-the-technology-tipping-point-and-transformed-business-forever)によると、顧客とのコミュニケーションの8割以上がデジタル化されていると報告する企業は、コロナ禍前の3倍に増えている。とりわけ顧客接点の多い業態では、約62%の組織がオンラインでの購買やサービスに対する顧客需要の増加を経験している。

これに伴い、企業は対話型AIなどへの投資を倍増させている。一部の予測では、モバイルプラットフォーム上の[全コミュニケーションの最大4割](https://dan.com/buy-domain/vivoanalytics.com?redirected=true)が、最終的にはチャットボットやスマートアシスタントのような対話型AIによって対応されるようになるとされている。こうした動きは、GoogleのLaMDA を筆頭に、LLMにとって好機となる。

__2.大離職時代の開発者不足__

[Salesforceによる2022年のMuleSoft調査](https://www.salesforce.com/news/stories/new-research-shows-how-to-keep-developers-happy-amid-the-great-resignation/)によると、過去2年間で93%の組織が専門スキルを持つソフトウェア開発者の維持が難しくなり、86%が採用の難しさを感じるようになったと回答している。

<Image type="full-column" src="//images.ctfassets.net/bdepgd648nl9/1tNaB521D9wXWb7wqI6ewv/6c7750d3b89f93e7f611f755dc8ab46e/202308_generativeAI_05.jpg" />

自発的な離職・退職者が増える「大離職時代」において、調査対象となった組織の91%が、開発者の主要な業務プロセスを自動化し、「より少ない労力でより多くのことができる」ようにするソリューションが必要だと強く実感している。

OpenAIのCodexのようなファインチューニング済み言語モデルであれば、時間と労力を削減しながら、ソフトウェア開発者の負担を軽減するAIペアプログラミングツールを構築するのに役立てることができるかもしれない。

__3.自動化・自律化__

分野を問わず自動化・自律化に対するニーズは年々高まっている。

たとえば、[2020年のマサチューセッツ工科大学の調査](https://news.mit.edu/2020/how-many-jobs-robots-replace-0504)によると、米国では現在、使用されているロボットの7割が自動車製造（稼働中のロボット台数の38%）、電子機器製造（同15%）、プラスチック・化学工業（同10%）、金属製造（同7%）の4つの製造業に集中するため、さらなる用途の拡大が期待できる。

![202308 generativeAI 06](//images.ctfassets.net/bdepgd648nl9/4pD4ttiFsm9e5DGBIeAu8J/bf8fc898e0169bed1850284aa9f5d4f5/202308_generativeAI_06.jpg)

先進運転支援システムや[自動運転](https://arxiv.org/pdf/1906.03199.pdf)などの自動車用途では、さまざまな視覚入力を利用・処理できるマルチモーダルAIモデルの需要が引き続き高まる見通しだ。たとえば、Googleの「Perceiver」モデルは現在、自動運転シーンの画像、映像、LiDAR点群という3種類の情報を取り込むことができる。

__4.ヘルスケア・その他分野における予測的洞察・分析__

大規模AIモデルによるディープラーニングの進歩は、予測的洞察や分析を必要とする多くの分野に示唆を与えている。特に、[医療画像診断タスク](https://arxiv.org/ftp/arxiv/papers/1911/1911.05289.pdf)では、AIモデルの有用性が実証されている。

![202308 generativeAI 06](//images.ctfassets.net/bdepgd648nl9/72ef0mlhvrc0twKJ8obI8X/1cdca187f3781fa100114a6c78e055e6/202308_generativeAI_07.jpg)

たとえばMetaは、SEERビジョンモデルの基礎と同じ自己教師あり学習法を活用し、[新型コロナに対応するリソースの必要性を予測](https://ai.meta.com/blog/new-ai-research-to-help-predict-covid-19-resource-needs-from-a-series-of-x-rays/)するのに役立つ3つの機械学習モデルを開発し、X線写真の分析から患者の病状の進展を予測するのを助け、医療機関のリソース計画に役立っている。

このほか、量子化学、地震予測、洪水予測、ゲノミクス、タンパク質フォールディング、高エネルギー物理学、農業などでもディープラーニング手法が活かされている。

## 課題 

__ 1.モデルの訓練・運用コスト__

大規模AIモデルは莫大な開発コストがかかる。[2020年のAI21 labsの調査](https://arxiv.org/pdf/2004.08900.pdf)によると、パラメータ数15億のテキスト生成モデルの訓練には160万ドルが必要となる。さらに、GPUのような特殊なハードウェアを用いて訓練するため、コストはさらに増大する。たとえば、[BigScienceのBLOOM](https://bdtechtalks.com/2022/07/18/bloom-large-language-model-ai-research/)は、1台あたり最大3万2,000ドルのNvidia Tesla A100 GPU 384台を使って訓練された。

[推論](https://bdtechtalks.com/2022/07/18/bloom-large-language-model-ai-research/)（訓練済みモデルの実行）のハードウェアコストもある。圧縮されたBLOOMモデルは227GB。これを実行するには、数百GBのVRAMを搭載した専用ハードウェアが必要になる。これに比べ、GPT-3はNvidia DGX 2と同等のコンピューティングクラスターを必要とし、その価格は約40万ドルである。あるいは、[クラウド上で実行する場合](https://bdtechtalks.com/2020/09/21/gpt-3-economy-business-model/)、GPT-3のようなモデルの推論は、単一のAWSインスタンスで最低年間コスト8万7,000ドルまで実行できる。

コスト負担は金銭面にとどまらない。AIモデルの訓練に使用されるGPUは、従来のCPUよりも多くの電力を消費する。[マサチューセッツ大学アマースト校](https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their-lifetimes/)の研究者は、一般的な大規模AIモデル数種の訓練に関するライフサイクル評価に基づき、このプロセスで62万6,000ポンド以上（CO2換算）が排出されることを示した。

事実上、1つの大規模AIモデルの訓練は、平均的な米国産車の生涯炭素排出量（製造も含む）の5倍近くを発生させていることになる。100%再生可能なエネルギーにシフトしなければ、AIの進歩はカーボンニュートラルを犠牲にすることになりかねない。

__2.時間とメモリを消費する訓練工程__

大規模AIモデルの訓練は、コスト以外にも多くの難しい課題がある。まず、パラメータ数が多すぎて、最大容量のGPUメモリにさえ収まらない。

さらに、これらのモデルを精緻化するのに必要な計算処理数が多いため、アルゴリズム、ソフトウェア、ハードウェアがともに最適化されない限り、多くの訓練時間を要することになる。

[Microsoftの5,300億パラメータのMT-NLGモデル](https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/)を合理的な期間内で訓練するには、「Nvidia A100 Tensor Core GPU」と「HDR InfiniBand」ネットワーキング、「Nvidia Selene」のような最先端のスパコンクラスター、「Microsoft Azure NDv4」の融合が不可欠であった。

__3.倫理的・社会的リスク__

AIモデルの倫理的・社会的リスクは、現在進行形で調査・懸念されている分野だ。AI倫理学者でGoogleの[元AI倫理責任者](https://realsound.jp/tech/2021/02/post-712904.html)のTimnit Gebru氏は、「[確率的オウムの危険性](https://dl.acm.org/doi/pdf/10.1145/3442188.3445922)」に関する論文のなかで、大規模言語モデルに関連する課題について詳述している。

また、Deep Mindは、[LLMの6つのリスク](https://www.deepmind.com/publications/ethical-and-social-risks-of-harm-from-language-models)について概説している。これには、差別のリスク、ステレオタイプや社会的バイアスを永続させることによる表象的・物質的な危害などが含まれる。

基本的に、これらのAIモデルはインターネット上のデータを利用するため、そのデータに内在するステレオタイプ、ヘイトスピーチ、偽情報、有害なナラティブをそのまま反映してしまう。

さらに、ほとんどのオンラインデータは[先進国の若いユーザー](https://analyticsindiamag.com/how-googles-switch-transformer-started-an-ethical-debate/)によるもので、18歳から29歳の男性ユーザーに強く偏っている。訓練データの規模を考えると、他のグループからのデータの欠如は、これらのグループがデータに及ぼす影響をさらに弱めることにつながる。

![202308 generativeAI 08](//images.ctfassets.net/bdepgd648nl9/2kBwjjwNzk93hivlcU5KrW/d4707c4633fe5cfd8f37b1bb31b99e4d/202308_generativeAI_08.jpg)

こうした課題は、LLMに限ったことではない。OpenAIは、[DALL-Eのような画像生成型マルチモーダルAIモデルも同様に、ウェブからの学習画像に埋め込まれた偏見や有害性を拾い上げる](https://www.vox.com/future-perfect/23023538/ai-dalle-2-openai-bias-gpt-3-incentives)リスクがあると指摘している。

## おわりに

__大規模＝良いとは限らない：__ 膨大な開発コストとCO2排出量を考えると、AIモデルの大規模化は長期的に見て持続可能とは言い難い。また、モデルの訓練度にもよるが、モデルが大きければ性能が向上するというわけでもない。その代わりに、計算機最適化モデルが別の道筋を示すかもしれない。

__商用化には時間がかかる：__ 一部の大規模AIモデルは商用化で先行しているが、他のモデルも同じ成果を得るには時間がかかるかもしれない。潜在的なユースケースを探り、悪用されるリスクを軽減するためにさらなる研究開発が必要な場合などはなおさらだ。

__さらなる研究が必要：__ 人間の思考回路を忠実に再現できる機械を開発するまでには、道のりが長い。現在ある大規模AIモデルは大きな可能性を秘めるものの、課題を解消するにはさらなる研究と探求が必要である。大規模モデルに関連する倫理的・社会的懸念は妥当であり、注意を払う必要がある。[2022年のScientific American誌の記事](https://www.scientificamerican.com/article/artificial-general-intelligence-is-not-as-imminent-as-you-might-think1/)にある通り、「今本当に必要なのは、地道に基礎研究を進めること」だ。

（原文執筆：Piyumi Kapugeekiyana 、翻訳：齋藤茉菜、編集：森敦子、デザイン：山浦隆史）

勢いを増す大規模AIモデル、その可能性と課題を探る

CONTENTS