AIを入れた前と後を比べて「生産性が何%上がった」と言いたい人に向けた記事です。この数字は、比べる起点をどこに置くかで大きく動きます。210万本の論文を調べた研究と、その測り方に異議を出した論文、そして元の著者による反論を順番に追います。最後に、自分の会社で測るときにやることを3つ置きます。
私は自社でも顧客先でもAI導入の前後を数字で出す側なので、この論争は他人事ではありませんでした。
210万本を調べた研究が出した「36%増」
最初に出たのは、コーネル大学とカリフォルニア大学バークレー校の研究チームによる論文です。Science誌の2025年12月18日号に載った査読済みの研究です。
調べた量が大きい研究です。プレプリント(査読前に公開される論文)210万本、査読レポート2万8,000件、論文の閲覧とダウンロード2億4,600万件を使っています。
やったことはこうです。論文の要旨をAI検出器にかけ、「AIが書いたと判定された論文が初めて出た月」をその研究者がAIを使い始めた月とみなす。その前後で投稿数がどう変わったかを、使っていない研究者と比べる。
結果、投稿数が増えていました。arXivで36.2%、bioRxivで52.9%、SSRNで59.8%。分野や著者の背景で分けると23.7%から89.3%の幅になり、伸びが大きかったのは英語を母語としない国の研究者でした。
「AIを使い始めた日」の決め方に穴があった
ここに異議が出ました。パリ・サクレー大学、HECパリ、パリ第1大学の3人による指摘で、PNAS(米国科学アカデミー紀要)の2026年8月18日号に載りました。これも査読済みです。
指摘は1点だけ、しかし急所でした。「AIを使い始めた月」の決め方が、投稿数そのものと機械的につながっている。
理屈は単純です。投稿が多い月ほど、そのうち1本がAI判定を受ける確率は高くなる。だから「判定が初めて出た月」は、ふつうの月ではなく投稿が多い月に偏ります。そしてその直前の月は、定義上「判定が1本も出なかった月」、つまり投稿が少ない月に偏る。
低い月を基準にして、その後の月と比べれば、右肩上がりに見えます。AIの効果がゼロでも。
でたらめな印でも、同じ上がり方が出た
指摘側は、これを実際にやって見せています。中身のない印で同じ計算をしたらどうなるか、を4通り試しました。
論文にランダムに印を付ける。「theory」「data」「from」のような、AIと関係のない中立な単語で印を付ける。ChatGPTが存在しなかった2020年1月から2022年6月の期間で同じ計算をする。処置の定義を反転させる。
4通りすべてで、同じように右肩上がりの線が出ました。効果の大きさは元の論文の推定値を挟む範囲に収まったと書かれています。
さらに、元の論文の再現コードを動かして、図では省かれていた「導入した月そのもの」の係数を復元すると、その月だけ投稿数が跳ね上がっていました。導入月が「投稿の多い月」として選ばれていることが、目に見える形で出ています。
測り直したら、7〜25%は残った
元の著者側が反論を出しました。arXivに2026年7月31日に投稿されたもので、こちらはまだ査読前のプレプリントです。格が違うので、ここは割り引いて読む必要があります。
反論の主旨は「偏りは実在する。ただし大きさは限られる」です。導入日の決め方に依存しない4つの設計で測り直しています。
1つ目は年をまたぐ前後比較です。2023年の判定で研究者を分け、2024年1月から6月の投稿数を2022年1月から6月と比べる。導入月の直前を基準にしないので、指摘された偏りが入りません。結果は17.3%増(ゆるい判定基準)と25.1%増(厳しい判定基準)。ChatGPT前の期間で同じ計算をすると、−0.9%と0.0%でした。
2つ目は対照群を厳しくした差の差です。「まだ使っていないが、のちに使い始める研究者」を比較相手に混ぜます。将来の利用者を対照に入れると効果は小さく出るので、下限を見る設計です。結果は0.068ログポイント、95%信頼区間0.053から0.083。おおむね7%の増加にあたります。ChatGPT前の期間ではどの月も有意になりませんでした。
3つ目は導入日を定義しない推定です。前の四半期のAI使用量と、今の四半期の投稿数の関係を見る。3つの測り方すべてで正の関係が有意に出て、ChatGPT前の期間ではすべて負で有意になりませんでした。
まとめると、36%という数字は残りませんでした。ただしゼロにもなりませんでした。測り方を厳しくするほど7%から25%の範囲に落ち着き、ChatGPT前の期間でやると毎回ゼロが出る。これが現時点での着地です。
自分の会社で測るときにやること
ここからが仕事の話です。この論争の構図は、中小企業がAI導入の効果を測るときにそのまま起きます。
1つ目、導入日は「配った日」で先に固定する。「AIを使った痕跡が最初に見えた月」を起点にすると、その月は忙しい月である可能性が高い。忙しい月の直前は暇な月です。暇な月を基準に忙しい月を見れば、何を入れても数字は上がります。アカウントを配った日と研修をやった日を先に台帳に書いて、動かさないことです。
2つ目、まだ配っていない部署を同じ期間で並べる。配った部署だけを前後で比べると、季節の波と区別がつきません。反論側がやったように「来月配る予定の部署」を比較相手にすると、効果は小さめに出ます。小さめに出た数字こそ、社内の説明に耐えます。
3つ目、導入前の同じ季節で同じ計算をして、ゼロが出るか確かめる。2026年4月に入れたなら、2025年4月を架空の導入月にして同じ集計を回す。ここで数字が出てしまったら、その集計方法は季節か偶然を拾っています。
もうひとつ、文章の上手さの話
元の研究には、投稿数とは別の発見があります。
AIを使っていない論文では、文章が複雑な論文のほうが査読を通りやすいという関係がありました。文章の作りこみは、中身の作りこみの合図として働いていたわけです。AIを使った論文では、この関係が逆向きになっていました。文章が複雑なほど、査読者の評価が低くなる。語の長さや文の作りを別の指標で測り直しても、同じ逆転が出たと書かれています。
社内でも同じことが起きます。稟議書や提案書が急に整ってきたとき、それは中身が良くなった合図ではないかもしれない。見るところを「書けているか」から「何を決めたか」に移すほうが安全です。
まとめ
- 210万本の論文で「AI導入で投稿数が36%増」が出た(Science、査読済み)
- その測り方は、導入月を投稿の多い月から選んでしまう仕組みになっていた(PNAS、査読済み)
- でたらめな印でも同じ上がり方が出た。ただし測り直すと7%から25%の増加は残った(反論はプレプリント、査読前)
- 自社で測るなら、導入日は配った日で固定し、まだ配っていない部署と並べ、導入前の同じ季節でゼロが出るか確かめる
- 文章が整ったことを、中身が良くなったことと読み替えない
AIを入れて作業が速くなったかどうかは、入れた側がいちばん知りたいところです。だからこそ、数字が都合よく出る測り方に寄ってしまいます。測り方を厳しくして、それでも残った分だけを成果として数える。そのほうが、次に何を変えるかを決めやすくなります。
出典
Kusumegi, Yang, Ginsparg, de Vaan, Stuart, Yin「Scientific production in the era of large language models」Science、2025年12月18日／査読済み（著者版: https://arxiv.org/abs/2601.13187 ）
Renault, Bergeaud, Bosquet「Comment on Scientific production in the era of large language models」PNAS、2026年8月18日号／査読済み（ https://pmc.ncbi.nlm.nih.gov/articles/PMC13486544/ 、プレプリント版: https://arxiv.org/abs/2605.17979 ）
Kusumegi et al.「A robust association between LLM use and scientific productivity: Assessing stopping-time selection」2026年7月31日／プレプリント・査読前（ https://arxiv.org/abs/2607.28968 ）
この記事と同じ内容を、公式noteでも公開しています。 公式note 記事一覧