科学家说明ChatGPT蜕变学术论文格调，5年内百万篇论文“is”“are”词频减少10%

在近期一项接洽中，意大利海外高级接洽院（SISSA ，International School for Advanced Studies） 博 士生耿明萌量化了 ChatGPT 对学术论文写稿的影响。

图 | 耿明萌（起头：耿明萌）

日前，关系论文以《ChatGPT 正在蜕变学者的写稿格调吗？》（Is ChatGPT Transforming Academics’ Writing Style?）为题发在 arXiv[1]。

图 | 关系论文（起头：arXiv）

据先容，之前大宽绰同类接洽，经常是分析某个段落或某篇著述由 ChatGPT 生成的可能性。然而，本次效果愈加心绪于合座情况。

例如来说，一项熟习的剖析不单需要优秀的剖析员，还需要球迷、解说、投资东谈主、裁判等。

现在，大模子的火热进度依然无需赘述，这条赛谈致使显得有些拥堵不胜。在这样的布景之下，耿明萌思作念一些类似足球评判员和数据分析师的责任。

事实上，就在一年之前他还不是 ChatGPT 的拥趸，也不贪图追赶大模子的接洽飞扬。

2023 年夏，耿明萌把更早一篇论文的初稿提交给导师之后，导师并莫得径直在原文上修改，而是给出一些简陋的建议和批注，其中有不少建议针对的是写稿问题。

这时，耿明萌思到使用 ChatGPT 来修改和润色论文，然而很快他就剖析到 ChatGPT 的格调，比如其所使用的词语频率和东谈主类有所不同。

于是，他思从词频角度启航，来分析 ChatGPT 关于东谈主类论文的影响。耿明萌导师的主业是天文和统计，之前并莫得的教会。

导师也很猜疑为何那时仍未有东谈主使用这样精真金不怕火明了的技艺来接洽 ChatGPT 的影响，因此推测有可能是因为行欠亨是以才莫得东谈主接洽，于是暂时扬弃了这个思法。

事情的移动发生在 2023 年秋，那时导师平庸出差去宣传我方出书的新书，并没偶然候参谋课题组的容貌。

于是，耿明萌决定腾脱手我方碰庆幸。

他牢记超越明晰，在万圣节假期的前一天晚上，在搞定所稀有据问题之后，他出去旅行了两周，回顾又花消一周时候得回了初步甘休。

即：学术论文中照实有一些词语的使用频率，在 ChatGPT 出现之后发生了显然变化。

为了通俗起见，耿明萌登科了那时 arXiv 上最新的 100 万篇论文的摘要进行分析。之是以这样作念是因为摘要天然短小，然而比论文的其他部分更有代表性。

甘休他发现：最近几年论文数目出现暴涨，比如从 2018 年到 2023 年，就有当先 100 万篇论文被提交到 arXiv 上。其中，节略有 90% 论文来自于数学、物理和策划机三个学科。

天然，初步的接洽甘休也很有道理：比如“significant”的词频翻了接近一番，而“is”和“are”的词频则减少了 10% 傍边。

（起头：arXiv）

于是，耿明萌登科 2022 年 arXiv 上的前两万篇论文摘要，通过 ChatGPT API 加以修改和润色，借此分析得回 ChatGPT 的词语偏好。

由此发现：2023 年 ChatGPT 修改论文前后的词频变化，和 2022 年的词频变化有着很大关系性。然而，2022 年相干于 2021 年，在词语频率变化上的关系性很小。

（起头：arXiv）

那么，若是使用 ChatGPT 处理一部分论文摘要，和未经 ChatGPT 处理的论文摘要混在一都，能否基于词语频率的变化，估算出过程 ChatGPT 处理的论文摘要的比重？以及应该奈何臆度？再即是应该登科哪些词语？

为了恢复这些问题，耿明萌建议一个含有噪声项的模子，诠释在某些情况之下，词语的登科并不是越多越好。

而是应该主要接洽以下两个圭表：词语频率、以及 ChatGPT 处理前后的变化率。

何况，关于不同类别和不同夹杂比例的摘要，登科的词语也应该有所变化。随后，通过校准和测试，上述表面分析也在模拟中得回了考证。

（起头：arXiv）

基于此，他开动证据真正的 arXiv 摘要数据，来估算 ChatGPT 的影响。

这一分析是基于：ChatGPT API 的模拟输出关于不同的 prompt，其输出的甘休也不换取，因此所得出的甘休是一个相对值。

若是以“Revise the following sentences”的甘休行为基准，ChatGPT 修改的“比例”节略在 35% 傍边。

若是科研东谈主员在使用 ChatGPT 时都能使用更精确的 prompt，那么 ChatGPT 关于论文摘要的孝顺就饱胀有可能当先 100%。

不外，耿明萌更自得用“影响”而非用“比例”来看待本次甘休。

不同的 prompt 会产生不同的输出，因而相通的使用比例也会产生不同的臆度甘休。接洽到实质的使用场景，一些东谈主很有可能在使用 ChatGPT 之后刻意抹去了一些陈迹。

亦有论文作家的写稿格调真实受到了 ChatGPT 的影响，但终末并莫得使用 ChatGPT 润色论文摘要。同期，其它大模子可能会有相似、但不换取的词频。

（起头：arXiv）

总的来说，耿明萌依然觉得，使用 ChatGPT 或其它用具，来润色论文和翻译论文自己并莫得错，但要知谈修改前后语义上的分散。

关于母语非英语的接洽东谈主员来说，这些新用具的合理使用照实也能促进公正，但径直行使这些用具生成论文段落是不成取的。

而接洽 ChatGPT 关于论文格调的影响，则能助力科研东谈主员更好地使用类似用具。

参考贵寓：

1.https://arxiv.org/pdf/2404.08627

运营/排版：何晨龙

01/ 科学家研发AI病理学大模子，受训于28个癌症中心3万病东谈主数据，为病理学会诊打造新用具

02/ 石墨烯制备迎来新里程碑：科学家在无氧环境下造出石墨烯，得手弥合质料和可类似性的差距

03/ 浙大学友将Cas9基因裁剪着力进步百倍，打造基因裁剪通用型更动政策，助力调节基因疾病

04/ 中科大团队打造摩擦静电镊，建议新式液滴操控技艺，可用于操作细胞液体和天际试验

05/ 助力搞定自动驾驶商用艰难：科学家建议等效加快测试技艺，进步仿真与实车测试速率1000倍