那句話是人工智能寫(xiě)的嗎？OpenAI 的新聊天機(jī)器人 ChatGPT 引發(fā)了公家對(duì)一個(gè)關(guān)鍵問(wèn)題的討論：我們?nèi)艉螘缘镁W(wǎng)上的內(nèi)容是人寫(xiě)的，仍是人工智能寫(xiě)的？

自 2022 年 11 月發(fā)布以來(lái)，已有超越一百萬(wàn)人利用過(guò) ChatGPT。它讓人工智能社區(qū)沉迷，并且很顯然，人工智能生成的文本正在收集上肆意傳布。人們用它來(lái)編笑話、寫(xiě)故事和草擬更好的電子郵件。

ChatGPT 是 OpenAI 的大型語(yǔ)言模子 GPT-* 的衍消費(fèi)品。針對(duì)用戶提出的問(wèn)題，該模子能夠生成看起來(lái)很像是人類做出的答復(fù)。

那些大型語(yǔ)言模子的魔力在于，它們的答復(fù)看起來(lái)十分實(shí)在。但因?yàn)槿藗冸y以分辯，由此引發(fā)的準(zhǔn)確性錯(cuò)覺(jué)也可能帶來(lái)危險(xiǎn)。

人工智能模子寫(xiě)出的句子看起來(lái)是準(zhǔn)確的，它們以準(zhǔn)確的挨次利用了準(zhǔn)確的詞匯和語(yǔ)法，但人工智能理解不了它們的含義。

那些模子通過(guò)預(yù)測(cè)句子中最有可能呈現(xiàn)的下一個(gè)詞來(lái)工做，所以他們其實(shí)不曉得本身說(shuō)的是對(duì)仍是錯(cuò)。即便說(shuō)的是錯(cuò)的，他們也會(huì)用“言之鑿鑿”的語(yǔ)氣表述出來(lái)。

在一個(gè)已經(jīng)兩極分化、充滿政治色彩的收集世界中，那些人工智能東西可能會(huì)進(jìn)一步扭曲我們獲取的信息。若是他們被某些產(chǎn)物接納并風(fēng)行世界，后果可能是撲滅性的。

人工智能草創(chuàng)公司 Hugging Face 的政策總監(jiān)艾琳·索萊曼 （Irene Solaiman) 暗示，我們迫切需要可以區(qū)分人類和人工智能編寫(xiě)的文本的辦法，以應(yīng)對(duì)潛在的手藝濫用。

索萊曼曾是 OpenAI 的人工智能研究員，為 GPT-* 的前身 GPT-2 的發(fā)布研究了人工智能模子的輸出檢測(cè)。

找到識(shí)他人工智能生成代碼的辦法也至關(guān)重要，例如法式員常用的 Stack Overflow 比來(lái)頒布發(fā)表暫時(shí)制止發(fā)布由 ChatGPT 生成的答復(fù)。

ChatGPT 能夠自信地生成編程問(wèn)題的謎底，但它并不是完全準(zhǔn)確。錯(cuò)誤的代碼會(huì)招致軟件 bug，在許多范疇，一個(gè) bug 可能帶來(lái)昂揚(yáng)的代價(jià)并形成紊亂。

Stack Overflow 發(fā)言人暗示，該公司的審核員正在“利用包羅啟發(fā)式和檢測(cè)模子在內(nèi)的多種東西，查抄數(shù)千份由社區(qū)成員提交的陳述”，但不會(huì)透露更多細(xì)節(jié)。

現(xiàn)實(shí)上，實(shí)現(xiàn)那一目的十分困難，完全制止人工智能的答復(fù)幾乎是不成能的。

研究人員測(cè)驗(yàn)考試了多種辦法來(lái)檢測(cè)人工智能生成的文本。一種常見(jiàn)的辦法是利用軟件來(lái)闡發(fā)文本的差別特征——例如閱讀的流利水平、某些單詞呈現(xiàn)的頻次，或者標(biāo)點(diǎn)符號(hào)、句子長(zhǎng)度能否有規(guī)律。

“若是你有足夠多的文本，一個(gè)十分簡(jiǎn)單的線索就是‘the’那個(gè)詞過(guò)于頻繁的呈現(xiàn)，”谷歌大腦的高級(jí)研究科學(xué)家達(dá)芙妮·伊波利托（Daphne Ippolito）解釋說(shuō)。

因?yàn)榇笮驼Z(yǔ)言模子通過(guò)預(yù)測(cè)句子中的下一個(gè)詞來(lái)工做，因而它們更有可能利用“the”“it”或“is”等常見(jiàn)詞，而不是不成靠的稀有詞。

伊波利托和谷歌研究人員在 201* 年頒發(fā)的論文中發(fā)現(xiàn)，那恰是主動(dòng)檢測(cè)系統(tǒng)擅長(zhǎng)識(shí)此外文本類型。

但伊波利托的研究也顯示了一些有趣的工具：人類參與者傾向于認(rèn)為，那種“清潔”的文本看起來(lái)更好，錯(cuò)誤更少，因而它更像是人類寫(xiě)的。

現(xiàn)實(shí)上，人類撰寫(xiě)的文本凡是會(huì)有拼寫(xiě)錯(cuò)誤，而且變化無(wú)窮，包羅差別的氣概和俚語(yǔ)，而“語(yǔ)言模子很少呈現(xiàn)拼寫(xiě)錯(cuò)誤，他們更擅長(zhǎng)生成完美的文本，” 伊波利托說(shuō)。

“文本中的錯(cuò)別字現(xiàn)實(shí)上是一個(gè)很好的目標(biāo)，表白它是人寫(xiě)的，”她彌補(bǔ)道。

大型語(yǔ)言模子自己也可用于檢測(cè)人工智能生成的文本。不列顛哥倫比亞大學(xué)的天然語(yǔ)言處置和機(jī)器進(jìn)修研究主席穆罕默德·阿卜杜勒-馬吉德（Muhammad Abdul-Mageed）說(shuō)，最勝利的辦法之一是在一些由人類編寫(xiě)的文本和一些由機(jī)器創(chuàng)建的文本上從頭訓(xùn)練模子，使它學(xué)會(huì)區(qū)分兩者。

與此同時(shí)，德克薩斯大學(xué)的計(jì)算機(jī)科學(xué)家斯科特·阿倫森（ Scott Aaronson）不斷在為 GPT-* 等模子生成的較長(zhǎng)文本開(kāi)發(fā)“水印”機(jī)造。他在博客中寫(xiě)道，通過(guò)在詞匯選擇上參加“不惹人留意的奧秘信號(hào)”，人們就能夠證明那段文字是 GPT 模子生成的。

OpenAI 發(fā)言人證明，該公司正在研究水印，而且暗示其政策規(guī)定用戶應(yīng)該“以一種任何人都不會(huì)合理地漏看或曲解的體例”清晰地指出哪些是人工智能生成的文本。

但那些手藝修復(fù)勤奮也存在一些問(wèn)題。他們大多尚未有時(shí)機(jī)匹敵最新一代的人工智能語(yǔ)言模子，因?yàn)樗鼈兪浅闪⒃?GPT-2 或其他早期模子之上的。

當(dāng)有大量文本可供檢測(cè)時(shí)，許多檢測(cè)東西的效果不錯(cuò)；但它們?cè)谀承┰敿?xì)場(chǎng)景的表示較差，例如聊天機(jī)器人或電子郵件助理，因?yàn)槟切﹫?chǎng)景只要較短的對(duì)話，無(wú)法供給更多的數(shù)據(jù)用來(lái)闡發(fā)。

Abdul-Mageed 還指出，利用大型語(yǔ)言模子停止檢測(cè)還需要強(qiáng)大的計(jì)算機(jī)，以及拜候 AI 模子自己，科技公司凡是不會(huì)允許如許做。

索萊曼暗示，模子越大、性能越強(qiáng)大，就越難構(gòu)建對(duì)應(yīng)的人工智能模子來(lái)檢測(cè)哪些文本是人寫(xiě)的，哪些不是。

“如今最令人擔(dān)憂的是 ，ChatGPT 的輸出量量十分令人印象深入。檢測(cè)模子難以企及，只能在后面不斷追逐，”她說(shuō)。

索萊曼說(shuō)，檢測(cè)人工智能編寫(xiě)的文本沒(méi)有一個(gè) 100% 準(zhǔn)確的辦法。 “檢測(cè)模子不會(huì)成為合成文本的過(guò)關(guān)測(cè)試，就像平安過(guò)濾器不是減輕成見(jiàn)的獨(dú)一手段，”她說(shuō)。

為了有時(shí)機(jī)處理那個(gè)問(wèn)題，我們需要改良手藝修復(fù)手段并進(jìn)步人類與人工智能交互時(shí)的通明度，人們還要學(xué)會(huì)若何識(shí)別藏在人工智能締造的文本中的陳?ài)E。

伊波利托說(shuō)：“若是有一個(gè) Chrome 或其他收集閱讀器的插件，或答應(yīng)以通過(guò)它讓你曉得網(wǎng)頁(yè)上的任何文本能否是機(jī)器生成的。那將是一件十分好的工作?！?/p>

一些人已經(jīng)在勤奮。哈佛大學(xué)和 IBM 的研究人員開(kāi)發(fā)了一種名為“大語(yǔ)言模子測(cè)試屋 Giant Language Model Test Room （GLTR)” 的東西，它通過(guò)高亮顯示可能由人工智能生成的文字段落來(lái)幫忙人們留意哪里有問(wèn)題。

但是人工智能已經(jīng)在能夠?qū)⑼ㄋ兹送媾诠烧浦g了?？的螤柎髮W(xué)的研究人員發(fā)現(xiàn)，在 66% 的情況下，人們認(rèn)為 GPT-2 生成的假新聞文章是可信的。

另一項(xiàng)研究發(fā)現(xiàn)，未經(jīng)訓(xùn)練的人識(shí)別 GPT-* 生成文本的準(zhǔn)確率低得就像隨機(jī)選擇的差不多。

伊波利托說(shuō)，好動(dòng)靜是人們能夠承受訓(xùn)練，以更好地識(shí)別 AI 生成的文本。她開(kāi)發(fā)了一個(gè)游戲來(lái)測(cè)試在用戶意識(shí)到之前人工智能模子能夠生成幾句子。她發(fā)現(xiàn)跟著時(shí)間的推移，人們會(huì)逐步做得更好。

“若是你查看大量生成文本，并試圖找出此中沒(méi)有意義的處所，你就能夠更好地完成那項(xiàng)使命，”她說(shuō)。一種辦法是發(fā)現(xiàn)那些難以置信的表述，好比人工智能會(huì)說(shuō)煮一杯咖啡需要 60 分鐘。

ChatGPT 的前身 GPT-* 在 2020 年才問(wèn)世。OpenAI 暗示 ChatGPT 只是一個(gè)演示，但開(kāi)發(fā)類似功用強(qiáng)大的模子，并將其應(yīng)用到用于客服聊天機(jī)器人等產(chǎn)物中，只是時(shí)間問(wèn)題。

那就是問(wèn)題的癥結(jié)所在：該范疇的飛速開(kāi)展意味著，識(shí)他人工智能生成文本的許多辦法城市很快過(guò)時(shí)。若是那是一場(chǎng)人類和人工智能之間的軍備競(jìng)賽，那么如今人類正在失敗。

撐持：Ren

原文：

021yin.com/2022/12/1*/106***6/how-to-spot-ai-generated-text/