深偽詐騙：一位印度女性身分被盜作AI色情內容的經過

由於在社交媒體上幾次爆紅，印度Instagram紅人「娃娃阿奇」（Babydoll Archi）僅用了幾天時間就將粉絲數量翻了一番，達到140萬。

其中一段影片顯示，她身穿紅色紗麗，隨著羅馬尼亞歌曲《給我一聲咕嚕》（Dame Un Grr）中翩翩起舞，展現性感。該平台發布的一張照片顯示，她與美國成人電影明星肯德拉·拉斯特（Kendra Lust）合影。

突然間，每個人都想了解她——「娃娃阿奇」這個名字在谷歌（Google）搜尋中迅速走紅，催生了無數的表情包和粉絲專頁。但一個問題即將浮現：這位網路紅人背後並非一位真正的女性。

這個Instagram帳戶是假的，儘管它使用的面孔與一位真實女性——阿薩姆邦迪布魯加爾市的一名家庭主婦（Dibrugarh, Assam）——有著驚人的相似之處，我們把她稱為「桑奇」（Sanchi）。

在她的哥哥報警後，真相才得以揭曉。桑奇的前男友普拉提姆·博拉（Pratim Bora）被捕。

負責調查的高級警官西扎爾·阿加瓦爾（Sizal Agarwal）告訴BBC，桑奇和博拉之間發生了爭執，他創造的人工智能（Artificial Intelligence, AI）肖像是為了對她進行「純粹的報復」。

阿加瓦爾女士說，博拉是一名機械工程師，也是一名自學成才的AI愛好者，他利用桑奇的私人照片創建了一組虛假的個人資料。

• AI深偽技術與摯友的背叛：女教師的生活如何淪為色情內容

• 在被AI警察判定為僅面臨「中等」風險後，西班牙女孩莉娜遇害了

• 人工智能大爆發後的監管命題：風險分類、路線分化與地緣政治陰影

博拉目前被拘留，尚未發表任何聲明。BBC已聯繫他的家人，並將在他們發言後更新報導。

「娃娃阿奇」創建於2020年，首次上傳是在2021年5月。阿加瓦爾女士說，最初的照片是她變形的真實照片。

隨著時間的推移，博拉使用ChatGPT 和（AI驅動圖像創作與編輯平台）Dzine等工具創建了一個AI版本。然後，他用「深度偽造」（Deepfake，又譯深度仿冒、深度造假）的照片和影片填滿了這個帳號。

她補充說，該帳戶從去年開始獲得點贊，但從今年4月開始才開始受到關注。

桑奇沒有社群媒體帳號，直到主流媒體開始報導「娃娃阿奇」，稱她為「網紅」後，她才知道這個帳號的存在。有報導稱，她可能正在進入美國色情行業——這無疑是印度東北部阿薩姆邦的首例。

7月11日晚上，桑奇的家人向警方提交了一份只有兩行字的投訴，並附上了一些照片和影片的印刷品作為證據。

阿加瓦爾女士表示，他們沒有透露任何人的名字，因為他們不知道幕後黑手是誰。

「娃娃阿奇」這個名字對印度警方來說並不陌生。阿加瓦爾女士說，他們也看到媒體報導和評論，猜測她是AI生成的，但並沒有跡象表明它是基於真人。

收到投訴後，警方立即致函Instagram，詢問該帳號創建者的詳細資訊。

「我們從Instagram上收到訊息後，就問桑奇是否認識普拉提姆·博拉。她確認後，我們追蹤到他在鄰近丁蘇基亞區（Tinsukia）的地址。我們於7月12日晚將他逮捕。」

阿加瓦爾女士表示，自從他從帳戶獲利後，警方就「沒收了他的筆記型電腦、手機、硬碟和銀行文件」。

她補充道：「該帳戶在Linktree上有3000個訂閱，我們認為他從中賺了100萬盧比（1.16萬美元；33.94萬元新台幣；8.3萬元人民幣）。我們認為他在被捕前五天就賺了30萬盧比。」

阿加瓦爾女士說，桑奇「極度悲痛，但現在她和家人正在接受心理輔導，情況有所好轉」。

阿加瓦爾女士說，目前實在沒有辦法阻止這樣的事情發生，「但如果我們早點採取行動，我們就可以阻止它產生如此大的影響」。

她補充道：「但桑奇對此毫不知情，因為她沒有社交媒體帳號。她的家人也被這個帳號屏蔽了。直到這件事被廣為傳播後，他們才知道。」

Meta尚未回應BBC關於此案的查詢，但該公司通常不允許發布裸露或色情內容。上個月，美國哥倫比亞廣播公司（CBS）報導稱，該公司刪除了一些推廣AI工具的廣告，這些工具利用真人圖像製作色情深度偽造影片。

「娃娃阿奇」的Instagram帳號曾發布過282篇帖子，但現在已經不再對公眾開放——儘管社交媒體上充斥著她的照片和視頻，而且似乎有一個Instagram帳號包含了所有帖子。 BBC就此事詢問了Meta打算如何處理。

AI專家兼律師梅格納·巴爾（Meghna Bal）表示，桑奇的遭遇「很可怕，但幾乎無法阻止」。

她可以向法院申請被遺忘權，法院可以下令刪除涉及她名字的新聞報導，但很難從網路上抹去所有痕跡。

她說，桑奇的遭遇和女性身上一直存在的遭遇一樣，她們的照片和影片被廣泛傳播，以作報復。

巴爾女士說：「現在有了AI，舉報變得容易多了，但這類事件仍然不像我們預期的那麼常見——或者可能因為污名化而被低估，或者像本案一樣，被舉報的人甚至可能對此毫不知情。」她補充道，觀看影片的人也沒有動力向社交媒體平台或網路犯罪門戶網站舉報。

在對博拉先生的起訴中，警方援引了與性騷擾、傳播淫穢材料、誹謗、偽造損害名譽、冒充他人身份詐騙以及網路犯罪相關的法律條款。如果罪名成立，博拉先生最高可被判處十年監禁。

該案件近日在社群媒體上引發了眾怒，有些人呼籲制定更嚴厲的法律來處理此類案件。

巴爾女士認為，目前有足夠的法律來處理此類案件，但是否有足夠的新法律來處理生成式人工智慧公司仍有待研究。

「但我們也必須記住，深度偽造並不一定是壞事，法律必須謹慎制定，因為它們可以被用作扼殺言論自由的武器。」

• 「深度仿冒」情色視頻崛起 製作幾乎零成本

• 騙徒偽裝中國警察 用AI技術詐騙海外僑民

• 深度造假：「我如何上當受騙墜入愛河？」

• 「我有老公，但愛上了AI男友」——走進中國女性「人機戀」心理

• AI可能已經具備自我意識，我們準備好了嗎？

• 拒絕使用AI的人——他們在想什麼？