OpenAI متن ChatGPT را در اتحادیه اروپا واترمارک می‌کند؛ textGrain چگونه کار می‌کند؟

OpenAI در ۵ اکتبر ۲۰۲۶ برنامه خود برای شناسایی‌پذیر کردن متن‌های تولیدشده با محصولاتش در اتحادیه اروپا را تشریح کرد. محور این برنامه فناوری textGrain است؛ واترمارکی آماری و نامرئی که به‌جای اضافه کردن نشانه‌ای قابل مشاهده یا کاراکتر مخفی، الگوی انتخاب واژه‌ها و توکن‌های مدل را تغییر می‌دهد.

برنامه OpenAI سه بخش اصلی دارد: مشتریان API در سراسر جهان می‌توانند برای مدل‌های منتخب واترمارک را به‌صورت اختیاری فعال کنند؛ textGrain برای خروجی‌های متنی واجد شرایط ChatGPT و Codex در اتحادیه اروپا عرضه می‌شود؛ و ابزار تشخیص نیز در ابتدا فقط در اختیار پژوهشگران و سازمان‌های متخصص تأییدشده قرار می‌گیرد.

در یک نگاه

OpenAI دقیقاً چه چیزی اعلام کرده است؟

واترمارک اختیاری برای API

از ۵ اکتبر ۲۰۲۶، مشتریان API در سراسر جهان می‌توانند قابلیت واترمارک متن را برای مدل‌های منتخب فعال کنند. این قابلیت به‌صورت پیش‌فرض خاموش است و توسعه‌دهنده باید خودش تصمیم بگیرد که آن را فعال کند.

OpenAI همچنین اعلام کرده است که این قابلیت طی هفته‌های آینده در اختیار برخی شرکای ابری نیز قرار خواهد گرفت.

ChatGPT و Codex در اتحادیه اروپا

OpenAI اعلام کرده textGrain برای خروجی‌های متنی واجد شرایط ChatGPT و Codex در همه پلن‌ها و فقط در اتحادیه اروپا عرضه می‌شود. این شرکت فعلاً قصد ندارد واترمارک متن را به پیش‌فرض جهانی ChatGPT تبدیل کند.

عبارت «واجد شرایط» مهم است، زیرا OpenAI هنوز جزئیات کامل اینکه دقیقاً کدام مدل‌ها و کدام نوع خروجی‌ها مشمول واترمارک می‌شوند منتشر نکرده است.

در مورد Codex نیز نباید فرض کرد که همه انواع خروجی، از جمله تمام کدهای منبع، الزاماً مشمول یک سیاست واحد هستند؛ راهنمای اتحادیه اروپا برای برخی انواع محتوا از جمله source code استثناهایی در نظر گرفته است.

ابزار تشخیص فعلاً عمومی نیست

درخواست دسترسی به ابزار تشخیص textGrain باز شده، اما دسترسی اولیه فقط به پژوهشگران و سازمان‌های متخصص تأییدشده داده می‌شود و درخواست‌ها به‌صورت موردی بررسی خواهند شد.

این ابزار صرفاً بررسی می‌کند که آیا سیگنال واترمارک OpenAI در متن قابل شناسایی است یا نه. detector هویت کاربر را مشخص نمی‌کند، حساب ChatGPT را شناسایی نمی‌کند و پرامپت یا مکالمه اصلی را نیز آشکار نمی‌سازد.

OpenAI خطر مثبت کاذب و از دست رفتن سیگنال واترمارک را از دلایل عمومی نکردن این ابزار عنوان کرده است.

چرا OpenAI سراغ واترمارک متن رفته است؟

محرک اصلی این تصمیم، الزامات شفافیت قانون هوش مصنوعی اتحادیه اروپا است.

ماده ۵۰ این قانون از ارائه‌دهندگان سیستم‌های هوش مصنوعی مولد می‌خواهد خروجی‌های مصنوعی را به شکلی قابل خواندن برای ماشین علامت‌گذاری کنند تا امکان تشخیص منشأ ماشینی محتوا فراهم شود.

واترمارک متن برای OpenAI موضوع تازه‌ای نیست. این شرکت پیش‌تر نیز روی روش‌های مشابه کار کرده بود، اما یکی از نگرانی‌های اصلی، تأثیر احتمالی چنین سیستم‌هایی بر تجربه کاربران و رقابت با سرویس‌هایی بود که محدودیت مشابهی نداشتند.

رویکرد فعلی OpenAI این نگرانی را تا حدی مدیریت می‌کند: واترمارک پیش‌فرض ChatGPT در شروع به اتحادیه اروپا محدود شده و برای API نیز به‌صورت opt-in ارائه می‌شود.

textGrain چگونه کار می‌کند؟

textGrain یک واترمارک بصری نیست. هیچ علامت، برچسب یا کاراکتر مخفی مشخصی به متن اضافه نمی‌شود.

این فناوری هنگام تولید متن روی فرایند انتخاب توکن‌ها اثر می‌گذارد و با استفاده از یک کلید مخفی، نوعی الگوی آماری در انتخاب‌های مدل ایجاد می‌کند. ابزار تشخیص بعداً می‌تواند با در اختیار داشتن متن و کلید مربوط، وجود این الگو را بررسی کند.

به زبان ساده، ظاهر متن عادی باقی می‌ماند؛ سیگنال در نحوه انتخاب کلمات پنهان شده است.

به همین دلیل، کپی و پیست ساده لزوماً واترمارک را مانند metadata از بین نمی‌برد. اما اگر خود واژه‌ها تغییر کنند، سیگنال می‌تواند ضعیف شود.

OpenAI می‌گوید textGrain در آزمایش‌های داخلی عملکردی مشابه یا بهتر از برخی روش‌های دیگر واترمارک متن، از جمله SynthID for Text گوگل دیپ‌مایند، داشته است. با این حال، شرکت تأکید می‌کند که عملکرد خوب در شرایط آزمایشگاهی به معنی تشخیص قابل اعتماد در همه سناریوهای واقعی نیست.

واترمارک تا چه حد قابل اعتماد است؟

اعداد منتشرشده فعلاً از آزمایش‌های خود OpenAI به دست آمده‌اند و باید در همین چارچوب تفسیر شوند.

اثر طول و نوع متن

در آزمایش‌هایی با نرخ مثبت کاذب هدف ۱ درصد، حدود ۸۰ درصد از متن‌های ۲۰۰ توکنی و حدود ۹۵ درصد از متن‌های ۴۰۰ توکنی در دسته‌هایی مانند محتوای روان‌شناسی شناسایی شدند.

در محتوایی مانند ریاضی، نرخ تشخیص پایین‌تر بود. دلیل این مسئله این است که در متن‌های ریاضی یا بسیار ساختاریافته، مدل آزادی کمتری برای انتخاب میان کلمات مختلف دارد و در نتیجه فضای کمتری برای ایجاد سیگنال واترمارک وجود دارد.

اثر ویرایش روی واترمارک

ویرایش متن می‌تواند اثر قابل‌توجهی بر قدرت تشخیص داشته باشد.

در یکی از آزمایش‌های OpenAI روی متن‌های ۴۰۰ توکنی انگلیسی، نرخ تشخیص در حالت بدون ویرایش حدود ۹۲ درصد بود.

با جایگزینی ۱۰ درصد از کلمات با مترادف، نرخ تشخیص به حدود ۶۶ درصد کاهش یافت. با جایگزینی ۲۵ درصد کلمات، این رقم به حدود ۱۷ درصد رسید.

این نتایج نشان می‌دهد که حتی بازنویسی نسبتاً محدود نیز می‌تواند سیگنال واترمارک را به‌شدت تضعیف کند.

ترجمه نیز یکی دیگر از چالش‌هاست، زیرا در فرایند ترجمه بسیاری از انتخاب‌های واژگانی متن اصلی تغییر می‌کنند.

آیا واترمارک کیفیت پاسخ‌های مدل را پایین می‌آورد؟

OpenAI مدل Astra را با واترمارک و بدون واترمارک روی چند benchmark آزمایش کرده است. جمع‌بندی شرکت این است که در مجموع تفاوت معناداری در عملکرد دیده نشده است.

در برخی benchmarkها امتیاز نسخه واترمارک‌دار کمی بالاتر و در برخی دیگر کمی پایین‌تر است.

این داده‌ها فعلاً شواهدی از افت سیستماتیک و معنادار کیفیت نشان نمی‌دهند، اما همگی توسط خود OpenAI منتشر شده‌اند و ارزیابی مستقل پس از عرضه گسترده می‌تواند تصویر دقیق‌تری ارائه کند.

واترمارک چه چیزهایی را ثابت نمی‌کند؟

وجود یا نبود textGrain نباید به‌عنوان یک حکم قطعی درباره نویسنده متن تفسیر شود.

OpenAI صراحتاً می‌گوید وجود واترمارک:

• میزان مشارکت انسان در تولید یا ویرایش متن را مشخص نمی‌کند؛

• مالکیت یا مسئولیت متن را تعیین نمی‌کند؛

• هویت کاربر را آشکار نمی‌کند؛

• درستی اطلاعات موجود در متن را تأیید نمی‌کند.

از طرف دیگر، پیدا نشدن واترمارک نیز اثبات نمی‌کند که متن توسط انسان نوشته شده است.

ممکن است متن بسیار کوتاه باشد، ویرایش یا ترجمه شده باشد، با مدلی تولید شده باشد که از textGrain پشتیبانی نمی‌کند، مربوط به پیش از اجرای واترمارک باشد یا توسط یک سیستم هوش مصنوعی دیگر تولید شده باشد.

به همین دلیل، detector باید به‌عنوان یک سیگنال provenance در نظر گرفته شود، نه یک «آزمون قطعی تشخیص متن هوش مصنوعی».

قانون هوش مصنوعی اتحادیه اروپا دقیقاً چه می‌خواهد؟

بند ۲ ماده ۵۰ قانون هوش مصنوعی اتحادیه اروپا از ارائه‌دهندگان سیستم‌های مولد می‌خواهد خروجی‌های مصنوعی را در قالبی قابل خواندن برای ماشین علامت‌گذاری کنند تا امکان تشخیص آنها وجود داشته باشد.

راه‌حل‌های فنی نیز باید تا جایی که از نظر فنی ممکن است مؤثر، قابل اعتماد، مقاوم و سازگار با سایر سیستم‌ها باشند.

برای برخی موارد، از جمله سیستم‌هایی که صرفاً ویرایش استاندارد انجام می‌دهند یا برخی انواع خروجی مانند source code، استثناهایی وجود دارد.

بند ۴ ماده ۵۰ به استفاده‌کنندگان از سیستم‌های هوش مصنوعی مربوط است. اگر متنی تولیدشده یا دست‌کاری‌شده با هوش مصنوعی برای اطلاع‌رسانی درباره موضوعات مورد علاقه عمومی منتشر شود، در حالت کلی باید استفاده از هوش مصنوعی اعلام شود.

با این حال، اگر متن تحت بازبینی یا کنترل سردبیری انسانی واقعی قرار گرفته باشد و یک شخص یا نهاد مشخص مسئولیت سردبیری آن را بر عهده بگیرد، این الزام می‌تواند متفاوت باشد.

ماده ۵۰ از ۲ اوت ۲۰۲۶ اعمال می‌شود. با این حال، برای برخی سیستم‌هایی که پیش از این تاریخ وارد بازار شده‌اند، اجرای الزام‌های مربوط به marking و detection تا ۲ دسامبر ۲۰۲۶ یک دوره گذار محدود دارد.

تخلف از الزامات شفافیت این قانون می‌تواند مشمول جریمه شود که در برخی موارد برای شرکت‌ها تا ۱۵ میلیون یورو یا ۳ درصد گردش مالی سالانه جهانی آنها می‌رسد.

رویکرد OpenAI با Anthropic چه تفاوتی دارد؟

OpenAI تنها شرکتی نیست که برای متن‌های تولیدشده با مدل‌های زبانی سراغ واترمارک رفته است.

Anthropic نیز برای برخی مدل‌های Claude از فناوری واترمارک متن استفاده می‌کند. تفاوت مهم این است که Anthropic رویکرد جغرافیایی محدود به اتحادیه اروپا را انتخاب نکرده و marking را برای مدل‌های پشتیبانی‌شده در مناطقی که آن مدل‌ها عرضه می‌شوند اعمال می‌کند.

OpenAI در مقابل، عرضه پیش‌فرض textGrain برای ChatGPT و Codex را در ابتدا به اتحادیه اروپا محدود کرده و واترمارک API را در سراسر جهان به‌صورت اختیاری ارائه می‌دهد.

این دو رویکرد نشان می‌دهند که شرکت‌ها می‌توانند برای پاسخ به الزامات مشابه شفافیت، سیاست‌های محصول متفاوتی انتخاب کنند.

جمع‌بندی

textGrain قرار نیست به متن ChatGPT یک برچسب قابل مشاهده اضافه کند و نمی‌تواند به‌تنهایی تعیین کند چه کسی واقعاً نویسنده یک متن است.

این فناوری یک سیگنال آماری provenance ایجاد می‌کند که در شرایط مناسب می‌تواند نشان دهد متن احتمالاً توسط یک سیستم پشتیبانی‌شده OpenAI تولید شده است. با این حال، طول متن، نوع محتوا، ترجمه و حتی ویرایش نسبتاً محدود می‌توانند قدرت تشخیص را کاهش دهند.

برای کاربران، سه نکته مهم‌تر از بقیه است: واترمارک ChatGPT و Codex به خروجی‌های متنی واجد شرایط در اتحادیه اروپا مربوط می‌شود؛ واترمارک API در سراسر جهان اختیاری و پیش‌فرض خاموش است؛ و نبود واترمارک هرگز به این معنا نیست که یک متن حتماً توسط انسان نوشته شده است.