ثبت بازخورد

لطفا میزان رضایت خود را از دیجیاتو انتخاب کنید.

Very satisfied Satisfied Neutral Dissatisfied Very dissatisfied
واقعا راضی‌ام
اصلا راضی نیستم
چطور میتوانیم تجربه بهتری برای شما بسازیم؟

نظر شما با موفقیت ثبت شد.

از اینکه ما را در توسعه بهتر و هدفمند‌تر دیجیاتو همراهی می‌کنید
از شما سپاسگزاریم.

OpenAI CSAM
هوش مصنوعی

OpenAI با ابزار و سیاست‌های جدید به جنگ دیپ‌فیک‌های آزار کودکان می‌رود

ابزار جدید OpenAI با تشخیص تصاویر جعلی هوش مصنوعی، خطاهای کاذب در شناسایی محتوای آزار کودکان را ۴۸ درصد کاهش می‌دهد.

جواد تاجی
جواد تاجی منتشر شده در 26 آبان 1405  |  15:58

شرکت OpenAI از ابزار جدیدی رونمایی کرده که به گفته این شرکت، به بازرسان پرونده‌های مربوط به آزار جنسی کودکان کمک می‌کند تا از میان حجم انبوه گزارش‌ها، موارد آسیب‌زا را سریع‌تر شناسایی کرده و برای رسیدگی به آنها اقدام کنند.

این شرکت در یک نشست خبری که روز دوشنبه برگزار شد، این ابزار را معرفی کرد که می‌تواند تصاویر آزاردهنده کودکان را با دقت بیشتری تشخیص دهد و مشخص کند که آیا این محتوا با هوش مصنوعی تولید شده است یا خیر. OpenAI همچنین دسترسی رایگان به این ابزار را در اختیار سازمان‌های تأییدشده قرار می‌دهد، راهنمایی‌های بیشتری برای تشخیص این نوع محتوا به توسعه‌دهندگان ارائه می‌کند و به آموزش نیروهای مجری قانون درباره نحوه استفاده از هوش مصنوعی در تحقیقاتشان کمک خواهد کرد.

این خبر درحالی منتشر شده که سیاست‌گذاران و نهادهای مختلف خواستار اعمال محدودیت‌های ایمنی بیشتر بر ابزارهای هوش مصنوعی هستند و OpenAI و سایر شرکت‌ها را به ساده‌سازی آسیب رساندن به کودکان متهم می‌کنند.

در سال‌های اخیر، تصاویر جنسی دیپ‌فیک تولیدشده توسط هوش مصنوعی از کودکان، سامانه‌هایی مانند CyberTipline متعلق به مرکز ملی کودکان گمشده و استثمارشده آمریکا (NCMEC) را با خطر اشباع روبه‌رو کرده است. این سامانه که گزارش‌های مربوط به محتوای آزار جنسی کودکان (CSAM) را جمع‌آوری و اولویت‌بندی می‌کند، در سال ۲۰۲۵ میلادی ۴۰۰ هزار گزارش مرتبط با هوش مصنوعی مولد دریافت کرده که نسبت به ۶۷ هزار گزارش در سال ۲۰۲۴ میلادی افزایش چشمگیری داشته است. پژوهشگران نیز هشدار داده‌اند که این هجوم می‌تواند حجم کاری NCMEC را «غیرقابل مدیریت» کند.

دولت ایالات متحده اعلام کرده که تولید و انتشار محتوای آزار جنسی کودکان، چه با هوش مصنوعی و چه بدون آن، غیرقانونی است و ۴۸ ایالت نیز قوانینی برای مقابله با دیپ‌فیک‌های جنسی مبتنی بر هوش مصنوعی وضع کرده‌اند. با‌این‌حال، ابزارهای ساخت چنین تصاویری به‌طور گسترده در دسترس هستند و به گفته پژوهشگران، تصاویر جعلی می‌تواند تشخیص مواردی را که در آن یک کودک واقعاً در معرض آسیب قرار دارد، دشوارتر کند.

«جف جکسون»، دادستان کل کارولینای شمالی و رئیس مشترک کارگروه هوش مصنوعی اتحادیه دادستان‌های کل، در رویداد OpenAI گفت که تعداد گزارش‌های مربوط به محتوای آزار کودکان که توسط هوش مصنوعی تولید شده‌اند بسیار زیاد است و اگر این روند ادامه داشته باشد، «به این معنا خواهد بود که ما در مأموریت خود شکست می‌خوریم».

تصویری از ابزار OpenAI

شرکت‌های فناوری با مجموعه‌ای از پیشنهادها روبه‌رو هستند که می‌تواند آنها را ملزم به اقدامات بیشتر در برابر محتوای آزار کودکان و سایر محتواهای بالقوه مضر برای آنها کند. قانون «Take It Down Act» اکنون پلتفرم‌های شبکه‌های اجتماعی را ملزم می‌کند که تصاویر خصوصی بدون رضایت یا تولیدشده با هوش مصنوعی را ظرف ۴۸ ساعت حذف کنند و کنگره جدید آمریکا نیز ممکن است اقدامات سخت‌گیرانه‌تری علیه شرکت‌های هوش مصنوعی مانند SpaceXSI انجام دهد که چت‌بات Grok آن اوایل امسال برای ساخت تصاویر برهنه جعلی از کاربران مورد استفاده قرار گرفته بود.

دقت بالاتر ابزار جدید OpenAI در شناسایی دیپ‌فیک‌های آزار کودکان

OpenAI می‌گوید ابزار جدیدش موارد مثبت کاذب را به‌طرز چشمگیری کاهش می‌دهد؛ به‌طوری‌که ۴۸ درصد، تصاویر کمتری را به‌عنوان مورد مشکوک علامت‌گذاری می‌کند، درحالی‌که احتمال وجود محتوای آزاردهنده در تصاویر شناسایی‌شده توسط آن دو برابر بیشتر است. این ابزار به گونه‌ای طراحی شده که تصاویر آزاردهنده تولیدشده توسط طیف وسیعی از ابزارها، از جمله مدل‌های متن‌باز و اپلیکیشن‌های برهنه‌سازی را شناسایی کند.

«جان باکلی»، رئیس سیاست‌گذاری عمومی ایمنی کودکان در OpenAI، در این نشست خبری گفت که این محصول نخستین ابزار طبقه‌بند محتوای آزار کودکان با دسترسی گسترده است که دارای یک نشانگر ویژه برای محتوای تولیدشده توسط هوش مصنوعی است.

ابزار تولید تصویر خود ChatGPT طوری طراحی شده که درخواست‌های کاربران برای تولید محتوای آزار جنسی کودکان را رد کند. اکنون به کاربرانی که برای تولید چنین محتوایی تلاش کنند، هشدار جدیدی نمایش داده می‌شود که با راهنمایی کارشناسان برای تشویق آنها به دریافت کمک تدوین شده است. همچنین نخستین تخلف باعث توقف ۲۴ ساعته دسترسی به ChatGPT می‌شود و به کاربر هشدار می‌دهد که حساب کاربری او ممکن است برای همیشه بسته شود؛ درعین‌حال منابع حمایتی برای مقابله با این رفتار نیز به او ارائه می‌گردد. OpenAI اعلام کرده که «تمامی موارد مرتبط با محتوای آزار جنسی کودکان» را به مرکز NCMEC گزارش می‌دهد.

جکسون می‌گوید هرچند در کارولینای شمالی و بسیاری از ایالت‌های دیگر قوانینی وجود دارد که محتوای مصنوعی آزار کودکان را پوشش می‌دهد، اما همکاری با یک شرکت فناوری مانند OpenAI برای کمک به جلوگیری از تولید این محتواها، رویکردی نسبتاً جدید برای یک مشکل نوظهور است. او به خبرنگاران در این نشست گفت:

«بیشتر کاری که دادستان‌های کل انجام می‌دهند، مربوط به پاسخ‌گویی و پیگرد قانونی است. بخش عمده اختیارات ما پس از وقوع جرم برای پاسخ‌گو کردن افراد در قبال آسیب واردشده فعال می‌شود. اما با این اقدام، ما می‌خواستیم ببینیم آیا امکان ایجاد مدلی برای همکاری جهت پیشگیری از آسیب وجود دارد یا خیر؛ و باید بگویم که این کار هنوز در مرحله آزمایشی است.»

جواد تاجی
جواد تاجی

دوران حرفه‌ای من در دنیای فناوری تقریبا به ۱۰ سال قبل برمی‌گرده؛ مسیری که با سخت‌افزار شروع شد، با نرم‌افزار ادامه پیدا کرد و حالا با خبرنگاری حوزه فناوری توی دیجیاتو داره ادامه پیدا می‌کنه. من جوادم و بیشتر از سه دهه از عمرم می‌گذره و علاوه بر دنیای فناوری عاشق فیلم‌و‌سینما، موسیقی کلاسیک‌راک و رئال مادریدم.

دیدگاه‌ها و نظرات خود را بنویسید
    مطالب پیشنهادی