חברת Anthropic פרסמה הסברים טכניים על אופן פעולת סימני המים (watermarks) שייכללו בטקסטים שמייצר הצ'אטבוט Claude, כחלק מהיערכות לדרישות רגולציית ה-EU AI Act. החברה מבהירה כיצד עובד המנגנון, מתי ניתן לעקוף אותו ומה ההשפעה על קוד תכנות.
חברת Anthropic פרסמה ביום שישי פוסט בבלוג שבו היא מנסה לענות על שאלות בסיסיות בנוגע לאופן שבו יתבצע סימון (watermarking) של טקסטים שמייצר הצ'אטבוט Claude. הפרסום מגיע בעקבות הכרזה מוקדמת יותר השבוע לפיה החברה תסמן טקסטים כדי לעמוד בדרישות ה-Transparency Code של ה-EU AI Act, שמחייב חברות בינה מלאכותית להפעיל מנגנונים שמאפשרים לזהות תוכן שנוצר על ידי מכונה.
לפי ההסבר של Anthropic, כאשר Claude מקבל "החלטות בסיכון נמוך" — למשל בחירה בין המילים "מעונן" ל"אפור" בתיאור מזג אוויר — המודל יוצר דפוס בתשובותיו שהוא "בלתי ניתן לזיהוי עבור הקורא, אך ניתן לזיהוי עבור מי שמחזיק במפתח שמפענח אותו". החברה מדגישה כי "סימון המים אינו פוגע באיכות הפלט של Claude", וכי מבחינת קורא רגיל, תשובה מסומנת אינה נבדלת מתשובה שאינה מסומנת.
מבחינה טכנית, Anthropic מציינת כי היא תשתמש בגישת SynthID-Text שפותחה על ידי צוות Google DeepMind ופורסמה ב-2024, ומתכננת להשיק גם API ייעודי לזיהוי סימני המים. החברה מבהירה שמדובר בגישה שונה מכלים כמו Pangram, המחפשים "סימנים" סגנוניים בכתיבה כדי לזהות תוכן שנוצר על ידי בינה מלאכותית — לדבריה, "זיהוי דפוסים כאלה שונה מהותית מבדיקת סימן מים".
אחת השאלות המרכזיות שעלו היא האם ניתן לעקוף את הסימון על ידי עריכה מחדש של הטקסט. Anthropic משיבה כי הדבר אפשרי, אך "עריכה קלה כנראה לא תסיר את סימן המים לחלוטין", בעוד ש"שכתוב מלא שבו כל מילה מוחלפת — כן יסיר אותו". החברה מוסיפה בהקשר זה כי "במקרה כזה, ניתן להתווכח אם עדיין נכון לתאר את הטקסט כתוכן שנוצר על ידי בינה מלאכותית". באשר לטקסטים שעברו רק הגהה או עריכה קלה על ידי Claude, ההשפעה תלויה באורך הטקסט ובמידת השינוי שנעשה בו.
לגבי קוד תכנות, Anthropic מסבירה כי הסימון יהיה חלש יותר, מכיוון שהמודל נדרש לייצר קוד תקין ואין לו חופש רב לבחור בין ניסוחים שקולים. עם זאת, במקומות שבהם קיימת בחירה שרירותית — למשל בהערות בתוך הקוד — ניתן להחיל את הסימון, אם כי "מטבע הדברים תהיה לכך השפעה זניחה על הקוד עצמו".
החברה מציינת גם כי Claude לא יהיה הכלי היחיד שיסומן כך, שכן "מפתחי מודלים גדולים נוספים חתמו על אותו קוד התנהגות ויישמו סימני מים משלהם".
ההכרזה עוררה תגובות נחרצות בקרב משתמשים. ברשת Reddit תיאר משתמש אחד את הצעד כ"קונספירציה נגד משתמשי Claude חפים מפשע", בעוד אחר כתב כי "הסיבה היחידה שמישהו לא ירצה בכך היא כדי לשקר לאנשים". בנוסף, לפי דיווח של Business Insider, עשרות משתמשים ב-X טענו כי ביטלו את המנוי שלהם ל-Claude בעקבות המהלך.
המשמעות המעשית של הצעד, ככל הנראה, נוגעת בעיקר למשתמשים שמשתמשים ב-Claude במסגרות שבהן שימוש בבינה מלאכותית אסור או מוגבל — כגון מקומות עבודה ומוסדות לימוד — שכן סימון כזה עשוי להקשות עליהם להסתיר את מקור הטקסט.