Що тут скажеш - нарешті! Не пройшло й трьох років як інтернет забили новинні сайти, що передруковують або неякісно перекладають контент з інших, реальних новинних сайтів. Такі згенеровані ШІ новинарні можуть публікувати по 1000 новин за день, прекрасно індексуватись і забивати всю видачу, не приносячи користі читачам і крадучи доходи від рекламу у проєктів, які вкладають час та сили, а головне гроші на зарплати працівникам, що створюють ці статті.
Сподіваюсь, Гугл цього разу доведе справу до логічного кінця і почне викидати із Google News такі сайти, щоб нормальні новинні проєкти могли рости та розвиватись.
Спам-контент ШІ по всій мережі
Вам не обов’язково займатися пошуковим просуванням, щоб знати, що генеративний AI-контент знаходить свій шлях до результатів пошуку Google протягом останніх 12 місяців.
За цей час ставлення Google до контенту, створеного ШІ змінилося. Офіційна позиція змінилася з «це спам і порушує наші вказівки» на «ми зосереджені на якості контенту, а не на тому, як контент створюється».
Я впевнений, що заява Google про зосередженість на якості знайшла відгук в багатьох внутрішніх стратегіях SEO, які пропонують контент плани, створені штучним інтелектом. Безсумнівно, позиція Google забезпечила достатньо простору для того, щоб отримати схвалення керівництва багатьох організацій.
Результат: велика кількість низькоякісного контенту, створеного штучним інтелектом, заполонила Інтернет.
Невидимий мотлох
«Видима мережа» — це частина мережі, яку пошукові системи вирішують індексувати та показувати в результатах пошуку.
Ми знаємо з «Як працює пошук і рейтинг Google», за словами Панду Наяка з Google, на основі свідчень проти антимонопольного суду Google, що Google підтримує «лише» індекс ~400 мільярдів документів. Під час сканування Google знаходить трильйони документів.
Це означає, що Google індексує лише 4% документів, з якими він стикається під час сканування Інтернету (400 мільярдів/10 трильйонів).
Google стверджує, що захищає користувачів від спаму в 99% запитів. Якщо це хоч трохи точно, це вже виключає більшість нерелевантного контенту.
Контент – головне, а алгоритм – новий одяг Імператора
Google стверджує, що він добре визначає якість контенту. Але багато спеціалістів із оптимізації пошукових систем і досвідчених менеджерів сайтів не погодяться з цим твердженням. У більшості є приклади, які демонструють низькоякісний контент, що ранжується краще за якісний.
Будь-яка авторитетна компанія, яка інвестує в контент, швидше за все, потрапить до кількох відсотків «хорошого» контенту в Інтернеті. Ймовірно, там також будуть його конкуренти. Google уже виключив масу менших кандидатів на видачу в топі.
З точки зору Google, він зробив фантастичну роботу. 96% документів не потрапили до індексу. Деякі проблеми очевидні для людей, але важко помітити машині.
Я бачив приклади, які приводять до висновку, що Google добре розуміє, які сторінки є «хорошими», а які «поганими» з технічної точки зору, але відносно неефективно відрізняє хороший вміст від чудового.
Google визнав це в антимонопольних документах Міністерства юстиції. У презентації 2016 року сказано: «Ми не розуміємо документів. Ми інтерпитуємо».
Щоб оцінити якість вмісту, Google покладається на взаємодію користувачів із результатами пошуку
Google покладався на взаємодію користувача з результатами пошуку, щоб зрозуміти, наскільки «хорошим» є вміст документа. Пізніше Google пояснює презентацію: «Кожен користувач пошуку отримує користь від відповідей минулих користувачів… і вносить відповіді, які принесуть користь майбутнім користувачам».
Дані про взаємодію, які Google використовує для оцінки якості, завжди були темою для гарячих дискусій. Я вважаю, що для прийняття рішень щодо якості вмісту Google майже повністю використовує взаємодію з результатами пошуку, а не з веб-сайтів. Це виключає показники, які вимірює сайт, як-от показник відмов.
Інженер Google Пол Хаар представив «Як працює Google: історія інженера рейтингу Google» на SMX West у 2016 році. Хаар розповів про результати пошуку Google і про те, як пошукова система «шукає зміни в шаблонах кліків». Він додав, що ці дані користувача «важче зрозуміти, ніж ви могли б очікувати».
Здатність Google інтерпретувати дані користувача та перетворювати їх на щось, що можна зробити, залежить від розуміння причинно-наслідкового зв’язку між змінними та пов’язаними з ними результатами.
Результати пошуку – це єдине місце, за допомогою якого Google може зрозуміти, які змінні присутні. Взаємодія на веб-сайтах вводить величезну кількість змінних поза межами зору Google.
Навіть якби Google міг ідентифікувати та кількісно оцінити взаємодію з веб-сайтами (що, ймовірно, було б складніше, ніж оцінка якості вмісту), існував би додатковий ефект із експоненціальним зростанням різних наборів змінних, кожна з яких вимагала б мінімальних порогових значень трафіку.
Бренди і вигрібна яма
Google каже, що «діалог» між SERP і користувачами є «джерелом магії» в тому, як йому вдається «підробити» розуміння документів.
Окрім того, що ми бачили на засіданнях Міністерства юстиції, підказки до того, як Google використовує взаємодію з користувачем у рейтингах, включено до її патентів.
Для мене особливо цікавий «Показник якості сайту», який (якщо дуже спрощено) розглядає такі зв’язки, як:
Коли користувачі включають бренд/навігаційні терміни у свій запит або коли веб-сайти включають їх у свої анкори. Наприклад, пошуковий запит або анкор посилання для «seo news searchengineland», а не «seo news».
Коли користувачі вибирають певний результат у SERP.
Ці сигнали можуть означати, що сайт є виключно релевантною відповіддю на запит.
Цей метод оцінки якості узгоджується з висловом Еріка Шмідта з Google: «Бренди — це рішення».
Це має сенс у світлі досліджень, які показують, що користувачі сильно упереджено ставляться до брендів.
Наприклад, коли їх попросили виконати таке дослідницьке завдання, як покупка святкової сукні або пошук круїзної відпустки, 82% учасників вибрали бренд, який їм уже знайомий, незалежно від його місця в SERP, згідно з опитування Red C.
Створювати бренди та їх просування коштує дорого. Логічно, що Google буде покладатися на них у рейтингу результатів пошуку.
Що Google вважає спамом штучного інтелекту?
Цього року Google опублікувала вказівки щодо контенту, створеного штучним інтелектом, у якому йдеться про політику щодо спаму, яка визначає вміст, який «призначений для маніпулювання результатами пошуку».
Згідно з визначенням Google, спам – це «текст, створений за допомогою автоматизованих процесів без урахування якості чи взаємодії з користувачем». Я інтерпретую це як будь-кого, хто використовує системи штучного інтелекту для створення контенту без людського процесу забезпечення якості.
Можливо, можуть бути випадки, коли система генеративного штучного інтелекту навчається на закритих або приватних даних. Його можна налаштувати на більш детермінований вихід, щоб зменшити галюцинації та помилки. Ви можете стверджувати, що це QA перед фактом. Ймовірно, це буде рідко використовувана тактика.
Все інше я буду називати «спамом».
Створення такого роду спаму раніше було зарезервовано для тих, хто мав технічну можливість очищати дані, створювати бази даних для madLibbing або використовувати PHP для створення тексту з ланцюжками Маркова.
ChatGPT зробив спам доступним для мас за допомогою кількох підказок і простого API та неналежної політики публікації OpenAI, яка зазначає:
«Роль штучного інтелекту у формулюванні контенту чітко розкрита таким чином, що жоден читач не зможе пропустити, і що типовому читачеві буде досить легко зрозуміти».
Обсяг створеного ШІ контенту, який публікується в Інтернеті, величезний. Пошук Google за запитом «regenerate response -chatgpt -results» відображає десятки тисяч сторінок із вмістом штучного інтелекту, створеним «вручну» (тобто без використання API).
У багатьох випадках QA був настільки поганим, що «автори» залишалися в «регенерованій відповіді» зі старіших версій ChatGPT під час їх копіювання та вставки тексту на сайт.
Патерни спаму вмісту ШІ
Коли з’явився GPT-3, я хотів побачити, як Google відреагує на невідредагований контент, створений ШІ, тому я створив свій перший тестовий веб-сайт.
Ось що я зробив:
Купив абсолютно новий домен і налаштував базову установку WordPress.
Отримав рейтинг 10 000 найпопулярніших ігор, які продавалися в Steam.
Завантажив ці ігри в API AlsoAsked, щоб отримати запитання, які люди задають про ці ігри.
Використовував GPT-3 для отримання відповідей на ці запитання.
Створіть схему FAQPage для кожного запитання та відповіді.
Зібрав URL-адресу відео YouTube про гру для вставлення на сторінку.
Використовуйте API WordPress, щоб створити сторінку для кожної гри.
На сайті не було реклами чи інших функцій монетизації.
Увесь процес зайняв кілька годин, і я отримав новий веб-сайт із 10 000 сторінок із запитаннями та відповідями про популярні відеоігри.
І Bing, і Google з’їли вміст і протягом трьох місяців проіндексували більшість сторінок.
На піку свого розвитку Google забезпечував понад 100 кліків на день, а Bing навіть більше.
Результати тесту:
Приблизно через 4 місяці Google вирішив не ранжувати частину контенту, що призвело до падіння трафіку на 25%.
Через місяць Google перестав давати трафік.
Bing продовжував надсилати трафік протягом усього періоду.
Найцікавіше? Схоже, Google не вжив заходів вручну. У Google Search Console не було жодного повідомлення, а двоетапне зменшення трафіку змусило мене скептично поставитися до будь-якого ручного втручання.
Я неодноразово бачив цей шаблон із чистим вмістом ШІ:
Google індексує сайт.
Трафік забезпечується швидко зі стабільним приростом щотижня.
Тоді трафік досягає піку, за яким слідує швидкий спад.
Іншим прикладом є випадок Causal.app. Під час цього «пограбування SEO» карту сайту конкурента було зіскреплено, і за допомогою штучного інтелекту було створено понад 1800 статей. Трафік розвивався за тією самою схемою, зростаючи за кілька місяців до зупинки, потім падіння приблизно на 25%, після чого стався збій, який зрізав майже весь трафік.
У SEO-спільноті точаться певні дискусії щодо того, чи було це падіння ручним втручанням через висвітлення в пресі. Я вважаю, що алгоритм спрацював.
Подібний і, можливо, більш цікавий приклад включав «спільні» статті про штучний інтелект LinkedIn. Ці створені за допомогою штучного інтелекту статті, створені LinkedIn, запрошували користувачів до «співпраці» з перевіркою фактів, виправленнями та доповненнями. Він нагородив «найкращих учасників» значком LinkedIn за їхні зусилля.
Як і в інших випадках, трафік зріс, а потім впав. Однак LinkedIn зберіг певний трафік.
Ці дані вказують на те, що коливання трафіку є результатом дії алгоритму, а не дії вручну.
Після редагування людиною деякі спільні статті LinkedIn, очевидно, відповідали визначенню корисного вмісту. За оцінками Google, інші – ні.
Можливо, у цьому випадку Google все зробив правильно.
Якщо це спам, чому він взагалі займає рейтинг?
Судячи з усього, що я бачив, ранжування — це багатоетапний процес для Google. Час, витрати та обмеження доступу до даних перешкоджають реалізації більш складних систем.
Хоча оцінка документів ніколи не припиняється, я вважаю, що є затримка, перш ніж системи Google виявляють вміст низької якості. Ось чому ви бачите, як шаблон повторюється: вміст проходить початковий «тест на нюх», щоб ідентифікувати його лише пізніше.
Давайте розглянемо деякі докази цього твердження. Раніше в цій статті ми коротко ознайомилися з патентом Google «Якість сайту» та тим, як вони використовують дані про взаємодію з користувачем, щоб отримати цей бал для рейтингу.
Коли сайт абсолютно новий, користувачі не взаємодіяли з вмістом у пошуковій видачі. Google не може отримати доступ до якості вмісту.
Що ж, інший патент для прогнозування якості сайту охоплює цю ситуацію.
Знову ж таки, сильно спрощуючи, показник якості для нових сайтів прогнозується шляхом попереднього отримання вимірювання відносної частоти для кожної з безлічі фраз, знайдених на новому сайті.
Потім ці показники наносяться на карту за допомогою попередньо створеної моделі фрази, створеної на основі показників якості, встановлених для сайтів, які раніше оцінювалися.
Якби Google все ще використовував цей підхід, це означало б, що багато нових веб-сайтів ранжувались на основі «першого припущення» з показником якості, включеним в алгоритм. Пізніше рейтинг уточнюється на основі даних взаємодії користувачів.
Я помітив, і багато колег погоджуються, що Google інколи підвищує рейтинг сайтів протягом, здається, «тестового періоду».
Наша теорія тоді полягала в тому, що проводилося вимірювання, щоб побачити, чи відповідає взаємодія користувача прогнозам Google. Якщо ні, трафік зменшувався так само швидко, як і зростав. Якщо він працював добре, він продовжував користуватися здоровою позицією в SERP.
Багато патентів Google містять посилання на «неявні відгуки користувачів», включаючи цю дуже відверту заяву:
«Підсистема рейтингу може включати механізм модифікації рейтингу, який використовує неявний відгук користувача, щоб спричинити переранжування результатів пошуку з метою покращення остаточного рейтингу, представленого користувачеві».
Варто зазначити, що це старий патент і один із багатьох. Після публікації цього патенту Google розробив багато нових рішень, як-от:
RankBrain, який спеціально згадується як обробник «нових» запитів для Google.
SpamBrain, один із основних інструментів Google для боротьби з веб-спамом.
Google: пам’ятайте про розрив
Я не думаю, що хтось, окрім тих, хто має власні інженерні знання в Google, точно знає, скільки даних про взаємодію між користувачем і пошуковою системою буде застосовано до окремих сайтів, а не до загальної пошукової видачі.
Тим не менш, ми знаємо, що сучасні системи, такі як RankBrain, принаймні частково навчені на даних про кліки користувачів.
Одна річ також викликала мій інтерес до аналізу AJ Kohn щодо свідчень Міністерства юстиції щодо цих нових систем. Він пише:
«Є низка посилань на переміщення набору документів із «зеленого кільця» до «блакитного». Усі вони стосуються документа, який я ще не зміг знайти. Однак, виходячи зі свідчень, здається, він візуалізує те, як Google відбирає результати від великого набору до меншого, де потім може застосувати додаткові фактори ранжування».
Це підтверджує мою теорію нюхального тесту. Якщо веб-сайт проходить, він переміщується в інше «кільце» для більшої обчислювальної або інтенсивної обробки для підвищення точності.
Я вважаю, що нинішня ситуація така:
Поточні системи рейтингу Google не встигають за створенням і публікацією контенту, створеного штучним інтелектом.
Оскільки системи gen-AI створюють граматично правильний і здебільшого «розумний» контент, вони проходять «тести на нюх» Google і будуть класифікуватися до завершення подальшого аналізу.
Ось у чому проблема: швидкість, з якою цей контент створюється за допомогою генеративного штучного інтелекту, означає, що існує нескінченна черга сайтів, які чекають на початкову оцінку від Google.
HCU переходить на UGC, щоб перемогти GPT?
Я вважаю, що Google знає, що це одна з головних проблем, з якою вони стикаються. Якщо я дозволю собі трохи припустити, можливо, нещодавні оновлення Google, такі як оновлення корисного вмісту (HCU), були застосовані, щоб компенсувати цю слабкість.
Не секрет, що HCU та системи «прихованих дорогоцінних каменів» принесли користь сайтам, створеним користувачами (UGC), таким як Reddit.
Reddit вже був одним із найбільш відвідуваних веб-сайтів. Нещодавні зміни в Google збільшили видимість у пошуку більш ніж удвічі за рахунок інших веб-сайтів.
Моя теорія змови полягає в тому, що UGC-сайти, за кількома помітними винятками, є одними з найменш імовірних місць, де можна знайти масовий вміст AI, оскільки більшість контенту, опублікованого на UGC-сайтах, модерується.
Хоча вони можуть бути не «ідеальними» результатами пошуку, загальне задоволення від перегляду необроблених користувальницьких матеріалів може бути вищим, ніж від постійного рейтингу Google того, що ChatGPT останнє викинуло в Інтернет.
Зосередження на UGC може бути тимчасовим виправленням для підвищення якості;
Google не може досить швидко впоратися зі спамом штучного інтелекту.
Як виглядає довгостроковий план Google щодо спаму зі штучним інтелектом?
Значну частину свідчень про Google у суді Міністерства юстиції надав Ерік Леман, колишній співробітник із 17-річним стажем, який працював інженером із програмного забезпечення над якістю пошуку та рейтингом.
Однією з повторюваних тем були заяви Lehman про те, що системи машинного навчання Google, BERT і MUM, стають важливішими за дані користувачів. Вони настільки потужні, що, ймовірно, у майбутньому Google покладатиметься на них більше, ніж на дані користувачів.
Завдяки фрагментам даних про взаємодію з користувачем пошукові системи мають чудовий проксі-сервер, на основі якого вони можуть приймати рішення. Обмеження полягає в зборі достатньої кількості даних досить швидко, щоб не відставати від змін, тому деякі системи використовують інші методи.
Припустімо, Google може побудувати свої моделі, використовуючи такі досягнення, як BERT, щоб значно підвищити точність свого першого аналізу вмісту. У цьому випадку вони зможуть усунути прогалину та суттєво скоротити час, потрібний для виявлення та зниження рейтингу спаму.
Ця проблема існує і її можна використовувати. Тиск на Google, щоб усунути свої недоліки, зростає, оскільки все більше людей шукають можливості, які не потребують зусиль і дають хороші результати.
За іронією долі, коли система стає ефективною в масштабній боротьбі з конкретним типом спаму, система може стати майже зайвою, оскільки зменшується можливість і мотивація брати участь.