Одни уже устали от нейросетей, о которых твердят из каждого утюга, а другие вовсю пользуются ими в работе. Мы решили проверить нейросети в деле. Выбрали пять популярных сервисов и поручили им написать текст по запросу, который понял бы настоящий автор. Показываем, что получилось, и оцениваем результаты.

В этом эксперименте сравниваем тексты от ChatGPT, Notion AI, Davinchi, Rytr и YandexGPT. Оцениваем результаты по пяти критериям: задача и цель текста, структура и логика, факты, стиль, ошибки. Наша цель — показать, как нейросеть справится с задачей, похожей на реальное ТЗ для копирайтера. Учли в запросе, что ИИ часто ошибается, перевирает факты и выдумывает источники, поэтому придумали ту, которую легко проверить.

Вот такой промт мы загнали в нейросети ↓

«Представь, что ты копирайтер с ветеринарным образованием. Напиши пост для телеграм-канала кинолога на тему „Какой корм давать песику, чтобы у него была гладкая шерсть и крепкие зубы“. Напиши про состав и содержание животных ингредиентов. Используй названия кормов, которые можно купить в России. К посту добавь ссылки на актуальные источники. Объем поста — до 2000 знаков с пробелами».

ChatGPT от OpenAI

Самая популярная нейросеть, с которой и начались разговоры: «А не заменит ли нас искусственный интеллект?» ChatGPT — чат-бот, он принимает промт в диалоговом окне и отвечает на него сгенерированным текстом. После можно просить его, например, изменить стиль или убрать какие-то абзацы — учтет предыдущий диалог и внесет корректировки.

Задача и цель текста — 0 ⭐️. С целью ChatGPT не справился: налил воды, создал лишь видимость полезной информации, но не рассказал ничего конкретного. Вместо того чтобы объяснить читателю, как выбирать корм, порекомендовал две популярные марки, которые часто встречаются в рекламе.

Структура и логика — 0,5 ⭐️. ChatGPT выделил разделы, но не связал их логически. Тут и «животные ингредиенты», и «полезные жиры», и «здоровые зубы», и «рекомендуемые корма» — просто перечислил все, о чем мы просили, не продумав структуру.

Факты — 0,5 ⭐️. Их проверить невозможно, потому что тут фактов нет совсем. Вместо них: «корм имеет огромное значение» или «они обеспечивают песика белками, жирами и витаминами», что вряд ли можно считать фактами. ChatGPT «подтвердил» свои утверждения источниками — ссылками на сайты производителей кормов, где нет ни слова из написанного.

Стиль — 0,5 ⭐️. Редактор Надя сказала, что за такое автора можно было бы увольнять. Текст написан канцелярским, сухим языком. Сплошные повторы — «содержащие высокое содержание», странные конструкции типа «питать вашего песика» и отглагольные существительные — «ключевым фактором в обеспечении здоровья и благополучия». Зато добавил эмодзи — правда, здесь их многовато, а некоторые не совсем подходящие.

Ошибки — 0,5 ⭐️. Ошибок не так много, к дефисам вместо тире придираться не будем. Заметили только пару оплошностей, где ChatGPT перепутал местоимения. С требованием к объему тоже не справился: написал на 259 символов больше.

Итоговая оценка: ⭐️ 2/5. Тексты на русском языке ChatGPT даже в новой версии пишет плохо. Получилась сплошная вода, голословные выводы и канцелярит. Проще написать заново, чем пытаться отредактировать.

Notion AI от Notion

Notion AI — нейросеть, встроенная в приложение-планировщик Notion. Она не работает по принципу чат-бота: запросы исчезают, сразу генерируется ответ, а вести диалог с нейросетью не выйдет. Можно просить изменить отдельные куски текста: уменьшить, увеличить, изменить тон, составить саммари.

Задача и цель текста — 0 ⭐️. Notion тоже не справился с задачей. Пообещал рассказать, какой корм выбрать, чтобы песик был здоровым и счастливым, но не получилось. Вместо состава корма написал о функциях белков, жиров и углеводов. Из полезного упоминает только четыре марки кормов.

Структура и логика — 1 ⭐️. Структуру Notion построил верную: пункты отвечают на главный вопрос и согласуются друг с другом. Вот только содержание — пустое.

Факты — 0,5 ⭐️. Notion не сказал ничего конкретного, просто разными словами повторил одну и ту же мысль. «Достоверными» источниками тоже оказались сайты производителей, а не исследования или научные статьи. Вдобавок одна из ссылок не работает: у Orijen сейчас другой домен.

Стиль — 1 ⭐️. У Notion получилось чуть лучше, чем у ChatGPT: канцеляризмов и отглагольных уже меньше. Но несколько раз повторяются словосочетания-клише «ключевой фактор», «источник энергии», «корма с высоким содержанием животных ингредиентов», «гладкая и блестящая шерсть, а также крепкие зубы».

Ошибки — 1 ⭐️. Notion справился без критичных ошибок и смог уложиться в 2000 символов.

Итоговая оценка: ⭐️ 3,5/5. Неплохо, но в телеграм-канал не запостишь. Можно забрать структуру и добавить «мяса» — интересных фактов, примеров и полезной информации.

Davinchi AI

Davinchi — сервис от российских разработчиков, который генерирует разный контент: статьи, посты, имейл-рассылки, сценарии для видео или описания товаров; умеет расшифровывать аудио, создавать картинки и писать код.

Задача и цель текста — 0 ⭐️. Davinchi со своей задачей тоже не справился — просто перечислил несколько популярных марок корма, которые легко найти в поиске. Ничего из этой информации не поможет владельцу собаки определиться с выбором. Описания кормов тоже неинформативные: их можно поменять местами или перемешать названия и ничего не изменится.

Структура и логика — 0,5 ⭐️. Davinchi не последовал нашему запросу и описал марки кормов. Структура хоть и неправильная, но в ней можно проследить логику: введение, подводка к элементам списка, сам список, источники, заключение. В конце Davinchi даже добавил призыв к действию и теги.

Факты — 0,5 ⭐️. Из конкретных фактов в тексте только названия кормов и совет регулярно посещать ветеринара, но снова без подробностей и аргументов. С источниками Davinchi «постарался»: сослался на авторитетные ассоциации. Но вот проблема: ссылки он не прикрепил, да и Российской ассоциации ветеринаров не существует — подумаешь, незначительные детали 🙂

Стиль — 1 ⭐️. В Davinchi нельзя задавать подробные промты, но можно выбрать тип текста, например «посты для соцсетей (бизнес)». Добавили название «Наши любимые песики» и указали, что пишем для телеграм-канала кинолога. Davinchi попытался сымитировать более дружелюбный стиль, но вышло все равно слишком официально и строго. В тексте полно отглагольных и странных конструкций, таких как «расскажем вам об ответе».

Ошибки — 0,5 ⭐️. Ничего критичного: кавычки-лапки вместо «елочек» и «Очень Уважаемая Всемирная Ветеринарная Организация». По правилам с прописной пишется только первое слово — «Всемирная». Объем задается отдельным параметром — тут Davinchi не допускает ошибок.

Итоговая оценка: ⭐️ 2,5/5. Davinchi не последовал запросу, не привел кликабельные ссылки и выдумал несуществующую организацию, но смог попасть в стиль соцсетей и сохранить логику повествования.

Rytr

Rytr — иностранный сервис, который работает с русским языком и помогает создавать тексты и изображения. В нем есть дополнительные настройки: тип контента, тон текста, уровень креативности, ключевые слова и количество вариантов. Rytr можно установить как расширение для браузера — например, открыть «Google Документы», а в отдельном окошке создавать текст.

Задача и цель текста — 0,5 ⭐️. Текст снова не помогает читателю определиться с выбором корма, только рассказывает о марках. Rytr был оригинальнее, чем другие нейросети: рассказал о редких брендах и вкусняшках для собак. Но описания опять не отличаются — просто обещают здоровые зубы и гладкую шерсть.

Структура и логика — 1 ⭐️. Структура логичная и последовательная, пост разбит на абзацы. Но при этом ориентироваться и читать текст по диагонали сложно: нет подзаголовков или других акцентов.

Факты — 0,5 ⭐️. Внезапно нейросеть написала о «состоянии здоровья вашего щенка», хотя мы не указывали возраст собаки. С информацией о собачьих лакомствах Rytr нас тоже подвел: марка Whimzees не продается в России. Зато нейросеть неплохо оформила источники, перевод, пусть и машинный, выдал «родословную» и «пожелания». Еще плюсик в карму Rytr добавляет, что он отметил беззерновой корм и тоже порекомендовал проконсультироваться с ветеринаром.

Стиль — 0 ⭐️. Снова сухо, официально, с повторами и странными конструкциями. Два предложения начинаются с «их корм для собак». Из-за автоматического перевода появились «вариант без зерен», «их крошки имеют уникальную текстуру» и «зубные жвачки». Фраза «рыба, добытая в дикой природе» рисует нам образ рыбака, который с гарпуном гоняется за рыбой в лесном ручейке. А «давайте заставим наших пушистых друзей сиять изнутри» и вовсе звучит жутко.

Ошибки — 0 ⭐️. У Rytr стандартные косяки: кавычки-лапки вместо «елочек» и дефис вместо тире. В нужное количество символов нейросеть не смогла уложиться — написала пост аж на 3217 символов.

Итоговая оценка: ⭐️ 2/5. Rytr нормально справился только с оформлением ссылок, но текст уж совсем машинный получился. Даже самый плохой копирайтер так бы не написал.

YandexGPT в голосовом помощнике Алисе

Яндекс внедрил свою нейросеть в голосового помощника — Алису. Чтобы ее активировать, надо сказать или написать: «Давай придумаем!» — а затем ставить задачи. Это можно сделать как голосом, так и текстом. Функция работает в «Яндекс Станциях» и в «Яндекс Браузере», поэтому ей можно пользоваться с любых устройств.

Задача и цель текста — 1 ⭐️. Нейросеть от Яндекса справилась неплохо — рассказала, какие ингредиенты должны входить в состав, перечислила необходимые витамины. Но не указала ни количество этих ингредиентов, ни процентного соотношения в составе. С марками кормов получилось хуже: опять два самых популярных производителя и информация о них повторяется почти слово в слово.

Структура и логика — 0,5 ⭐️. Текст разбит на абзацы, сохраняется логика повествования. Но в конце нет никакого заключения или выводов — только описания двух марок кормов.

Факты — 0 ⭐️. Нейросеть отделалась общими формулировками и перечислениями. Из фактов в тексте только голословные утверждения, с которыми трудно согласиться без доказательств, например: «в кормах обычно содержится животный белок» и «клетчатка выводит токсины». Просьбу прикрепить источники Яндекс проигнорировал.

Стиль — 0,5 ⭐️. Повторы, повторы, куча повторов — в коротком тексте слово «корм» встретилось 11 раз, а «здоровье» — 7. Иногда они даже повторяются несколько раз в одном предложении. Стиль получился чуть более дружелюбный, чем у других нейросетей, повествование ведется от первого лица, как написал бы настоящий кинолог в своем блоге.

Ошибки — 1 ⭐️. Дефис вместо тире — похоже, это знание пока недоступно нейросетям. С количеством символов YandexGPT справилась: уложилась в 1821 знак.

Итоговая оценка: ⭐️ 3/5. Из плюсов у YandexGPT — дружелюбный стиль, логичное повествование и перечисление необходимых ингредиентов и витаминов. Но при этом нейросеть не привела ссылки на источники, а вместо фактов отделалась общими фразами.

Результаты

На первый взгляд, посты выглядели структурированными и логичными, но в реальной работе их использовать нельзя. Все нейросети одинаково не справились с задачей и допускали одни и те же ошибки: в текстах нет пользы, одна вода, нет аргументов и доказательств, с тире и правильными кавычками искусственный интеллект тоже еще не знаком. Почти не было пунктуационных и орфографических ошибок, но зато куча речевых, канцелярита и странных выражений.

Если вы всё еще переживаете, что вас заменит нейросеть, можем утешить: пока вряд ли. Чтобы получить нормальный результат от ИИ, придется потратить достаточно много времени на промт и редактуру. Но даже это не гарантирует, что на выходе получится полезный и интересный текст.