Тошнота текста

Тошнота текста: что это и как ее избежать // SEMANTICA [6:09]

Что такое тошнота текста, для чего нужна, как ее проверить и снизить? // Anti Antiplagiat [10:09]

Тошнота текста — показатель оценки качества текста.

Общая информация

Интернет-пользователи широко пользуются предоставляемыми поисковыми системами функциями поиска, в частности, текстов с интересующей их информацией. При получении текстового запроса (обычно ограниченного по длине) поисковая система (Google, Яндекс, Bing и пр.), в соответствии с запрограммированным алгоритмом предоставляет пользователю ранжированный список сайтов, могущих предоставлять интерес, и содержащих информацию, релевантную поиску.

С целью добиться преимуществ для своих страниц в выдаче, для создателей сайтов разработан ряд показателей, позволяющих сделать прогноз оценки содержания сайта до его выставления в сеть. Один из таких показателей — показатель «Тошнота текста» биржи контента Advego.

Конфликт интересов

В интересах пользователя создать правильный текстовый запрос, согласно которому на первых местах в выдаче окажутся наиболее отвечающие запросу сайты, в интересах владельцев сайтов добиться в выдачах приоритета перед сайтами конкурентов, при этом недобросовестные владельцы сайтов готовы воспользоваться любыми схемами (в том числе и ухудшающими изложение материала), чтобы добиться повышения оценки сайта алгоритмами поисковой системы.

Файл:SEO 098.png

Концепты, связанные с поисковой оптимизацией.

Обозначенный выше конфликт интересов привел к своеобразной гонке «брони и снаряда» — в интересах владельцев сайта создана стратегия интернет-маркетинга «Поисковая оптимизация» (англ. search engine optimization, SEO). Впервые веб-мастера и поставщики интернет-контента прибегли к оптимизации сайтов (исключительно для поисковых систем) в середине 1990-х годов. Фраза «поисковая оптимизация» стала популярной в 1997 году.

Концепции поисковых алгоритмов непрерывно менялись, и в настоящее время считаются засекреченными. Если первые версии алгоритмов использовали предоставляемые веб-мастерами данные (метатеги ключевых слов и пр.), то от этого принципа вскоре отказались — на первых местах в выдаче оказывались, вследствие недобросовестности части веб-мастеров, сайты далекого от запрашиваемого содержания.

Для предотвращения подобных манипуляций с рейтингом, поисковые системы скорректировали свои алгоритмы. Алгоритмы ранжирования стали учитывать дополнительные факторы, с трудом поддающиеся манипуляциям, а сайты компаний, использующих агрессивные методы, исключались из результатов поиска. Тем не менее, ряд поисковых систем поддерживают SEO-индустрию, и предоставляют рекомендации по оптимизации сайтов.

Шуточная демистификация принципа поисковой оптимизации.

Наряду со страничными факторами, поисковые машины стали использовать и внестраничные факторы, в частности, анализ гиперссылок (их качества и силы). К 2004 году поисковые системы были вынуждены включить в алгоритмы множество нераскрываемых факторов. Так, считалось, что Google использует свыше 200 различных сигналов. Google, Bing и Yahoo держат свои алгоритмы в секрете, что побуждает SEO-практиков к их раскрытию.

Персонализация результатов выдачи ещё более нивелирует возможности SEO. Контент, продублированный с других сайтов, стал наказываться, что вызвало к жизни большое количество сервисов проверки уникальности. С 2016 года сайты, имеющие мобильную версию, получили шанс подняться в рейтинге, к этому же приводит структурирование данных (наличие подзаголовков, маркированных и нумерованных списков).

Никакой веб-мастер не может быть уверен, что инвестировав в SEO и получив разовую адекватную отдачу, он получает гарантию продолжения обращений к его сайту и в дальнейшем. Так, Google, по одной из оценок, вносит в год около 500 изменений в алгоритмы ранжирования. И однако, существуют простые методы оценки соответствия сайта некоторым правилам, гарантирующим удовлетворительную оценку сайта поисковыми системами.

Показатель «Академическая тошнота текста» биржи контента Advego

Особой популярностью среди российских веб-мастеров пользуется показатель «Тошнота текста», разработанный командой биржи копирайтинга, контента и фриланса Advego не позднее 2013 года. Согласно определению специалистов биржи, «Академическая тошнота определяется как отношение самых частотных и значимых слов по специальной формуле. Нормальное значение — в пределах 5−15 %. По тошноте текста можно судить о натуральности текста и его SEO-оптимизации под поисковые запросы. Высокий показатель тошноты онлайн для поисковиков является плохим знаком». Показатель «тошнота текста» не имеет аналогов в зарубежной практике SEO, но широко применяется для оценки качества сайтов в России. За рубежом применяется показатель key density — плотность ключевых слов.

Название показателя предполагает, что встречая при просмотре контента одни и те же слова, пользователь будет испытывать неприятные, схожие с тошнотой, физиологические ощущения. Но сам замысел индекса «академическая тошнота» основан на более-менее приемлемых предположениях. Алгоритм сервиса при проверке текста «на тошноту» составляет два частотных словаря (ЧС) текста, ранжируя слова по частотности, отдельно ЧС стоп-слов, и ЧС всех слов текста за исключением стоп-слов.

К стоп-словам относятся части речи — частицы, артикли, предлоги, личные местоимения и союзы вроде «точно», «просто», «как», «когда», «и». Считается, что стоп-слова, или шумовые слова — это единицы текста, не учитываемые поисковиками при индексировании и оценке релевантности документа поисковому запросу. Чем больше стоп-слов использовано на странице, тем менее полезной сочтут её поисковые системы, хотя в отдельных случаях стоп-слова бывают в SEO значимыми. Единого универсального списка стоп-слов не существует, и новейшие рекомендации советуют не беспокоиться о стоп-словах и писать естественно, поскольку современные поисковые системы рассматривают гораздо больше факторов, чем отдельные слова.

Слова в списках ранжированы по частотности, от самого употребительного до слов, встречающихся всего 1 раз (это т. н. hapax legomena, или гапаксы), характеризующие лексическое богатство текста. Академическая тошнота вычисляется путем математической обработки ЧС текста без стоп-слов. Если каждое слово представить вектором в пространстве, с началом в начале координат, направленным по некоторой оси, и длиной, равной числу употреблений слова в тексте, то другому слову уже нет места на этой оси, его вектор располагается на своей оси. Таким образом, учитываемые для оценки тошноты текста слова представляются ортогональной системой векторов.

Алгоритм advego считает все слова текста уникальными по своим значениям, что требует ортогональности всех осей, а тем самым размещения всех слов-векторов в многомерном пространстве на перпендикулярных одна к другой осях. Для вычисления академической тошноты текста по advego необходимо знать длину вектора, равного сумме всех представляющих слова векторов, которая определяется по многомерному аналогу теоремы Пифагора как

$F_{\text{общ}}={\sqrt {F_{1}^{2}+F_{2}^{2}+...+F_{n}^{2}}}$

где F₁, F₂ и т. д. — количество вхождений самого частотного слова, второго по частоте вхождений слова и т. п., вплоть до последнего слова F_n, где n — число разных слов, без учёта стоп-слов и гапаксов.

Сама же академическая тошнота АТ, с целью сделать её относительной величиной, не зависящей от длины текста, равна определённому выше значению длины вектора, деленному на общее число слов в тексте, без стоп-слов, и выражается в процентах.

$AT={\frac {\sqrt {F_{1}^{2}+F_{2}^{2}+...+F_{n}^{2}}}{N_{\text{общ}}}}$

где N_общ — общее число слов в тексте, без стоп-слов (но с гапаксами!).

При всем своем несовершенстве, и полном отсутствии гарантии использования поисковыми системами схожих концепций, показатель АТ позволяет, при нахождении его в пределах 5−15 % (по рекомендациям advego), избежать «переспама», или переоптимизации сайта, под чем понимается слишком частое употребление одного слова или фразы в контенте страницы. Веб-мастера обычно предъявляют к показателю тошноты ещё более строгие требования, добиваясь значений в пределах 6−9 %. В качестве примера, вычисленная по алгоритму advego АТ рассказа Н.С. Лескова «Левша» составляет 5,5 %. Рекордно низкое значение АТ у рассказа М.А. Шолохова «Судьба человека» — 3,6 %.

Обычно, кроме АТ, с целью избежать переоптимизации, ограничивается частота самого частотного слова (учитываемая уже исходя из общего числа слов в тексте), рекомендуемое значение не выше 2,5−3 %. Если текст естественный, распределение частот слов в нём подчиняется лингвостатистическому закону Ципфа-Мандельброта, постулирующему, что распределение слов, ранжированных по их частоте в корпусе случайных текстов, аппроксимируется степенным распределением.

Неестественное насыщение текста ключевыми словами, при формальном соблюдении правила по ограничению частотности самого частотного слова, приводит к завышению частотности 2-го и последующих нескольких слов ЧС, что приводит к отклонению распределения частот слов от закона Ципфа-Мандельброта, и поднимает показатель АТ до неприемлемого значения, что побуждает веб-мастеров фокусироваться при подаче материала на 2−3 ключевых словах, не нагромождая большое их количество с целью привлечь внимание поисковых систем по как можно большему числу запросов, поскольку результат в этом случае, как показывает практика, будет противоположным.

Практический пример подсчета академической частоты

Поясним подсчет АТ на примере текста стихотворения П. И. Вейнберга «Титулярный советник».

Слово	Количество	Слово	Количество	Слово	Количество
генеральский	2	любовь	1	пред	1
дочь	2	носиться	1	прогнать	1
советник	2	ночь	1	прочить	1
титулярный	2	объясниться	1	пьянствовать	1
винный	1	оно	1	робко	1
горе	1	пойти	1	туман	1
Всего слов					22

Подсчитываем академическую тошноту текста, исходя из наличия 4 встречающихся по 2 раза слов (слова, встречающиеся 1 раз, в подсчете не участвуют) и учитываемого количества слов 22 (общее количество 34, минус 12 стоп-слов по данным advego):

$AT={\frac {\sqrt {F_{1}^{2}+F_{2}^{2}+...+F_{n}^{2}}}{N_{\text{общ}}}}={\frac {\sqrt {2^{2}+2^{2}+2^{2}+2^{2}}}{22}}=0{,}182=18{,}2\%$

Итого, академическая тошнота текста стихотворения равна 18,2 %.

Показатель «Классическая тошнота текста» биржи контента Advego

В отличие от академической частоты, вычисляемой по всей совокупности частот слов, классическая тошнота КТ вычисляется по частоте самого частотного слова, и равна квадратному корню из этой частоты.

$KT={\sqrt {F_{m}^{2}}}$

где F_m — частота самого частотного слова.

Тем самым, классическая тошнота не может быть задана без указания длины текста в словах, и допустимая классическая тошнота текста растет вместе с длиной текста.

Поскольку относительная частота самого частого слова задается отдельным показателем, порядка 2,5−3 %, классическая тошнота является избыточным показателем, по своей сути ничего не определяющим. Так, при длине текста в 300 слов и частоте слова в 3 %, оно будет встречаться в тексте 9 раз, откуда классическая тошнота равна ${\sqrt {9}}=3$. При увеличении длины текста в 16 раз, до 4800 слов, классическая тошнота увеличится в 4 раза и составляет 12. Отсюда ясна бесполезность задания для классической тошноты, как отдельного независимого показателя, каких-либо рамок.

Искусственное ограничение для данного текста в 4800 слов классической тошноты на уровне 6 приведет к необходимости замены около половины самых частых слов синонимами, что приведет к существенному отклонению распределения частот слов от закона Ципфа-Мандельброта, что наверняка явится признаком неестественности текста.

См.также

• Тошнота

Литература

• Zipf George Kingsley. Human Behavior And The Principle Of Least Effort. — 1949
• Ашманов Игорь, Иванов Андрей. Оптимизация и продвижение в поисковых системах. — Спб: Питер, 2019.

Навигация по темам

Фразеологизмы 1

Фразеологизмы — крылатые словечки Кинематограф и литература Бальзаковский возраст • Вражда между тупоконечниками и остроконечниками • Гжегож Бженчишчикевич • Дом высокой культуры быта • Дырка от бублика • Их есть у меня • Кузинатра • Отец русской интеллигенции • Скелет в шкафу • Слон и Моська • Тамбовский волк • Тарелочка с голубой каёмочкой • Тихие книги • Характер нордический, выдержанный Политика Агент влияния • Агрессивно-послушное большинство • Вашингтонский обком • Вертикаль власти • Всенародно избранный • Встреча без галстуков • Война до последнего украинца • Гарант конституции • Говорящая голова • Грязные выборы • Духовные скрепы • Загогулина • Империя лжи • Коллективный Запад • Крокодиловы слёзы • Крылатая демократия • Культура отмены • Лагерный иврит • Либеральные бородёнки • Лихие 90-е • Метод кнута и пряника • Находится под контролем • Нигерия в снегу • Новые русские • Отмывание информации • Отправить на свалку истории • Парад суверенитетов • Партия власти • Передел собственности • Повешение на фонарях • Политическая проститутка • Политический труп • Политический тяжеловес • Потёмкинские деревни • Простой советский человек • Пятая власть • Рукопожатие крепкое • Светлое будущее • Слив информации • Слуги народа • Страна 404 • Страны-изгои • Стройка коммунизма • Сырьевой придаток Запада • Тефлоновый рейтинг • Тлетворное влияние Запада • Цветная революция • Цивилизованная страна • Человек, похожий на… • Чёрный август • Чувство глубокого удовлетворения • Экспорт демократии Библия и религия Быть святее Папы Римского • Мерзость запустения • От Адама • Трубный глас • Фиговый лист Экономика и деньги Амнистия капиталов • Барашек в бумажке • Бегство капиталов • Белая зарплата • Голосование долларом • Квартира, машина, дача • Кредитные акулы • Крысиные бега • Невидимая рука рынка • Офисный планктон • Пахать на галерах • Работать на дядю • Словесная интервенция • Фальшивые ёлочные игрушки • Чёрная зарплата • Ex ante Другое Авгиевы конюшни • Без души • Белая ворона • Воды в рот набрал • Волевая победа • Гол как сокол • Девушка с училища • Дело в шляпе • Догони меня, кирпич • Дымящийся пистолет • Ёлки-палки • Женская логика • Заложить за воротник • Затрапезная одежда • Звезда в шоке • Золотая середина • Буква Зю • К шапочному разбору • Кабинетные стратеги • Как встретишь Новый год, так его и проведёшь • Как назло • Канарейка в шахте • Картина Репина • Лезть в бутылку • Лечь костьми • Лицензия на отстрел журналистов • Медвежья болезнь • Мёртвый почтовый ящик • На бис • На рыбьем меху • Напиться как свинья • Натягивать сову на глобус • Неприятный осадок • Обезьяна с гранатой • Оговорка по Фрейду • Общее дело • Ожидание Нового года лучше самого Нового года • Олух царя небесного • Отмывание лицензий • Отправляться к праотцам • По адресу • По душам • Поп-король • Попка Дурак • Походно-полевая жена • Почить в Бозе • Превращать чёрное в белое • Пролетать как фанера над Парижем • Прятать голову в песок • Пчёлы против мёда • Развесистая клюква • Розовые очки • С азов • С тяжёлым сердцем • Сделать конфету из г**** • Справочник Стеля • Стакан воды • Строить глазки • Сухари сушить • Таблетки от жадности • Тайны мироздания • Танковая карусель • Тошнота текста • Холодная голова, горячее сердце и чистые руки • Черепашьим шагом (ходом, как черепаха) • Энциклопедические знания

Одним из источников этой статьи является статья в википроекте «Знание.Вики» («znanierussia.ru») под названием «Тошнота текста», находящаяся по адресам: «https://baza.znanierussia.ru/mediawiki/index.php/Тошнота_текста» «https://znanierussia.ru/articles/Тошнота_текста». Материал указанной статьи полностью или частично использован в Циклопедии по лицензии CC-BY-SA 4.0 и более поздних версий. Всем участникам Знание.Вики предлагается прочитать материал «Почему Циклопедия?»