Ложь, наглая ложь и статистика: вводящее в заблуждение исследование сравнивает TikTok и Instagram

послушай новости

Пол Мацко1

Новое исследование «Бомба замедленного действия в стиле Тик-Ток«, в котором сравнивается использование политических хэштегов в ТИК Так е Инстаграм широко разделяется теми, кто призывает к запрету или принудительной продаже TikTok. Отчет, из Институт исследования сетевого зараженияпоказывает, что политические посты, противоречащие национальным интересам Китая, хуже работают в TikTok (принадлежит китайской компании Байтеданс), чем в Instagram (принадлежит американцу Мета). По мнению авторов, это говорит о том, что китайские власти алгоритмически душат в TikTok контент, который наносит ущерб их международным интересам, например, посты о Тибетлос фигуры и площадь Тяньаньмэнь.

Однако авторы исследования допустили две фундаментальные ошибки, которые ставят под сомнение фундаментальную полезность отчета.

Во-первых, авторы выбрали ошибочную методологию, которая не учитывала продолжительность существования каждой платформы. Instagram (запущен в 2010 году) примерно в два раза старше TikTok (запущен на международном уровне в 2017 году). Таким образом, темы, которые были предметом интенсивных общественных дискуссий в начале 2010-х годов, но не были очень заметными в последующие десять лет, естественно, будут менее популярны в TikTok, чем в Instagram. Однако авторы не скорректировали свое окно сбора данных с учетом этого факта.

Во-вторых, авторы предположили, что обе платформы используют одни и те же люди, что заставило их упустить из виду возможные когортные эффекты поколений. Короче говоря, средний пользователь Instagram старше среднего пользователя TikTok. Сравните самый большой сегмент пользователей по возрасту на каждой платформе: 25% пользователей TikTok в США находятся в возрасте от 10 до 19 лет, а 27,4% пользователей Instagram — в возрасте от 25 до 34 лет. Эта разница в возрасте примерно в десять лет приведет к искажению доли тем, освещаемых на двух платформах. Проще говоря, у пожилых и молодых пользователей разные интересы.

Чтобы увидеть, как эти ошибки искажают выводы исследования, давайте посмотрим на один из десяти примеров, предлагаемых авторами. В исследовании сравнивается частота использования трех распространенных хэштегов, связанных с Тибетом и Далай-ламой, и обнаруживается сильно искаженное соотношение: 37,7 постов в Instagram на каждый пост в TikTok. Это, конечно, кажется подозрительным, учитывая давнюю цензуру в Китае отечественных активистов, выступающих за независимость Тибета.

Со страницы 10 книги «Бомба замедленного действия TikTok» от NCRI.

Но надо учитывать, что авторы исследования не только оценивали публикации, загруженные в конкретный период, как, например, осенью 2023 года. Нет, они сравнивали общее количество публикаций, поскольку платформы были созданы (Instagram: 2010 / TikTok: 2017).

Более того, беглый взгляд на данные Google Trends показывает, что общественный дискурс о Тибете в США в целом снижался на протяжении 2000-х и 2010-х годов, хотя и перемежался экспоненциальными всплесками (до 15 раз) в апреле 2008 года и декабре 2016 года, что соответствовало к моментам интенсивной тибетской активности.

Данные Google о тенденциях для поискового запроса "Тибет" с 2004 года по настоящее время.

Оба пика предшествовали международному запуску TikTok, но пришлись на то время, когда у Instagram уже были сотни миллионов пользователей. Неудивительно, что шесть лет публикаций в TikTok, когда интерес США к Тибету был относительно низким, были подавлены тринадцатью годами публикаций в Instagram, когда интерес США к Тибету был относительно низким.

Более того, даже если данные по хэштегу Тибета гипотетически могут быть ограничены постами после создания TikTok, ожидается, что возникнет эффект когорты поколений. Проще говоря, знания и интерес к теме имеют тенденцию сохраняться. Миллениалы, которые учились в колледже в 2008 году, во время Тибетское восстаниебудут с большей вероятностью интересоваться Тибетом – и, следовательно, публиковать о нем – сегодня, чем члены Поколение Zнекоторые из которых в 2008 году все еще находились в зачаточном состоянии.

Ничто из того, что я здесь написал, не доказывает, что TikTok не манипулировал или не мог манипулировать своим алгоритмом для понижения уровня контента, невыгодного для КПК. Но это убедительно свидетельствует о том, что это конкретное исследование плохо спланировано и не должно использоваться в качестве серьезного доказательства алгоритмических манипуляций со стороны TikTok. Честно говоря, я удивлен, насколько это небрежно.

Лучшее исследование выбрало бы дискретный период времени (например, когда обе платформы действительно существовали) и оценило бы долю постов в этот период времени на спорные темы, важные для китайского правительства. Если кто-то проведет такое исследование, я хотел бы увидеть копию.

Но даже в этом случае важно помнить, что эти платформы не являются синонимами, и любые результаты могут быть искажены различиями между конкретными платформами. Например, зачем ожидать, что соотношение политического и неполитического контента будет одинаковым? Это предполагает постоянный уровень политического интереса среди тех, кто использует обе платформы. Но это вряд ли является гарантией, учитывая разницу поколений между их пользовательскими базами, нисходящий контраст между форматами, ориентированными на фотографии, и форматами, ориентированными на короткое видео, а также другие различия, специфичные для платформы.

В любом случае, тот факт, что многие крупные новостные организации не учли эти основные недостатки исследования и доверчиво освещали доклад, является свидетельством принадлежности к настроениям в журналистике, особенно когда перед ними стоит задача освещать платформы социальных сетей с теми, которые конкурируют за внимание общественности.


1Пол Мацко — исследователь и ведущий подкаста Building Tomorrow.

*Эта статья опубликована на сайте elcato.org. 19 января 2023 г.

*Мнение, выраженное в этой статье, является исключительной ответственностью автора и не обязательно отражает официальную позицию Publico.bo.


Расскажите, понравилась ли вам заметка

Перейти к эмитенту новости