Думайте

Мы используем файлы cookie, чтобы сайт работал и становился удобнее. Продолжая пользоваться «Думайте», вы соглашаетесь с Политикой конфиденциальности.

показать все результаты

Ничего не найдено

Когда запрещает не закон, а алгоритм

1 день назад авторская 33

Раньше власть была видимой.

Если человеку что-то запрещали, существовал закон, приказ, постановление, суд, подпись, печать, должностное лицо. Запрет можно было увидеть, прочитать, оспорить, понять, кто его вынес и на каком основании.

Даже если власть была жёсткой, она часто имела лицо.

В цифровую эпоху возникает новый тип ограничения. Человеку могут ничего прямо не запрещать. Ему могут просто не дать пройти, оплатить, зарегистрироваться, получить услугу, открыть счёт, перевести деньги, купить билет, оформить документ, попасть на платформу, продвинуть публикацию, получить кредит, пройти проверку.

И внешне это будет выглядеть не как запрет, а как техническая ситуация.

«Операция отклонена».
«Доступ временно ограничен».
«Требуется дополнительная проверка».
«Ваш профиль не соответствует условиям».
«Система обнаружила подозрительную активность».
«Решение принято автоматически».
«Повторите попытку позже».

Так возникает новая форма управления: запрещает уже не закон, а алгоритм.

1. Закон говорит явно, алгоритм действует молча

Закон устроен как публичная норма. Он должен быть известен обществу. Человек хотя бы формально может прочитать правило и понять, что запрещено, что разрешено, какое наказание предусмотрено и куда обращаться.

Алгоритмическое управление действует иначе.

Оно не всегда формулирует общий запрет. Оно работает через доступ.

Человеку не говорят: «Тебе нельзя».
Ему говорят: «Система не смогла подтвердить».
Не говорят: «Ты наказан».
Говорят: «Операция временно недоступна».
Не говорят: «Ты неблагонадёжен».
Говорят: «Повышенный риск-профиль».
Не говорят: «Мы ограничиваем твоё поведение».
Говорят: «Это сделано для безопасности».

В результате власть становится менее заметной. Человек сталкивается не с решением конкретного лица, а с цифровой стеной.

И это меняет саму природу управления.

2. От запрета к трению

В цифровой среде необязательно запрещать прямо. Достаточно создать трение.

Трение — это когда действие формально разрешено, но практически затруднено.

Можно не запрещать человеку переводить деньги, но требовать дополнительную проверку каждый раз.
Можно не запрещать пользоваться сервисом, но постоянно сбрасывать авторизацию.
Можно не запрещать публиковать мнение, но снижать охват.
Можно не запрещать поездку, но задерживать подтверждение билета.
Можно не запрещать открыть счёт, но бесконечно запрашивать документы.
Можно не запрещать получать выплату, но заставлять проходить сложную цифровую процедуру.

Так человек постепенно сам отказывается от неудобного действия.

Это очень важный механизм. Прямой запрет вызывает сопротивление. Трение вызывает усталость.

Человек не выходит на конфликт с системой. Он просто привыкает выбирать тот путь, который система делает лёгким.

3. Управление коридорами возможностей

Раньше управление часто строилось через прямую команду: делай это, не делай то.

Цифровая система может управлять тоньше. Она создаёт коридоры возможностей.

Одни действия становятся быстрыми.
Другие медленными.
Одни выгодными.
Другие дорогими.
Одни получают автоматическое одобрение.
Другие уходят на проверку.
Одни люди получают доступ.
Другие — дополнительные условия.
Одни темы продвигаются.
Другие становятся невидимыми.

Формально свобода сохраняется. Человек может выбирать. Но выбор уже заранее сформирован архитектурой среды.

Если один путь освещён, удобен, дешёв и одобрен, а другой тёмен, сложен, дорог и подозрителен, большинство выберет первый.

Так управление перемещается из области закона в область архитектуры.

Человеку не приказывают. Ему строят среду, в которой он сам идёт нужным маршрутом.

4. Алгоритм как невидимый чиновник

В обычной бюрократии человек хотя бы примерно понимает, кто принимает решение: инспектор, судья, начальник отдела, банк, врач, комиссия.

В алгоритмической бюрократии решение может принимать модель, правило, скоринговая система, автоматический фильтр, база данных, риск-профиль, цифровой контур.

Но кто именно отвечает?

Сотрудник говорит: «Так решила система».
Система ничего не объясняет.
Техническая поддержка отвечает шаблоном.
Правила написаны общими словами.
Критерии закрыты.
Обжалование занимает время.
Ответственность распылена.

Алгоритм становится невидимым чиновником без лица, без кабинета и часто без внятной процедуры спора.

И это опаснее обычной бюрократии. С живым чиновником можно спорить, жаловаться, искать ошибку, требовать объяснения. С алгоритмом человек часто спорит как с погодой: он видит последствия, но не видит субъекта.

5. Предварительное наказание

Закон обычно наказывает за совершённое действие. Алгоритмическое управление может ограничивать до действия.

Человек ещё ничего не нарушил, но система уже сочла его рискованным.

Ему могут снизить лимит.
Заблокировать операцию.
Запросить дополнительные данные.
Отказать в доступе.
Поставить на усиленный контроль.
Задержать выплату.
Не показать его сообщение другим людям.
Не дать выгодные условия.

Это управление вероятностью.

Не нужно доказывать, что человек виновен. Достаточно сказать, что его поведение похоже на риск.

Так возникает новая логика: человек отвечает не только за поступок, но и за цифровую интерпретацию своего профиля.

Опасность здесь в том, что человек может даже не знать, какой именно признак сделал его подозрительным.

Он помог не той организации?
Купил не тот товар?
Был не в том месте?
Общался не с теми людьми?
Читал не те материалы?
Часто снимал наличные?
Получал переводы от разных лиц?
Отказался от какой-то цифровой процедуры?

Алгоритм может связать эти признаки в риск. Но для человека это будет выглядеть как необъяснимое ограничение.

6. Социальный рейтинг без официального названия

Многие думают, что социальный рейтинг должен быть объявлен прямо: каждому человеку присваивают балл, и этот балл определяет его права.

Но в реальности система может быть тоньше. Социальный рейтинг может не называться социальным рейтингом.

Он может существовать как:

риск-профиль;
финансовая репутация;
уровень доверия;
скоринговая оценка;
профиль безопасности;
цифровая зрелость;
персональная категория доступа;
индекс надёжности;
автоматическая проверка соответствия.

Человек не увидит большого табло с оценкой. Но он будет чувствовать последствия.

Кому-то услуга доступна мгновенно.
Кому-то после проверки.
Кому-то отказ.
Кому-то низкий лимит.
Кому-то высокая комиссия.
Кому-то ограниченный доступ.
Кому-то невидимость в цифровой среде.

Так социальный рейтинг может появиться не как единая громкая система, а как сеть мелких алгоритмических решений.

По отдельности каждое решение выглядит техническим. Вместе они создают новую форму социальной иерархии.

7. Деньги как главный рычаг алгоритмического контроля

Самым сильным узлом такого управления становятся деньги.

Пока человек может свободно получать, хранить и тратить деньги, у него сохраняется пространство самостоятельности. Но если деньги проходят через цифровой контур, алгоритм может вмешиваться в саму возможность действия.

Он может отклонить платёж.
Задержать перевод.
Потребовать подтверждение.
Ограничить сумму.
Запретить категорию покупки.
Заморозить средства.
Поставить операцию на контроль.
Сделать одни расходы нормальными, а другие подозрительными.

Если деньги становятся программируемыми, ситуация меняется ещё сильнее. Тогда можно управлять не только фактом платежа, но и назначением денег.

Выплата может быть доступна только на продукты.
Субсидия — только на определённые услуги.
Средства — только в определённом регионе.
Деньги — только до определённой даты.
Операции — только с утверждёнными участниками.
Доступ — только при подтверждённом статусе.

Так деньги перестают быть нейтральным средством. Они становятся инструментом допуска.

Раньше деньги давали человеку возможность выбирать.
Теперь сама возможность выбора может быть встроена в код.

8. Когда техническая ошибка становится социальной проблемой

В цифровой системе даже ошибка может иметь управленческий эффект.

База данных дала сбой.
Профиль не обновился.
Платёж завис.
Документ не подтянулся.
Статус не подтвердился.
Алгоритм неправильно распознал риск.
Система не видит права человека на услугу.

В аналоговой системе человек мог прийти, объяснить, показать бумагу, поговорить с ответственным лицом. В цифровой системе он может оказаться заперт между приложением, поддержкой, автоматическим ответом и отсутствием живого решения.

И чем больше жизненных процессов зависит от цифровой среды, тем опаснее обычный сбой.

Ошибка в алгоритме превращается в ограничение реальной жизни.

Человек не может получить деньги.
Не может оплатить.
Не может пройти.
Не может записаться.
Не может доказать.
Не может восстановить доступ.
Не может понять, кто отвечает.

Поэтому цифровое управление требует гораздо более сильных гарантий, чем обычное администрирование. Чем больше власть алгоритма, тем выше должна быть ответственность за его ошибку.

9. Проблема не в алгоритме, а в отсутствии меры

Алгоритм сам по себе не зло.

Он может помогать: ускорять выплаты, находить мошенничество, снижать коррупцию, упрощать документы, распределять ресурсы, предупреждать ошибки, защищать людей от преступных схем.

Проблема начинается тогда, когда алгоритм получает власть без меры.

Мера нарушена, если:

человек не знает, какие данные о нём используются;
он не может оспорить решение;
нет живого ответственного лица;
нет прозрачных критериев;
нет независимого аудита;
нет права на альтернативный путь;
нет судебной защиты;
нет запрета на политическое или мировоззренческое наказание через цифровые системы;
нет возможности жить без постоянной цифровой идентификации.

Тогда алгоритм перестаёт быть инструментом. Он становится властью.

А власть без ответственности всегда стремится расширяться.

10. Самая тонкая форма контроля

Самая тонкая форма цифрового контроля — это не блокировка. Блокировка видна и вызывает возмущение.

Гораздо эффективнее управление через незаметную настройку среды.

Не запретить, а понизить.
Не наказать, а затруднить.
Не удалить, а скрыть.
Не отказать, а отправить на проверку.
Не лишить права, а сделать доступ нестабильным.
Не объявить врагом, а повысить риск-профиль.
Не спорить с человеком, а сделать его социально менее видимым.

Так человек не всегда понимает, что против него применено управление. Он думает, что просто не повезло, система дала сбой, заявка долго рассматривается, публикация не заинтересовала аудиторию, банк перестраховывается, сервис временно недоступен.

Но если такие ситуации повторяются системно, это уже не случайность. Это новая форма власти.

11. Почему общество может принять это само

Общество может принять алгоритмическое управление не из любви к контролю, а из желания безопасности и удобства.

Люди устали от мошенников — они соглашаются на жёсткие проверки.
Люди хотят быстрых выплат — соглашаются на цифровой профиль.
Люди хотят порядка — соглашаются на автоматические ограничения.
Люди хотят борьбы с коррупцией — соглашаются на прозрачность.
Люди хотят защиты детей — соглашаются на фильтрацию.
Люди хотят меньше бюрократии — соглашаются на единую базу данных.

Каждый отдельный шаг выглядит разумно.
Но вся цепочка может привести к системе, где человек полностью прозрачен, а управляющий центр почти непрозрачен.

Это главный парадокс цифровой эпохи: прозрачность требуют от человека, но не всегда от системы, которая его оценивает.

12. Как отличить цифровой сервис от цифрового контроля

Цифровой сервис служит человеку, если он расширяет возможности и сохраняет выбор.

Цифровой контроль начинается там, где сервис становится обязательным посредником между человеком и жизнью.

Признаки перехода:

альтернативы исчезают;
наличные вытесняются;
офлайн-доступ закрывается;
алгоритм нельзя оспорить;
цифровой профиль становится условием прав;
данные используются шире, чем человек понимает;
ограничения вводятся без суда;
техническое решение фактически заменяет юридическое;
человек обязан быть прозрачным, а система остаётся закрытой.

Если эти признаки накапливаются, общество переходит из цифровизации удобства в цифровизацию подчинения.

13. Что должно быть защитой

Защита от алгоритмического произвола — это не отказ от технологий. Это введение пределов.

Нужны простые принципы.

Нельзя ограничивать базовые права человека только автоматическим решением.
У каждого алгоритмического отказа должно быть понятное объяснение.
Должно быть живое ответственное лицо.
Должна быть процедура быстрого обжалования.
Должен сохраняться офлайн-канал получения жизненно важных услуг.
Должны сохраняться наличные как зона автономии.
Должен быть независимый аудит алгоритмов.
Должен быть запрет на скрытый социальный рейтинг.
Должна быть прозрачность не только гражданина перед системой, но и системы перед гражданином.
Должно быть право человека знать, какие данные о нём собраны и как они используются.

Без этих гарантий цифровая система рано или поздно начнёт управлять не только процессами, но и самим человеком.

14. Главный вывод

Алгоритмическое управление опасно не тем, что оно цифровое. Оно опасно тем, что может заменить открытый закон скрытой настройкой среды.

Закон говорит человеку: вот правило.
Алгоритм может ничего не сказать, но изменить его возможности.

Закон можно прочитать.
Алгоритм часто скрыт.

Закон можно оспорить.
Алгоритм часто расплывается между банком, платформой, государством, подрядчиком и технической поддержкой.

Закон запрещает действие.
Алгоритм может управлять самой возможностью действия.

Именно поэтому главный вопрос цифровой эпохи звучит так: кто управляет алгоритмами, по каким целям, с какой мерой ответственности и может ли общество контролировать тех, кто через цифровую среду начинает контролировать общество?

Если ответа нет, то однажды человек обнаружит, что ему ничего официально не запретили.

Просто дверь не открылась.
Платёж не прошёл.
Профиль не подтвердился.
Заявка не одобрена.
Доступ ограничен.
И никто не виноват.

Так и начинается власть без лица.

Полезность 97%
· +5 высоко оценили М M
Интересность 92%

Комментарии 2

Войдите, чтобы оставить комментарий.

Фёдор Крайнов уровень 1 в 11 часов
У меня такая ситуация была при получении допуска к защите диплома... За два дня до защиты мной было получено электронное письмо, где явно было написано: пока не зарегистрируетесь на отдельном информационном портале для проведения защиты ваша работа подписана не будет. При этом работа подписывается очно и мне нужно было потратить минимум два часа, чтобы это сделать, а кому-то и больше. Само письмо в течение двух дней я и вовсе мог не увидеть по разным причинам и знал только время и дату защиты. Поэтому, фактически, я мог подписать работу только за два дня до начала защиты, а не раньше. Раньше я мог бы это сделать, если бы лично общался с высшим руководством моей кафедры и то не факт, что в процессе общения меня бы проинформировали об этом. Это очень хороший пример о том как алгоритмы ограничивают доступ к чему-либо или просто влияют на поведение человека.
Ирина Зорина уровень 1 в 2 часа
Написала комментарий, а его не пропустили. И здесь даже алгоритмы. Чем отличается Эта платформа. Она просто слила мой комментарий. Вот и пример. Повторять его не буду, текст потерян.
полезно —
уместно —

Оценить запись

Полезность 97%
· +5 высоко оценили М M
Интересность 92%

Содержание

Поделиться