Что такое аудит с ограничением рисков и почему это важно?
В гонке, решённой 369 голосами, чиновникам было нечего независимо пересчитывать — потому что машины не оставляли бумажного следа. Этот пробел существует и в выборах рядом с вами.
Два часа ночи в ночь выборов в округе Сарасота, Флорида, и итоговые данные по выборам в 13-й избирательный округ Флориды медленно движутся по экрану. Гонка завершается с преимуществом в 369 голосов. Но скрытое в тех же цифрах — что-то странное: примерно 18 000 бюллетеней в округе не записали никакого выбора в этой гонке. Не протест. Не случайность демографии. Каждый восьмой избиратель, похоже, пропустил самый оспариваемый конкурс на своём бюллетене.
Никто не мог этого объяснить. И никто не мог это проверить.
Сенсорные экраны округа — ES&S iVotronic — не оставили независимого бумажного следа. Когда позднее Управление подотчётности при Правительстве США протестировало эти системы, оно не смогло выявить неисправность машины, вызвавшую недоголосование. Оно также отметило, с тихой сдержанностью федерального аудита, что проверенный избирателем бумажный след «мог бы обеспечить независимое подтверждение того, что сенсорные экраны правильно записали голоса». Такого следа не было. Полный отчёт GAO здесь.
В гонке, решённой 369 голосами, единственный доступный метод аудита был: доверьте машине.
Это было в 2006 году. Вопрос для сегодняшнего дня: достаточно ли сильна инфраструктура, которая у нас теперь есть — бумажные бюллетени, постэлекционные аудиты, статистические инструменты для их использования — чтобы заменить такое слепое доверие чем-то, что скептичный гражданин может независимо проверить? Ответ: иногда. В некоторых местах. При определённых условиях. И разрыв между «иногда» и «всегда» — это вся проблема.
Почему аудиты вообще существуют — и почему большинство из них слабы
Каждые выборы производят число. Это число происходит от машины, или ручного подсчёта, или обоих. Вопрос, на который пытается ответить аудит: действительно ли сообщённый победитель выиграл?
Это звучит очевидно. Но механика имеет огромное значение, потому что большинство постэлекционных аудитов в мире на самом деле не предназначены отвечать на этот вопрос со статистической уверенностью. Они предназначены выглядеть так, будто они это делают.
Самый распространённый тип — это аудит с фиксированным процентом: после выборов чиновники извлекают установленный процент бюллетеней — скажем, 1% или 5% — проверяют их вручную и сравнивают результат с подсчётом машины. Если они совпадают достаточно близко, все идут домой. Этот подход интуитивен. Он выглядит строгим. Он не является таковым.
Вот в чём проблема. Выборка в 1% в разгромной гонке и выборка в 1% в гонке, решённой 0,1% голосов, выполняют совершенно разную статистическую работу. В разгроме даже умеренно ошибочный подсчёт был бы настолько очевидным, что небольшая выборка его бы уловила. В гонке на волосок — в той, где ловля ошибки на самом деле имеет значение — та же самая выборка в 1% может иметь почти никакой шанс обнаружить проблему. Чем ближе гонка, тем больше проверок вам нужно. Фиксированный процент переворачивает логику.
И всё же аудиты с фиксированным процентом остаются стандартной практикой в большинстве демократий. Разрыв между кажущейся строгостью аудита и его фактической статистической мощью — это именно то место, где неправильно подсчитанные выборы могут исчезнуть незамеченными.
Что аудит с ограничением рисков делает иначе
Аудит с ограничением рисков, или RLA, начинается с противоположного направления.
Вместо вопроса «какой процент мы должны проверить?», он спрашивает: «какова максимальная вероятность, которую мы готовы принять, что неправильный результат будет скрыт?» Эта вероятность — предел риска — устанавливается до начала аудита. Колорадо, который был пионером этого подхода, начал с 9% и позже снизил его до 3%. Предел риска в 5% означает: если сообщённый победитель на самом деле проиграл, то есть не более 1 из 20 шансов, что этот аудит не уловит ошибку.
Математика затем работает назад от этой гарантии, чтобы определить, сколько бюллетеней нужно проверить вручную. И результат противоинтуитивен самым лучшим образом: чем ближе гонка, тем больше выборку требует RLA. Разгромная гонка может потребовать проверки всего нескольких сотен бюллетеней вручную. Гонка, решённая долей процента, может требовать полного ручного пересчёта каждого бюллетеня в юрисдикции — что именно пришлось сделать Джорджии в 2020 году.
Другой критический ингредиент — надёжный бумажный документ. RLA не может проверить цифровой реестр против самого себя. Ему нужны физические бюллетени, отмеченные избирателем — того рода, которые избиратель фактически трогал — чтобы служить основной истиной. Округ Сарасота в 2006 году не имел ничего подобного. RLA, проведённый там, был бы математически обоснованным и физически невозможным одновременно.
Колорадо, 2017: первый штат, который на самом деле это сделал
22 ноября 2017 года Госсекретарь Колорадо объявил, что штат завершил первый в американской истории аудит с ограничением рисков по всему штату.
Это не тривиальное заявление. Много штатов проводили аудиты. Колорадо был первым, кто проводил аудит, который сопровождалась математически определённым уровнем доверия — тот, который в принципе любой мог бы проверить, проверив статистическую работу. Процедура открыта. FAQ, опубликованный Госсекретарём, объясняет методологию простым языком. Размеры выборок, предел риска, отобранные бюллетени — всё это задокументировано.
Причина, по которой это имеет значение, заключается не в том, что выборы в Колорадо 2017 года были спорными. Они не были. Причина в том, что метод, доказанный в неспорных выборах, — это метод, который вы хотите иметь, когда прибудут спорные выборы. Вы не хотите изобретать инфраструктуру аудита неделю после спорного результата. Колорадо построил её до того, как ему это понадобилось.
Ключевые ингредиенты, собранные Колорадо: обязательные бумажные бюллетени (физическая основная истина), публично установленный предел риска до выборов и случайная выборка, отобранная прозрачным, задокументированным способом. Уберите любой из них — и статистическая гарантия разрушится.
Джорджия, 2020: когда математика требует полного ручного пересчёта
RLA Колорадо в 2017 году был, по статистическому везению, эффективным. Преимущества были достаточно большими, чтобы относительно небольшие выборки обеспечивали необходимую доверенность.
Джорджия в ноябре 2020 года не имела такого везения.
Президентское преимущество в Джорджии было настолько узким, что когда чиновники применили основу аудита с ограничением рисков, математика не дала им никакого ярлыка: чтобы соответствовать необходимому уровню доверия, им пришлось вручную проверить каждый бюллетень. Все примерно пять миллионов. Во всех 159 округах. Проверяя 41 881 партию. Менее чем за шесть дней.
Они это сделали. Georgia Public Broadcasting сообщила, что ручной подсчёт подтвердил итоговый результат машины, причём вариация между первоначальным подсчётом и ручным подсчётом составила примерно десятую долю одного процента. Отчёты NPR подтвердили результат.
Вот что на самом деле доказал случай Джорджии: бумажные бюллетени плюс правильный метод аудита позволяет любому проверить близкий результат, вместо того чтобы принять слово машины. Пять миллионов бюллетеней. Наблюдаемый, задокументированный процесс. Результат, который любой наблюдатель на уровне округа мог бы перекрёстно проверить по итогам своей собственной юрисдикции.
Это не ничто. Это огромно больше, чем то, что Округ Сарасота имел в 2006 году со своими бумажными сенсорными экранами и преимуществом в 369 голосов и 18 000 отсутствующих вариантов.
Но случай Джорджии также содержит более тонкий урок. Вариация примерно в десятую долю процента звучит мало. Это мало. И в гонке пяти миллионов бюллетеней это не повлияло на результат. Но десятая часть процента от пяти миллионов составляет пять тысяч голосов. В другой гонке — выборы в легислатуру штата, место в комиссии округа, гонка, решённая сотнями, а не тысячами — похожий уровень вариации ручного подсчёта мог бы иметь значение. Даже золотой стандарт ручного подсчёта несёт неустранимую человеческую ошибку. Усталые счётчики неправильно читают бюллетени. Случайные отметки интерпретируются по-разному разными людьми. Решения об оценке — что считается допустимой отметкой? — варьируются по таблицам.
Это не критика процесса Джорджии. Это утверждение об ограничениях любой системы, управляемой человеком.
Мичиган, 2020: что происходит, когда нет защиты перед публикацией
Округ Антрим, Мичиган — надёжно республиканский округ. Когда первые неофициальные результаты в ночь 4 ноября 2020 года показали Джо Байдена впереди примерно на 3000 голосов при подсчитанном большинстве бюллетеней, число вызвало немедленное внимание — не из-за какой-либо внутренней системы тревоги, а потому что каждый, кто знал политику округа, знал, что результат был невероятен.
Причина оказалась человеческой ошибкой. Секретарь округа Шерил Гай перепрограммировала некоторые, но не все карты, используемые в табуляторах, после последних изменений в местной гонке, поэтому некоторые данные округа неправильно объединились при компилировании неофициальных итогов. Гай сказала, что ошибка была её собственной. Подробный отчёт FactCheck.org делает ясным, что это была административная ошибка, а не заговор программного обеспечения. Округ исправил итоги 5 ноября. Сертифицированный результат был не затронут.
17 декабря, чтобы окончательно разобраться в вопросе, чиновники провели ручной аудит каждого президентского бюллетеня в округе. Департамент штата Мичиган объявил, что ручной подсчёт — 9759 за Трампа, 5959 за Байдена — подтвердил точность результатов выборов.
Остановитесь здесь. Прочитайте эти два числа назад. Ручной подсчёт и машинный подсчёт отличались на примерно дюжину голосов из примерно 15 700 отданных. Департамент штата Мичиган представил это как подтверждение. Госсекретарь назвал это подтверждением точности.
Но что на самом деле означает разница в 12 голосов?
В президентской гонке округа Антрим, с её большим преимуществом, 12 голосов — это шум. Это не меняет результат, и это, вероятно, отражает именно то, что эксперты предсказывали бы: смесь человеческих ошибок при ручном подсчёте, неоднозначных отметок на бюллетенях и решений об оценке, которые прошли немного по-разному разными счётчиками в разные моменты. Ручной подсчёт — это не идеальный оракул. Это высоконадёжный, но несовершенный человеческий процесс, и его коэффициент ошибок — как мал он ни был — становится темой разговора в любой гонке, решённой подобным образом малым числом.
Более глубокая проблема, которую иллюстрирует Округ Антрим, — это не 12 голосов. Это момент до исправления. Ничего в опубликованном отчёте об Округе Антрим не приписывает внутренней защите ловлю неправильных чисел до их публикации. Ошибка всплыла, потому что результат был явно невероятен — профиль округа-политики, который каждый мог наблюдать, сделал опубликованные числа абсурдными. Более тонкая ошибка, в близкой общегосударственной гонке, смещающая несколько сотен голосов без опрокидывания явного партийного склонения округа, могла бы полностью пройти проверку вероятности. Вы не можете проверить то, что вы не можете видеть.
Это аргумент для проверяемости, которая не зависит от невероятности как тревоги.
Разрыв между «мы провели аудит» и «вы можете проверить аудит»
RLA звучит как полное решение. По многим параметрам, это лучший инструмент постэлекционной проверки из доступных в масштабе. Но стоит быть точным в отношении того, что он обеспечивает и не обеспечивает.
Что обеспечивает хорошо проведённый RLA:
- Определённый, количественный уровень доверия того, что сообщённый победитель на самом деле выиграл
- Выборку, отобранную процессом, который прозрачен и воспроизводим
- Сравнение против физических бюллетеней, которые избиратели на самом деле отметили
Что всё ещё требует хорошо проведённый RLA, чтобы вы доверяли:
- Что бумажные бюллетени, подвергаемые аудиту, не были изменены с момента их отправки
- Что цепь хранения этих бюллетеней — запечатанные сумки, заблокированные комнаты, журналы передачи — выдерживала на каждом этапе
- Что юрисдикция, проводящая аудит, не допустила ошибок в своём собственном процессе аудита
Последнее не является гипотетическим. Округ Антрим провёл ручной аудит и получил число, отличающееся на 12 от подсчёта машины. Джорджия провела RLA и получила вариацию примерно в десятую долю процента. Это хорошие результаты. Они не нулевые. И организации, проверяющие результаты аудита, были в обоих случаях теми же органами власти, чья работа была под вопросом.
«Аудит это подтвердил» и «Госсекретарь говорит, что всё в порядке» — это заверения, а не доказательство. Они могут быть правдивыми. Но заверение — это не проверяемость. Проверяемость означает, что независимая сторона — исследователь, журналист, скептичный гражданин с электронной таблицей — может проверить работу, используя те же входные данные и получить тот же ответ.
Разрыв между «мы провели аудит» и «вы можете независимо проверить аудит» — это именно разрыв, который существует для закрытия подходов, основанных на программном обеспечении и криптографии. Методы, подобные системам голосования, проверяемым от конца к концу, позволяют избирателям подтвердить, что их собственный бюллетень был подсчитан, не раскрывая, как они голосовали, и позволяют любому наблюдателю проверить совокупный результат, не доверяя какой-либо единственной власти. Это не теоретически: они существуют, и некоторые юрисдикции уже используют версии их.
Вопрос не в том, имеют ли значение аудиты. Они имеют значение. Вопрос в том, является ли «мы проверили» конечной точкой, или началом более высокого стандарта.
На что обратить внимание в вашей собственной юрисдикции
Перед следующими выборами в вашей юрисдикции три вопроса стоят того, чтобы узнать ответы:
Первый: использует ли ваша юрисдикция бумажные бюллетени, проверенные избирателем? Если нет, RLA математически невозможен. Нечего проверять против. Это ситуация Сарасоты. Если ваша юрисдикция всё ещё использует бумажные сенсорные экраны или интернет-голосование без независимого бумажного следа, разговор об аудите не может даже начаться.
Второй: проводит ли ваша юрисдикция аудит с ограничением рисков, или аудит с фиксированным процентом? Разница имеет наибольшее значение в самых близких гонках — именно те, которые генерируют наибольшее общественное беспокойство. Аудит с фиксированным процентом, который проверяет 2% бюллетеней в гонке, решённой 0,1%, может иметь почти никакую статистическую мощность для ловли неправильного результата. RLA в той же гонке либо поймал бы проблему, либо явно расширил бы выборку до тех пор, пока это не произошло бы.
Третий: публикуются ли результаты аудита — отобранные ID бюллетеней, ручные подсчёты, сравнение со счётом машин — полностью, в форме, которую независимый наблюдатель может проверить? Это место, где большинство юрисдикций, даже те, которые проводят хорошие аудиты, отстают. Публикация сводного пресс-релиза — это не то же самое, что публикация данных аудита.
Ответы на эти три вопроса расскажут вам больше о реальной честности ваших местных выборов, чем когда-либо официальное заявление.
Прочитайте 2-минутную версию пробелов целостности выборов →
Изучите конкретные пробелы в вашем регионе →
Общепринятая истина: выборы, которые можно только доверять — но не независимо проверить — это не безопасные выборы. Это благие намерения. Это не одно и то же, и в близкой гонке разница — это вся история.
Источники
- Michigan Department of State — Final numbers from Antrim County audit affirm accuracy of election results
- FactCheck.org — Audit in Michigan County Refutes Dominion Conspiracy Theory
- Georgia Public Broadcasting — Risk-Limiting Audit Confirms Biden Won Georgia
- NPR — Georgia Releases Hand Recount Results, Affirming Biden's Lead
- Colorado Secretary of State — A new kind of election audit: Colorado is first to complete it
- Colorado Secretary of State — Risk-Limiting Audit (RLA) FAQs
- U.S. GAO (GAO-08-97T) via GovInfo — Testing of Voting Systems in Florida's 13th Congressional District