← Всички статии

Какво е одит с ограничаване на риска и защо е важно?

В състезание, решено с 369 гласа, официалните лица нямаха никакво независимо отчитане — защото машините нямаха хартиена запис. Тази пропуска все още съществува в избори близо до вас.

Два часа след полунощ на избирателната нощ в окръг Сарасота, Флорида, редицата за окръг 13 на Флорида завършва кроулването си по екрана. Състезанието завършва с разлика от 369 гласа. Но скрито в същите числа е нещо по-странно: приблизително 18 000 бюлетини в окръга не записаха никакъв избор в това състезание. Не протест. Не случайност на демографията. Един от всеки осем избиратели очевидно пропусна най-оспорваното състезание в своя бюлетина.

Никой не можа да го обясни. И никой не можа да го провери.

Машините с сензорен екран на окръга — ES&S iVotronic — не оставиха никакъв независим хартиен запис. Когато amerikai Счетоводната служба на правителството по-късно тестваше системите, тя не можа да идентифицира неправилност на машината, която е причинила недостатъчния брой. Тя също отбеляза, със спокойния недостатък на федерално одитване, че одобрена от избирателя хартиена запис „би могла да е предоставила независимо потвърждение, че сензорните екрани са записали гласове правилно." Не имаше такъв запис. Пълното докладчение на Счетоводната служба е тук.

В състезание, решено с 369 гласа, методът одит, който бе наличен, беше: вярвай на машината.

Това беше 2006 г. Въпросът за днес е дали инфраструктурата, която сега имаме — хартиени бюлетини, одити след избори, статистическите инструменти за тяхното използване — е действително достатъчно силна, за да замени такъв сляп избор с нещо, което един скептичен гражданин може независимо да провери. Отговорът е: понякога. На някои места. При някои условия. И разликата между „понякога" и „всякога" е целият проблем.

Защо одитите съществуват — и защо повечето от тях са слаби

Всеки избор произвежда число. Това число идва от машина, или ръчно отчитане, или и двете. Въпросът, на който един одит се опитва да отговори е: действително ли спечели докладваният победител?

Звучи очевидно. Но механиката е от голямо значение, защото повечето от светските одити след избори всъщност не са проектирани да отговорят на този въпрос със статистическа уверност. Те са проектирани да изглеждат така.

Най-често срещаният тип е одитът с фиксиран процент: след избори официалните лица извличат определен процент бюлетини — например 1% или 5% — изследват ги ръчно и сравняват резултата с машинния брой. Ако те съвпадат достатъчно близо, всички отиват у дома. Този подход е интуитивен. Изглежда строг. Не е.

Ето проблема. Извадка от 1% в решаващо състезание и извадка от 1% в състезание, решено с 0,1% от гласовете, правят напълно различна статистическа работа. В разгромното състезание, дори умерено погрешен брой би бил толкова очевиден, че малката извадка би го открила. В състезанието на брвяната рязка граница — онова, където хващането на грешка действително има значение — същата 1% извадка може да има почти никакъв шанс да открие проблем. Колкото по-близо е състезанието, толкова повече проверка ви трябва. Фиксиран процент превръща логиката.

И все пак одитите с фиксиран процент все още са стандартна практика в мнозинството на демокрациите. Разликата между видимото строгост на одита и неговата действителна статистическа мощност е точно там, където една неправилно отчетена избори може да изчезне незабелязана.

Какво правя всъщност одит с ограничаване на риска по-различно

Одит с ограничаване на риска, или ООР, започва от противоположната посока.

Вместо да запита „какъв процент трябва да проверим?", той запита: „каква е максималната вероятност, че сме готови да приемем, че неправилен резултат се пропусне?" Тази вероятност — ограничението на риска — се задава преди одитът да започне. Колорадо, което е пионер на този подход, започна с 9% и по-късно го стегна на 3%. Ограничение на риска от 5% означава: ако докладваният победител действително е загубил, има най-много 1 от 20 шанса този одит да не го открие.

Математиката след това работи назад от тази гаранция, за да определи колко бюлетини трябва да бъдат ръчно проверени. И резултатът е контринтуитивен по най-добрия възможен начин: колкото по-близо е състезанието, толкова по-голяма извадка изисква ООР. Един разгром може да изисква само няколко стотин бюлетини, проверени ръчно. Състезание, решено с дроб от процент, може да изисква пълен ръчен преброй на всяка бюлетина в юрисдикцията — точно това, което Джорджия трябваше да направи през 2020 г.

Другият критичен ингредиент е надежден хартиен запис. ООР не може да одит цифров реестър срещу себе си. Той нуждае се от физически, отбелязани от избирателя бюлетини — видът, който избирателят действително е докоснал — да служат като основна истина. Окръг Сарасота през 2006 г. нямаше такова нещо. ООР, проведен там, би бил математически правилен и физически невъзможен в същия момент.

Колорадо, 2017: първия щат, който наистина го направи

На 22 ноември 2017 г. секретарят на щата на Колорадо обяви, че щатът е завършил първия щатски одит с ограничаване на риска в американската история.

Това не е тривиално твърдение. Много щати са провели одити. Колорадо беше първия, който проведе един със математически определено ниво на достоверност — един, който всеки, в принцип, може да провери, като проверява статистическата работа. Процедурата е публична. Често задавани въпроси, които секретарят на щата публикува, обясняват методологията в простия език. Размерите на пробите, ограничението на риска, избраните бюлетини — всичко документирано.

Причината това да има значение е не че избирите на Колорадо от 2017 г. беше противоречива. Не беше. Причината е, че метод, доказан в неспорна избори, е методът, който искате да чакате, когато спорния пристигне. Не искате да измисляте вашата одит инфраструктура седмицата след спорен резултат. Колорадо го направи преди да го е трябвало.

Ключовите ингредиенти, които Колорадо събра: задължителни хартиени бюлетини (физическата основна истина), публично ограничение на риска, задано преди избори, и случайна извадка, взета прозрачно, документирано. Отнемете някой от тях и статистическата гаранция се сринва.

Джорджия, 2020: когато математиката изисква пълен ръчен преброй

ООР на Колорадо през 2017 г. беше, по статистическо щастие, ефикасна. Маржовете бяха достатъчно широки, така че относително малки извадки осигуриха необходимата уверност.

Джорджия през ноември 2020 г. нямаше такова щастие.

Президентския марж в Джорджия беше достатъчно тесен, че когато официалните лица применяха рамката одит с ограничаване на риска, математиката им даде без пряк път: за да отговорят на необходимото ниво на достоверност, трябваше да проверят ръчно всяка бюлетина. Всички приблизително пет милиона. През 159 окръга. Изследване на 41 881 партида. За по-малко от шест дни.

Те го направиха. Georgia Public Broadcasting съобщи, че ръчния преброй потвърди машинния преброй резултат, като вариацията между първоначалния преброй и ръчния преброй дойде на около една десета от един процент. NPR докладва потвърдил резултата.

Ето какво действително доказа случаят на Джорджия: хартиени бюлетини плюс здравинат одит метод позволява на всеки да провери близко резултат, вместо да приема машинната дума за това. Пет милиона бюлетини. Наблюдаем, документиран процес. Резултат, който всеки наблюдател на окръжното ниво може кръстосано проверити срещу техните собствени юрисдиции брой.

Това не е нищо. Това е огромно повече от това, което окръг Сарасота имаше през 2006 г. със своите безхартиени сензорни екрани и неговите 369-гласово марж и неговите 18 000 липсващи избора.

Но случаят на Джорджия също съдържа по-фин урок. Вариацията на около една десета от един процент звучи малка. Е малка. И в състезание от пет милиона бюлетини не повлия на резултата. Но една десета от един процент от пет милиона е пет хиляди гласа. В различно състезание — щатска законодателна кандидатура, място на окръжна комисия, състезание, решено със стотици по-скоро от хиляди — подобна скорост на вариация на ръчния преброй можеше да има значение. Дори золотния стандарт на ръчния преброй носи неотложима човешка грешка. Уморени броячи неправилно четат бюлетини. Случайни маркировки се интерпретират различно от различни хора. Призвания за преценка — какво брои като валидна маркировка? — варират по маса.

Това не е критика на процеса на Джорджия. Това е изявление относно ограниченията на всяка управлявана от човека система.

Мичиган, 2020: какво се случва, когато няма гарда преди публикуване

Окръг Антрим, Мичиган е надеждно республикански окръг. Когато първите неофициални резултати на нощта на 4 ноември 2020 г. показаха, че Джо Байдън води с приблизително 3000 гласа с повечето бюлетини преброени, числото привлече незабавно внимание — не защото някакъв вътрешен алармена система, а защото всеки, който знаеше политиката на окръга, знаеше, че резултатът беше неправдоподобен.

Причината оказа се да е човешка грешка. Окръжния клерк Шерил Гай беше преустроила някои, но не всички от картите, използвани в таблаторите след последния момент промяна на локална гонка, така че някои окръжни данни се съчетаха неправилно, когато неофициалният общо бяха събрани. Гай каза, че грешката е нейна. Подробния отчет на FactCheck.org прави ясно, че това беше административна грешка, не софтуерна теория на заговора. Окръгът коригира брой на 5 ноември. Сертифицираният резултат не е повлиян.

На 17 декември, за да урегулира въпроса окончателно, официалните лица провеждат ръчен одит на всяка президентска бюлетина в окръга. Министерството на щата Мичиган обяви, че ръчния преброй — 9759 за Тръмп, 5959 за Байдън — потвърди точността на резултатите от избори.

Сега спри там. Прочети тези два числа назад. Ръчния преброй и машинния преброй се различават с около дузина гласа от приблизително 15 700 хвърлени. Министерството на щата Мичиган представи това като потвърждение. Секретарят на щата го нарече потвърждение на точност.

Но какво действително означава разлика от 12 гласа?

В президентската гонка на окръг Антрим, със своя голям марж, 12 гласа е шум. Това не променя резултата и вероятно отразява точно какво експертите предвиждат: смес на човешка неправилност по време на ръчния преброй, неясни маркировки на бюлетини, и преценка позвав, което отиде малко различно от различни броячи в различни моменти. Ръчния преброй не е идеален пророк. Това е силно надеждна, но несъвършена човешка процес, и неговата скорост на грешка — малка, каквото е — става разговор в всяко състезание, решено със сходен брой.

По-дълбокия проблем, който случаят на окръг Антрим илюстрира, не е 12-те гласове. Това е моментът преди коригирането. Нищо в публикувания отчет на окръг Антрим не кредитира вътрешна гард с хващане на неправилни числа преди да бъдат публикувани. Грешката се появи, защото резултатът беше гротескно неправдоподобен — профила на партия на окръжното ниво, което всеки можа да наблюдава, направи публикуваното число абсурдно. По-фина грешка, в близко щатско състезание, преместване няколко стотин гласа без преобръщане партийната наклон на очевидна партия, може да е преминала плаузибилност проверката напълно. Не можете да одит за това, което не можете да видите.

Това е аргументът за проверяемост, която не зависи от неправдоподобност като алармената.

Разликата между „ние направихме одит" и „ти можеш да проверишаш одита"

ООР звучи като пълно решение. По много начини това е най-добрият пост-избор инструмент за проверка, достъпен в мащаб. Но е полезно да бъдем точни относно това, което прави и не прави.

Какво добре управляван ООР предоставя:

  • Определено, количествено ниво на достоверност, че докладваният победител действително спечели
  • Извадка, взета чрез процес, който е прозрачен и воспроизводим
  • Сравнение срещу физически бюлетини, които избирателите действително отбелязаха

Какво добре управляван ООР все още требва да вярвате:

  • Че хартиените бюлетини, които се одитват, не са променени откакто са били хвърлени
  • Че веригата на хранене за тези бюлетини — запечатаните торби, заключени стаи, дневниците на прехвърляне — държа на всеки етап
  • Че юрисдикцията, провеждаща одита, не направи грешки в собствения си процес на одитване

Последното не е хипотетично. Окръг Антрим управляваше ръчен одит и получи число, което се различи с 12 от машинния преброй. Джорджия направи ООР и получи вариация на около една десета от един процент. Тези са добри резултати. Те не са нула. И единици, проверяващи резултатите на одита, бяха, и в двата случая, същите органи на правителството, чиято работа беше под наблюдение.

„Одитът потвърди това" и „секретарят на щата казва, че е добре" са успокоения, не доказателство. Те са вероятно истинити. Но успокоението не е проверяемост. Проверяемост означава независима страна — изследовател, журналист, скептичен гражданин със електронна таблица — може да провери работата, използвайки същите входове и да получи същия отговор.

Разликата между „ние провеждахме одит" и „ти можеш независимо да проверишаш одита" е точно разликата, че софтуерът и криптография основани подходи съществуват, за да затворят. Техники като край-до-край проверяемо избирателни системи позволяват на избирателите да потвърдят собствена бюлетина е прочетана без разкритие как те гласуват, и позволяват всеки наблюдател да проверява заглавния резултат без доверие на единична власт. Тези не са теоретични: те съществуват и някои юрисдикции вече използват версии от тях.

Въпросът не е дали одитите имат значение. Те го имат. Въпросът е дали „ние го одитихме" е крайна точка, или началото на по-висок стандарт.

Какво да търсите във вашата собствена юрисдикция

Преди следващите избори във вашата юрисдикция, три въпроса си заслужават отговорите:

Първо: използва ли вашата юрисдикция хартиени бюлетини, проверени от избирателя? Ако не, ООР е математически невъзможен. Няма нищо за одитване срещу. Това е ситуацията на Сарасота. Ако вашата юрисдикция все още използва безхартиени сензорни екрани или интернет избирателност без независим хартиен запис, разговорът на одита не може да начне.

Второ: прави ли вашата юрисдикция одит с ограничаване на риска, или одит с фиксиран процент? Разликата има значение най-много в най-близките гонки — точно тези, които генерират най-много публична загриженост. Одит с фиксиран процент, който проверява 2% от бюлетини в состязание, решено с 0,1%, може да има почти никаква статистическа мощност да улови грешен резултат. ООР в същото състезание би улови проблема или явно разширена извадката, докато го направи.

Трето: са ли резултатите на одита — ID бюлетините на извадката, общо на ръчния преброй, сравнението срещу машинния преброй — публикувани напълно, в форма, която независим наблюдател може да проверя? Това е там, където повечето юрисдикции, дори тези управляващи добри одити, отпадат. Публикуване резюме пресс съобщение не е същото като публикуване одит данни.

Отговорите на тези три въпроса ви казват повече за реалната честност на вашите местни избори, отколкото някакво официално изявление когато ще направи.

Вижте колко често е обичайна разликата между „не задължителен одит" и „слаб метод на одит" по целия свят →

Прочетете 2-минутната версия на пропуските в честта на избори →

Изследвайте специфични разлики в вашия регион →

Споделяната истина: избори, които могат да бъдат доверени — но не независимо проверени — не е безопасна избори. Това е добронамерена. Те не са същото, и в близо състезание, разликата е цялата история.

Источники

Вижте всички статииРазгледай пропуските