O que é uma auditoria com limite de risco e por que é importante?
Numa corrida decidida por 369 votos, os funcionários não tinham nada independente para recontar — porque as máquinas não deixavam registo em papel. Essa lacuna ainda existe em eleições perto de si.
São 2 da manhã na noite das eleições no Condado de Sarasota, Flórida, e a contagem para o 13.º Distrito Eleitoral da Flórida está a completar-se lentamente no ecrã. A corrida termina com uma margem de 369 votos. Mas enterrado nos mesmos números existe algo mais estranho: aproximadamente 18.000 boletins no condado não registaram qualquer escolha naquela corrida. Não um protesto. Não um acidente demográfico. Um em cada oito eleitores, aparentemente, saltou a eleição mais disputada do seu boletim.
Ninguém conseguia explicar. E ninguém conseguia verificar.
As máquinas ecrã tátil do condado — a ES&S iVotronic — não deixavam qualquer registo em papel independente. Quando a Secretaria de Responsabilidade do Governo dos EUA testou mais tarde os sistemas, não conseguiu identificar um mau funcionamento da máquina que causasse a falta de voto. Também notou, com o silêncio contido de uma auditoria federal, que um registo em papel verificado pelo eleitor "poderia ter fornecido confirmação independente de que os ecrãs táteis registaram os votos corretamente." Não havia tal registo. O relatório completo do GAO está aqui.
Numa corrida decidida por 369 votos, o método de auditoria disponível era: confiar na máquina.
Isso foi em 2006. A pergunta para hoje é se a infraestrutura que agora temos — boletins em papel, auditorias pós-eleição, as ferramentas estatísticas para as utilizar — é realmente forte o suficiente para substituir esse tipo de confiança cega por algo que um cidadão cético possa verificar independentemente. A resposta é: às vezes. Em alguns locais. Sob certas condições. E a lacuna entre "às vezes" e "sempre" é o problema inteiro.
Por que as auditorias existem — e por que a maioria delas é fraca
Cada eleição produz um número. Esse número vem de uma máquina, ou de uma contagem manual, ou de ambas. A pergunta que uma auditoria tenta responder é: o vencedor indicado realmente venceu?
Isso parece óbvio. Mas a mecânica é enormemente importante, porque a maioria das auditorias pós-eleição do mundo não são realmente concebidas para responder a essa pergunta com confiança estatística. Elas são concebidas para parecer que sim.
O tipo mais comum é a auditoria de percentagem fixa: após a eleição, os funcionários retiram uma percentagem fixa de boletins — digamos 1% ou 5% — examinam-nos manualmente e comparam o resultado com a contagem da máquina. Se corresponderem de forma suficientemente próxima, todos vão para casa. Esta abordagem é intuitiva. Parece rigorosa. Não o é.
Eis o problema. Uma amostra de 1% numa eleição por grande margem e uma amostra de 1% numa corrida decidida por 0,1% dos votos estão a fazer trabalho estatístico completamente diferente. Na eleição por grande margem, mesmo uma contagem moderadamente defeituosa seria tão óbvia que uma pequena amostra a apanharia. Na corrida acirrada — aquela em que apanhar um erro realmente importa — essa mesma amostra de 1% talvez tivesse quase nenhuma hipótese de detectar um problema. Quanto mais próxima a corrida, mais verificação é necessária. Uma percentagem fixa inverte a lógica.
E no entanto auditorias de percentagem fixa são ainda prática padrão na maioria das democracias. A lacuna entre o rigor aparente da auditoria e o seu poder estatístico real é precisamente onde uma eleição mal contada pode desaparecer despercebida.
O que uma auditoria com limite de risco faz de diferente
Uma auditoria com limite de risco, ou RLA, começa a partir da direção oposta.
Em vez de perguntar "que percentagem devemos verificar?", pergunta: "qual é a probabilidade máxima que estamos dispostos a aceitar de que um resultado errado passa despercebido?" Essa probabilidade — o limite de risco — é estabelecida antes da auditoria começar. O Colorado, que pioneirou esta abordagem, começou em 9% e mais tarde reduziu para 3%. Um limite de risco de 5% significa: se o vencedor indicado realmente perdeu, há no máximo uma hipótese de 1 em 20 de que esta auditoria falharia em apanhá-lo.
A matemática funciona então em sentido inverso a partir dessa garantia para determinar quantos boletins precisam ser examinados manualmente. E o resultado é contraintuitivo da melhor forma possível: quanto mais próxima a corrida, maior a amostra que a RLA exige. Uma eleição por grande margem talvez necessite apenas algumas centenas de boletins verificados manualmente. Uma corrida decidida por uma fração de um por cento talvez necessite uma recontagem manual completa de todos os boletins na jurisdição — que é exatamente o que a Geórgia teve de fazer em 2020.
O outro ingrediente crítico é um registo em papel confiável. Uma RLA não pode auditar um registo digital contra si próprio. Precisa de boletins físicos marcados pelo eleitor — o tipo que um eleitor realmente tocou — para servir como verdade fundamental. O Condado de Sarasota em 2006 não tinha tal coisa. Uma RLA conduzida lá teria sido matematicamente correta e fisicamente impossível ao mesmo tempo.
Colorado, 2017: o primeiro estado a realmente fazê-lo
A 22 de novembro de 2017, a Secretária de Estado do Colorado anunciou que o estado tinha concluído a primeira auditoria com limite de risco em todo o estado na história americana.
Isto não é uma reivindicação trivial. Muitos estados têm conduzido auditorias. O Colorado foi o primeiro a conduzir uma que viesse com um nível de confiança definido matematicamente — um que qualquer pessoa, em princípio, pudesse verificar verificando o trabalho estatístico. O procedimento é público. O FAQ que a Secretária de Estado publicou explica a metodologia em linguagem clara. Os tamanhos das amostras, o limite de risco, os boletins selecionados — tudo documentado.
A razão pela qual isto importa não é que a eleição de 2017 do Colorado tenha sido controversa. Não foi. A razão é que um método provado numa eleição não controversa é o método que se quer ter à espera quando a eleição controversa chegar. Não se quer estar a inventar infraestrutura de auditoria uma semana após um resultado disputado. O Colorado construiu a sua antes de precisar.
Os ingredientes-chave que o Colorado reuniu: boletins em papel obrigatórios (a verdade fundamental física), um limite de risco público estabelecido antes da eleição, e uma amostra aleatória retirada de forma transparente e documentada. Retire qualquer um desses e a garantia estatística desaba.
Geórgia, 2020: quando a matemática exige uma recontagem manual completa
A RLA do Colorado em 2017 foi, por sorte estatística, eficiente. As margens foram suficientemente largas para que amostras relativamente pequenas fornecessem a confiança necessária.
A Geórgia em novembro de 2020 não teve tal sorte.
A margem presidencial na Geórgia foi suficientemente próxima para que, quando os funcionários aplicaram o quadro de auditoria com limite de risco, a matemática não lhes desse atalho: para cumprir o nível de confiança necessário, tinham de examinar manualmente cada boletim. Aproximadamente cinco milhões deles. Através de 159 condados. Examinando 41.881 lotes. Em menos de seis dias.
Fizeram-no. A Georgia Public Broadcasting relatou que a contagem manual confirmou o resultado tabulado pela máquina, com a variação entre a contagem original e a recontagem manual chegando a cerca de um décimo de um por cento. A reportagem da NPR confirmou o resultado.
Eis o que o caso da Geórgia realmente provou: boletins em papel mais um método de auditoria sólido permite que qualquer pessoa verifique um resultado próximo, em vez de aceitar a palavra da máquina. Cinco milhões de boletins. Um processo observável e documentado. Um resultado que qualquer observador a nível de condado poderia verificar de forma cruzada contra os totais da sua própria jurisdição.
Isto não é nada de menor. É enormemente mais do que aquilo que o Condado de Sarasota tinha em 2006 com os seus ecrãs táteis sem papel e a sua margem de 369 votos e as suas 18.000 escolhas em falta.
Mas o caso da Geórgia também contém uma lição mais subtil. A variação de cerca de um décimo de um por cento parece pequena. É pequena. E numa corrida de cinco milhões de boletins não afetou o resultado. Mas um décimo de um por cento de cinco milhões são cinco mil votos. Numa eleição diferente — uma corrida legislativa estadual, um assento de comissão de condado, uma corrida decidida por centenas em vez de milhares — uma taxa similar de variação de contagem manual poderia importar. Até o padrão-ouro da contagem manual carrega erro humano irredutível. Contadores cansados lêem mal os boletins. Marcas aleatórias são interpretadas de forma diferente por pessoas diferentes. As chamadas de adjudicação — o que conta como uma marca válida? — variam por mesa.
Isto não é uma crítica ao processo da Geórgia. É uma declaração sobre os limites de qualquer sistema operado por humanos.
Michigan, 2020: o que acontece quando não há salvaguarda antes da publicação
O Condado de Antrim, Michigan é um condado consistentemente republicano. Quando os primeiros resultados não oficiais na noite de 4 de novembro de 2020 mostraram Joe Biden à frente por aproximadamente 3.000 votos com a maioria dos boletins contados, o número atraiu escrutínio imediato — não por causa de qualquer sistema de alarme interno, mas porque qualquer pessoa que conhecesse a política do condado sabia que o resultado era implausível.
A causa revelou-se ser erro humano. A funcionária do condado Sheryl Guy tinha reprogramado algumas mas não todas as cartas utilizadas nos tabuladores após uma mudança de última hora numa eleição local, portanto alguns dados de recinto combinaram incorretamente quando os totais não oficiais foram compilados. Guy disse que o erro era dela. A conta detalhada do FactCheck.org deixa claro que foi um erro administrativo, não uma conspiração de software. O condado corrigiu os totais em 5 de novembro. O resultado certificado foi inafetado.
A 17 de dezembro, para resolver o assunto definitivamente, os funcionários conduziram uma auditoria manual de cada boletim presidencial no condado. O Departamento de Estado de Michigan anunciou que a contagem manual — 9.759 para Trump, 5.959 para Biden — confirmou a exatidão dos resultados eleitorais.
Agora parar aí. Ler aqueles dois números de novo. A contagem manual e a tabulação pela máquina diferiram por cerca de uma dúzia de votos de aproximadamente 15.700 votados. O Departamento de Estado de Michigan apresentou isto como confirmação. A Secretária de Estado chamou-lhe confirmação de exatidão.
Mas o que significa realmente uma diferença de 12 votos?
Na eleição presidencial do Condado de Antrim, com a sua grande margem, 12 votos é ruído. Não muda o resultado, e provavelmente reflete exatamente o que os especialistas preveriam: uma mistura de contagens incorretas humanas durante a contagem manual, marcas de boletim ambíguas, e chamadas de adjudicação que foram ligeiramente diferentes por contadores diferentes em momentos diferentes. A contagem manual não é um oráculo perfeito. É um processo humano altamente confiável mas imperfeito, e a sua taxa de erro — pequena como é — torna-se a conversa em qualquer corrida decidida por um número igualmente pequeno.
O problema mais profundo que o Condado de Antrim ilustra não é os 12 votos. É o momento antes da correção. Nada na conta publicada do Condado de Antrim credita uma salvaguarda interna com apanhar os números errados antes de serem publicados. O erro apareceu porque o resultado era gritantemente implausível — um perfil político ao nível do condado que qualquer pessoa poderia observar tornava os números publicados absurdos. Um erro mais subtil, numa eleição estadual próxima, alterando algumas centenas de votos sem inverter a inclinação partidária óbvia de um condado, talvez tivesse passado o teste de plausibilidade inteiramente. Não se pode auditar o que não se consegue ver.
Esse é o argumento para verifiabilidade que não depende de implausibilidade como alarme.
A lacuna entre "fizemos uma auditoria" e "pode verificar a auditoria"
Uma RLA parece uma solução completa. De muitas formas, é a melhor ferramenta de verificação pós-eleição disponível em escala. Mas vale a pena ser preciso sobre o que faz e não faz.
O que uma RLA bem executada fornece:
- Um nível de confiança definido e quantificado de que o vencedor indicado realmente venceu
- Uma amostra retirada por um processo que é transparente e reproduzível
- Uma comparação contra boletins físicos que eleitores realmente marcaram
O que uma RLA bem executada ainda requer que confie:
- Que os boletins em papel a ser auditados não foram alterados desde que foram votados
- Que a cadeia de custódia desses boletins — os sacos selados, as salas fechadas, os registos de transferência — se manteve em cada passo
- Que a jurisdição que conduz a auditoria não cometeu erros no seu próprio processo de auditoria
O último não é hipotético. O Condado de Antrim realizou uma auditoria manual e obteve um número que diferiu em 12 da contagem da máquina. A Geórgia realizou uma RLA e obteve uma variação de cerca de um décimo de um por cento. Esses são bons resultados. Não são zero. E as entidades que verificam os resultados da auditoria eram, em ambos os casos, os mesmos órgãos governamentais cujo trabalho estava a ser escrutinado.
"A auditoria confirmou" e "a Secretária de Estado diz que está bem" são garantias, não prova. Podem bem ser verdade. Mas garantia não é verifiabilidade. Verifiabilidade significa que uma parte independente — um investigador, um jornalista, um cidadão cético com uma folha de cálculo — pode verificar o trabalho usando as mesmas entradas e obter a mesma resposta.
A lacuna entre "fizemos uma auditoria" e "pode verificar a auditoria independentemente" é precisamente a lacuna que abordagens baseadas em software-e-criptografia existem para fechar. Técnicas como sistemas de votação verificáveis ponta-a-ponta permitem que eleitores confirmem que o seu boletim foi contado sem revelar como votaram, e permitem que qualquer observador verifique o resultado agregado sem confiar em qualquer autoridade única. Estes não são teóricos: existem, e algumas jurisdições já utilizam versões deles.
A pergunta não é se as auditorias importam. Importam. A pergunta é se "auditámos" é o ponto final, ou o início de um padrão mais elevado.
O que procurar na sua própria jurisdição
Antes da próxima eleição na sua jurisdição, há três perguntas cuja resposta vale a pena conhecer:
Primeiro: a sua jurisdição utiliza boletins em papel verificados pelo eleitor? Se não, uma RLA é matematicamente impossível. Não há nada para auditar contra. Essa é a situação de Sarasota. Se a sua jurisdição ainda utiliza ecrãs táteis sem papel ou votação pela internet sem um registo em papel independente, a conversa sobre auditoria nem pode começar.
Segundo: a sua jurisdição conduz uma auditoria com limite de risco, ou uma auditoria de percentagem fixa? A diferença importa mais nas corridas mais próximas — precisamente aquelas que geram mais preocupação pública. Uma auditoria de percentagem fixa que inspeciona 2% de boletins numa corrida decidida por 0,1% talvez tenha quase nenhum poder estatístico para apanhar um resultado errado. Uma RLA na mesma corrida ou apanharia o problema ou expandiria explicitamente a amostra até o fazer.
Terceiro: os resultados da auditoria — os IDs de boletim amostrados, as contagens manuais, a comparação contra contagens de máquina — são publicados na íntegra, numa forma que um observador independente possa verificar? É aqui que a maioria das jurisdições, mesmo aquelas que executam boas auditorias, ficam aquém. Publicar um comunicado de imprensa resumido não é a mesma coisa que publicar os dados da auditoria.
As respostas a essas três perguntas dizem-lhe mais sobre a integridade real da sua eleição local do que qualquer declaração oficial alguma vez dirá.
Leia a versão de 2 minutos das lacunas de integridade eleitoral →
Explore lacunas específicas na sua região →
A verdade partilhável: uma eleição que só pode ser confiada — mas não verificada independentemente — não é uma eleição segura. É uma bem-intencionada. Não é a mesma coisa, e numa corrida próxima, a diferença é a história inteira.
Fontes
- Michigan Department of State — Final numbers from Antrim County audit affirm accuracy of election results
- FactCheck.org — Audit in Michigan County Refutes Dominion Conspiracy Theory
- Georgia Public Broadcasting — Risk-Limiting Audit Confirms Biden Won Georgia
- NPR — Georgia Releases Hand Recount Results, Affirming Biden's Lead
- Colorado Secretary of State — A new kind of election audit: Colorado is first to complete it
- Colorado Secretary of State — Risk-Limiting Audit (RLA) FAQs
- U.S. GAO (GAO-08-97T) via GovInfo — Testing of Voting Systems in Florida's 13th Congressional District