3.4 — Supervisão Humana e Limites Éticos em Sistemas Automatizados (HITL)

Alto risco (sempre precisa de HITL):

- Decisões irreversíveis: demissão automatizada, bloqueio de conta

- Decisões que afetam direitos: negação de benefícios, crédito

- Decisões sobre saúde: triagem médica, dosagem de medicamento

- Decisões sobre liberdade: análise de liberdade condicional



Médio risco (HITL em casos limítrofes):

- Priorização de atendimento (ex: chamados de suporte)

- Recomendação de conteúdo com alto engajamento

- Aprovação de transações financeiras acima de threshold



Baixo risco (automação total OK):

- Classificação de spam

- Sugestão de completamento de texto

- Recomendação de produto com valor < R$50

# Interface obrigatória para sistemas de alto risco:

def registrar_decisao_automatizada(

    usuario_id: str,

    decisao: str,

    fatores: list[str],

    modelo_versao: str,

) -> str:

    """Retorna ID para contestação futura."""

    decisao_id = gerar_uuid()

    audit_log({

        "decisao_id": decisao_id,

        "usuario_hash": hash_anonimo(usuario_id),  # não armazenar ID puro

        "decisao": decisao,

        "fatores_principais": fatores[:3],  # limitado

        "modelo": modelo_versao,

        "timestamp": iso_now(),

        "canal_contestacao": "https://empresa.com.br/revisao",

    })

    return decisao_id



# Endpoint de contestação (obrigatório por LGPD):

# POST /revisao/{decisao_id}

# → coloca na fila de revisão humana

TEATRO DE HITL (evitar):

- Revisor tem 2 segundos por caso: não consegue ler, quanto mais revisar

- Interface mostra apenas a decisão do modelo, não os dados brutos

- Revisor nunca discorda do modelo (100% de concordância = não está revisando)

- Sem incentivo para discordância: "por que me complicar?"



HITL EFETIVO:

- Revisor tem tempo para revisar dados originais, não apenas a decisão

- Interface mostra evidência contraditória ou ambígua em destaque

- Existe processo de feedback para casos discordados

- Taxa de discordância é monitorada (>0% é sinal de saúde do processo)

- Amostragem aleatória além dos casos limítrofes

def calcular_capacidade_hitl(

    decisoes_por_dia: int,

    pct_para_revisao: float,  # ex: 0.05 = 5% dos casos

    tempo_revisao_minutos: float,

    horas_revisores: float,  # horas disponíveis por dia

) -> dict:

    casos_revisao = decisoes_por_dia * pct_para_revisao

    minutos_necessarios = casos_revisao * tempo_revisao_minutos

    revisores_necessarios = minutos_necessarios / (horas_revisores * 60)

    

    return {

        "casos_para_revisao": int(casos_revisao),

        "revisores_necessarios": round(revisores_necessarios, 1),

        "viavel": revisores_necessarios < 5,  # threshold de viabilidade

    }



# Exemplo:

resultado = calcular_capacidade_hitl(

    decisoes_por_dia=10000,

    pct_para_revisao=0.05,   # 5% = casos limítrofes

    tempo_revisao_minutos=5,

    horas_revisores=8,

)

# → casos: 500/dia, revisores: 10.4

# Se 10 revisores não são viáveis: reduzir pct_para_revisao ou automatizar mais (aceitando mais risco)

def selecionar_casos_revisao(decisoes: list[dict], n: int = 100) -> list[dict]:

    # Estratégia: casos limítrofes + amostra aleatória

    

    # 1. Casos limítrofes (score próximo do threshold)

    THRESHOLD = 0.6

    MARGEM = 0.1

    limítrofes = [d for d in decisoes if abs(d["score"] - THRESHOLD) < MARGEM]

    

    # 2. Amostra aleatória (captura erros sistêmicos invisíveis nos limítrofes)

    import random

    amostra_aleatoria = random.sample(decisoes, min(n // 3, len(decisoes)))

    

    # 3. Combinar e deduplicar

    revisao = list({d["id"]: d for d in limítrofes[:n * 2 // 3] + amostra_aleatoria}.values())

    return revisao[:n]

Sistema: ML ranqueia candidatos para triagem inicial



Sem HITL (ruim):

  → 500 candidatos ranqueados, RH seleciona top-50 automaticamente

  → Candidatos rejeitados nunca recebem feedback

  → Modelo tem viés histórico de contratação → perpetua discriminação



Com HITL Efetivo:

  → Top-50 automático + 10 casos aleatórios + 5 casos próximos do corte

  → Recrutador vê CV completo (não apenas score)

  → Discordâncias do recrutador alimentam retrained dataset

  → Taxa de discordância monitorada: se cair abaixo de 5% → investigar

taxa_discordancia = discordancias / total_revisados

if taxa_discordancia < 0.02:

    alert("HITL potencialmente inefetivo — taxa de discordância muito baixa")

Revisor vê dados técnicos sem contexto → aprova tudo para "não atrasar"

Solução: interface que destaca sinais de alerta e explica o risco de cada caso

LGPD exige que o usuário possa SOLICITAR revisão

HITL interno ≠ canal de contestação para o usuário afetado