studyhub
módulo 13 · prosperidade e evidência

Modelos, causalidade e humildade empírica

Como distinguir uma explicação econômica de uma história convincente contada depois dos fatos?

Causalidade compara o que ocorreu com um contrafactual que não observamos. Experimentos e quase-experimentos tentam reconstruí-lo. Modelos simplificam mecanismos; evidência seleciona quais servem ao contexto. O economista competente declara incerteza, rival e condição de revisão. A camada aprofundada encerra a trilha com uma disciplina de decisão: formular o efeito que se quer conhecer, desenhar um contrafactual plausível, quantificar incerteza e separar validade interna de utilidade externa. Experimentos, diferenças em diferenças, regressão descontínua e variáveis instrumentais aparecem como respostas a vieses específicos, não como selos automáticos de verdade. O teste final é transformar estimativa em decisão reversível e aprendizado acumulado.

O que você vai aprender5 objetivos
  • Distinguir descrição, previsão e causalidade.
  • Definir tratamento, resultado e contrafactual.
  • Reconhecer confundimento, seleção e causalidade reversa.
  • Entender a lógica de experimentos, IV, RDD e diferenças em diferenças.
  • Separar validade interna, externa e efeito de equilíbrio.

contrafactual · confundimento · seleção · experimento · variável instrumental · regressão descontínua · diferenças em diferenças · validade externa

Antes de calcular, não confunda

Economia fica difícil quando palavras próximas são tratadas como sinônimos. Estas separações sustentam o restante da aula.

Correlação × causalidade

significa
Correlação descreve co-movimento; causalidade compara o resultado sob intervenção com o resultado contrafactual para a mesma unidade.
não significa
Controle estatístico extenso é tratado como substituto de desenho, mesmo quando seleção, simultaneidade ou variável omitida permanecem.

Teste rápido: Por que os grupos diferem e o que, além do tratamento, poderia ter produzido a diferença observada?

Estimando × estimador

significa
Estimando é a quantidade causal desejada; estimador é a regra aplicada aos dados para aproximá-la.
não significa
Um método sofisticado responde a efeito local ou entre aderentes, enquanto a decisão exige efeito médio em toda população.

Teste rápido: Efeito de qual intervenção, para quem, comparado a quê, em qual horizonte e sob qual adesão?

Validade interna × validade externa

significa
Interna pergunta se o efeito foi identificado na amostra; externa pergunta se mecanismo e magnitude transportam para outro público, lugar ou escala.
não significa
Resultado causal limpo em uma cidade é promovido a lei universal, ou heterogeneidade externa é usada para negar um efeito interno bem medido.

Teste rápido: Quais condições sustentam o mecanismo e quais mudam ao transportar população, execução, equilíbrio ou escala?

Significância estatística × relevância econômica

significa
Significância informa incompatibilidade com uma hipótese sob um modelo; relevância compara magnitude, custo, risco e alternativa.
não significa
Abaixo de 5% vira importante e acima vira zero, sem intervalo, poder, múltiplos testes ou valor econômico.

Teste rápido: O intervalo inclui efeitos que mudariam a decisão e o estudo tinha tamanho para detectar a menor mudança útil?

Predição × decisão causal

significa
Predição estima quem terá um resultado; decisão causal estima como o resultado muda se uma ação for aplicada.
não significa
Um modelo encontra clientes com alto risco, mas eles podem não ser os que mais respondem à intervenção.

Teste rápido: Precisamos prever o resultado sem agir ou priorizar unidades com maior efeito incremental do tratamento?

01

Correlação descreve co-movimento; causa exige alternativa

Empresas que treinam mais podem ser mais produtivas porque treinamento funciona, porque empresas melhores treinam mais ou porque boa gestão causa ambos. Controlar algumas variáveis em regressão não elimina automaticamente as alternativas. Uma afirmação causal precisa explicar como o grupo comparado representa o que teria acontecido sem a intervenção.

O contrafactual é impossível de observar para a mesma unidade no mesmo momento. Desenho de pesquisa procura outra fonte de comparação: sorteio, regra de elegibilidade, mudança externa, tendência paralela ou instrumento que altera tratamento sem afetar diretamente o resultado. A credibilidade nasce do desenho e de testes de suas implicações, não do número de casas decimais.

O problema fundamental da inferência causal é não observar simultaneamente os dois resultados potenciais da mesma unidade. Para cada empresa existiria faturamento com e sem crédito; só um ocorre. A média do grupo não tratado pode aproximar o contrafactual apenas se for comparável. Seleção quebra essa equivalência: firmas mais promissoras buscam o programa, clientes mais engajados abrem e-mails, trabalhadores mais saudáveis exercitam-se. A pergunta causal começa explicando como a comparação elimina ou limita essa seleção.

Antes dos dados, escreva o estimando: população, tratamento, alternativa, desfecho, unidade e horizonte. Trocar convite por uso muda intenção de tratar para efeito entre aderentes; trocar receita por lucro muda decisão; medir sete dias pode capturar novidade, não retenção. Pré-definir evita escolher depois o recorte mais favorável. Um diagrama causal simples ajuda a decidir o que controlar: confundidores devem ser tratados; mediadores e colisores podem criar viés quando condicionados sem justificativa.

02

Experimentos resolvem seleção — dentro do experimento

A randomização torna grupos comparáveis em expectativa antes do tratamento. A diferença posterior estima o efeito médio para a população e implementação estudadas, respeitando perdas de amostra e aderência. Pré-registro, resultado primário e análise de atrito protegem contra escolher a história depois de ver os dados.

O experimento não resolve tudo. Participantes podem mudar comportamento porque sabem que são observados; grupos podem interagir; execução pode diferir da política real; efeitos de longo prazo e escala podem ser outros. Ética e custo também limitam o que pode ser sorteado. RCT é uma ferramenta forte, não uma hierarquia que torna teoria e outras evidências irrelevantes.

Randomização torna tratamento independente dos resultados potenciais em expectativa. Ainda é preciso verificar implementação, atrito, contaminação, adesão e mensuração. A análise por intenção de tratar preserva a comparação original e responde ao efeito de oferecer a política; dividir apenas quem aderiu reabre seleção. Quando aleatorizar indivíduos contamina grupos, sorteiam-se escolas, lojas ou regiões e o cálculo de incerteza precisa respeitar esses clusters.

Experimento também possui ética e custo de oportunidade. Não se sorteia tratamento comprovadamente indispensável, mas pode-se comparar duas formas plausíveis, ordem de expansão ou limiar de capacidade. O tamanho deve ser planejado pela menor diferença economicamente relevante. Amostra gigantesca detecta efeitos triviais; pequena produz intervalo que contém ganho e dano. Registro de protocolo, desfecho principal e análises de robustez reduz mineração de resultados.

03

Quase-experimentos exploram regras e choques plausivelmente externos

Regressão descontínua compara unidades próximas de um corte; variáveis instrumentais usam uma fonte de variação que afeta tratamento, mas não resultado por outro canal; diferenças em diferenças comparam mudanças entre grupos sob tendência paralela. Cada método substitui randomização por uma hipótese específica e testável em parte.

Nenhum nome de método garante validade. Manipulação perto do corte quebra RDD; instrumento com canal direto quebra exclusão; tendências divergentes quebram DiD. O efeito estimado também pode ser local: pessoas afetadas pelo instrumento ou unidades próximas do corte. A população do efeito faz parte do resultado.

Quase-experimentos usam uma regra que produz comparação plausivelmente exógena. Diferenças em diferenças exige tendências paralelas no contrafactual, não apenas duas linhas antes e depois. Regressão descontínua identifica efeito perto do corte quando agentes não manipulam precisamente a variável. Variável instrumental exige relevância e exclusão: o instrumento altera o tratamento e afeta o resultado apenas por ele. Cada desenho compra credibilidade ao estreitar a pergunta.

Diagnósticos não provam premissas invisíveis, mas tornam falhas mais visíveis: estudos de evento mostram pré-tendências; densidade e covariáveis testam manipulação no corte; primeiro estágio mede força do instrumento; placebo procura efeitos onde não deveriam existir. Erros-padrão precisam seguir a unidade de variação. Se uma política ocorre no estado, milhões de pessoas não criam milhões de choques independentes.

04

Um modelo é um mapa para uma pergunta, não o território

Modelos removem detalhes para isolar um mecanismo. Concorrência perfeita, informação assimétrica e monopólio não competem para ser a descrição universal do mundo; respondem a condições diferentes. O trabalho difícil é escolher qual simplificação preserva o mecanismo relevante e quais detalhes ausentes podem inverter a conclusão.

Uma análise madura apresenta tese, cadeia causal, previsão discriminante, evidência, rival e gatilho de revisão. “Dados mostram” é insuficiente sem método; “a teoria diz” é insuficiente sem verificar condições. Humildade não significa indecisão: significa calibrar confiança e definir o que aprender a seguir.

Modelo estrutural e evidência reduzida respondem a tarefas diferentes. Um experimento estima uma margem observada sob regras existentes; um modelo pode simular preço, entrada e equilíbrio quando a política escala, desde que seus parâmetros e mecanismos sejam disciplinados por dados. Previsão fora da amostra avalia capacidade preditiva, não identifica intervenção. A boa prática triangula: desenho causal para margens conhecidas, teoria para canais e dados externos para transporte.

Decisão sob incerteza não exige certeza acadêmica total. Ela exige comparar valor esperado, pior caso, reversibilidade e custo de aprender. Piloto é valioso quando a ação pode ser escalada depois e o sinal chega cedo; não resolve efeitos raros ou de longo prazo. A cada rodada, registre previsão, resultado, desvio e atualização. Assim a organização constrói memória causal em vez de colecionar dashboards sem hipótese.

modelo

Efeito causal individual e problema fundamental

Causa é a diferença entre dois resultados potenciais para a mesma unidade, mas apenas um deles pode ser observado. Com resultados potenciais, o efeito individual é Yᵢ(1)−Yᵢ(0), impossível de observar diretamente. A randomização permite estimar o efeito médio porque os grupos são comparáveis em expectativa; desenhos quase-experimentais tentam recuperar independência em uma margem específica.

Yᵢ(1)
resultado da unidade i sob tratamento
Yᵢ(0)
resultado da mesma unidade sem tratamento
τᵢ
efeito causal individual, não observável diretamente
E[τ]
efeito médio para uma população definida
Yᵢ(1)
resultado potencial da unidade i quando exposta ao tratamento
Yᵢ(0)
resultado potencial da mesma unidade sem o tratamento ou sob a alternativa
ATE
efeito médio E[Y(1)−Y(0)] na população definida
ITT
efeito de ser designado ou convidado, preservando a randomização mesmo sem adesão perfeita
IC
intervalo de confiança, faixa de estimativas compatíveis com dados e premissas do modelo

Como não observamos os dois resultados da mesma unidade, precisamos construir grupos cujo resultado sem tratamento seja comparável. Randomização faz isso em expectativa; quase-experimentos fazem sob hipóteses adicionais. A diferença de médias em um experimento estima ATE ou ITT conforme o tratamento analisado. O erro-padrão expressa variação amostral; um intervalo de 95% não diz que existe 95% de probabilidade frequentista de o parâmetro fixo estar ali, mas descreve o desempenho do procedimento em repetições sob as premissas.

Onde o modelo deixa de bastar: Efeitos são heterogêneos, tratamento pode afetar não tratados e a própria política pode mudar preços e comportamento quando ganha escala. Identificação não corrige desfecho mal medido, não garante adesão, transporte, equilíbrio geral ou ausência de interferência entre unidades. Um número causal pode ser verdadeiro e ainda insuficiente para decidir custo, escala e distribuição.

Um teste melhora conversão em 1 ponto, mas a decisão ainda não é automática

Uma nova página deve ser adotada quando 10.000 visitantes de cada grupo convertem 10% e 11%?

Visitantes elegíveis são randomizados igualmente. O controle registra 1.000 compras em 10.000 e o tratamento, 1.100 em 10.000. Cada compra adicional gera R$ 80 de margem de contribuição e manter a página custa R$ 5.000 por mês. Suponha implementação íntegra, um único desfecho principal e observações independentes.

item observadovalortratamento econômico
Conversão do controle10,0%1.000 / 10.000.
Conversão do tratamento11,0%1.100 / 10.000.
Efeito absoluto estimado+1,0 p.p.11% − 10%; unidade relevante para volume.
Efeito relativo estimado+10%1 ponto dividido pela base de 10%; não são 10 pontos.
Erro-padrão aproximado0,434 p.p.Raiz de [0,10×0,90/10.000 + 0,11×0,89/10.000].
Estatística z2,301,0 / 0,434.
IC 95% aproximado+0,15 a +1,85 p.p.1,0 ± 1,96×0,434.
Margem incremental pontualR$ 8.000100 compras adicionais × R$ 80.
Resultado mensal pontual após custo+R$ 3.0008.000 − 5.000.
Faixa econômica do IC−R$ 3.800 a +R$ 9.80015 a 185 compras × R$ 80, menos R$ 5.000.
Δp = 0,11−0,10 = 0,01. EP ≈ √(0,1×0,9/10.000 + 0,11×0,89/10.000) = 0,00434. IC95% ≈ 0,01 ± 1,96×0,00434 = [0,0015; 0,0185].
  1. Confirme o estimando: efeito de designar a página sobre compra por visitante elegível no horizonte observado. Receita por comprador recorrente exigiria outro desfecho.
  2. Calcule diferença absoluta antes da relativa. Um ponto percentual aplicado a 10.000 visitantes produz estimativa de 100 compras adicionais.
  3. Quantifique incerteza. O intervalo exclui zero por pouco, mas abrange efeitos economicamente muito diferentes, de 15 a 185 compras.
  4. Converta toda a faixa para a unidade da decisão. A estimativa central rende R$ 3.000 líquidos, enquanto a faixa aproximada inclui perda de R$ 3.800 e ganho de R$ 9.800.
  5. Cheque validade: randomização, perdas, bots, múltiplas métricas, sazonalidade e interferência. Encerrar o teste no primeiro p abaixo de 5% sem correção infla falso positivo.
  6. Escolha ação proporcional. Se reversível e barata, implante em parcela maior com monitoramento; se risco de marca ou custo fixo alto, colete amostra adicional e meça retenção.
conclusão condicional

O teste oferece evidência positiva e estatisticamente discernível, mas não certeza de lucro. A estimativa central cobre o custo em R$ 3.000; o intervalo econômico ainda inclui perda. Uma decisão madura combina probabilidade, magnitude, reversibilidade e valor de aprender, em vez de transformar p-valor em botão automático.

análise de sensibilidade

Com margem de R$ 40, o ganho pontual bruto cai a R$ 4.000 e não cobre o custo. Com 100.000 visitantes, a mesma taxa gera aproximadamente 1.000 compras e dilui o custo. Se a página antecipa compras sem aumentar retenção, a métrica de curto prazo superestima valor. Se dez variantes foram testadas e só a melhor publicada, o intervalo nominal é otimista.

Uma campanha dobrou as vendas?

A empresa lançou publicidade em dezembro e vendas dobraram em relação a novembro. A expansão altera composição e execução. Unidades pioneiras podem ter equipe motivada e público acessível; em escala entram regiões, fornecedores e agentes distintos. O custo marginal sobe, grupos de controle recebem informação e preços reagem. O efeito do piloto é uma peça do caso de decisão, não a política inteira.

  1. Sazonalidade, preço, estoque, concorrência e tendência podem explicar parte ou todo o aumento.
  2. Comparar clientes expostos e não expostos é enviesado se a campanha escolheu quem já compraria.
  3. Um sorteio geográfico ou temporal, com métricas definidas antes, cria contrafactual mais defensável.
  4. O efeito incremental deve descontar canibalização, margem, clientes que comprariam depois e efeitos sobre outras regiões.
  5. Declare a teoria de mudança em elos: convite, adesão, comportamento intermediário, desfecho e impacto final. Meça gargalos para saber por que a cadeia rompe.
  6. Separe heterogeneidade prevista de mineração. Poucos subgrupos, definidos antes e com mecanismo, ajudam a adaptar; dezenas de cortes produzem coincidência.
  7. Faça análise de custo completo: equipe, aquisição, deslocamento, custo do usuário, capacidade pública e efeitos sobre não participantes.
  8. Planeje transporte com replicação em contextos contrastantes e rollout aleatório quando possível. Escala gradual gera evidência operacional sem bloquear correção.
regra de decisão

Não escalar orçamento por crescimento antes/depois; estimar venda e lucro incrementais contra um contrafactual planejado. Escale quando efeito relevante sobrevive ao desenho, custo e capacidade; faça novo piloto quando mecanismo parece plausível mas o contexto muda; interrompa quando o intervalo exclui benefício mínimo ou o dano esperado supera o valor de aprender.

Desenhos críveis mudaram a economia empírica

consenso sólido

Experimentos naturais, randomizados e estratégias de identificação tornaram explícitas as hipóteses usadas para estimar causas em educação, trabalho, desenvolvimento e políticas públicas. A revolução de credibilidade elevou o padrão ao ligar método a uma fonte concreta de variação. Angrist e Imbens mostram que efeitos identificados podem ser locais e dependem do desenho. Ensaios de desenvolvimento revelam heterogeneidade e mecanismos úteis, mas Deaton e outros lembram que identificação estreita não resolve mensuração, teoria nem transporte.

o que sustenta

Sustenta exigir contrafactual, hipótese identificadora, robustez e população do efeito. Sustenta transparência sobre estimando, atribuição, intervalo e população. Sustenta pluralismo disciplinado: experimento quando possível, quase-experimento quando premissas são defensáveis, teoria e descrição quando a pergunta é mais ampla.

o que não sustenta

Não sustenta que apenas RCT produza conhecimento nem que uma estimativa local seja política pronta. Não sustenta hierarquia em que qualquer RCT vence automaticamente qualquer outra evidência, nem regressão observacional com muitos controles como causal por padrão. Também não sustenta decidir pelo sinal de uma estimativa imprecisa.

antes de transportar

Combine efeito causal, mecanismo, custo, capacidade, equilíbrio geral e validade externa antes de escalar. Mapeie mecanismo, população, tratamento, implementação, preços e equilíbrio. Replicação conceitual em contextos diferentes informa mais sobre transporte que repetir exatamente o mesmo local.

Precisão local versus explicação ampla

argumento

Perguntas estreitas com desenhos críveis reduzem espaço para ideologia e ajudam a escolher instrumentos concretos. Desenhos locais e transparentes substituem grandes narrativas não testadas por comparações auditáveis e permitem abandonar intervenções que não funcionam.

melhor contraponto

Questões estreitas podem ignorar instituições, poder, preços e transformações que surgem apenas em escala ou no longo prazo. Perguntas importantes sobre crescimento, instituições e crises não cabem sempre em experimento; foco no identificável pode deslocar atenção do estrutural e fragmentar política.

síntese operacional

Construa conhecimento em camadas: identificação local, replicação, mecanismo, síntese, custo e análise de equilíbrio. Nenhuma camada substitui as demais. Escolha o método pela pergunta. Use desenho causal para margens identificáveis, teoria para interação e escala, história para transformação institucional e estatística descritiva para dimensionar. Triangule quando nenhuma peça é suficiente.

O que faria revisar a conclusão: Reavalie a recomendação quando população, implementador, escala, preços ou incentivos diferirem do estudo original. Revise quando pré-tendências, perdas, manipulação, especificações, replicação ou efeitos de escala contradisserem a interpretação. Distinguir falha do tratamento, da execução e da teoria evita aprender a lição errada.

BR

Dados oficiais são matéria-prima, não conclusão automática

IBGE e Banco Central oferecem séries extensas, mas uma correlação entre Selic, inflação, emprego ou PIB não identifica sozinha o efeito de uma política. Choques simultâneos e reação do próprio formulador criam endogeneidade. A análise brasileira precisa combinar cronologia institucional, desenho causal e sensibilidade a revisões. O Brasil oferece cadastros, sorteios, cortes administrativos, calendários e implementação federativa que podem sustentar bons desenhos, mas acesso, ligação e documentação de dados ainda limitam análise. IBGE e Banco Central devem ser lidos com metadados, revisão e unidade correta. Em empresas, comece menor: randomize ordem de contato, preço, página ou processo; registre hipótese antes; meça margem e retenção, não só clique. No setor público, rollout por município pode unir expansão e aprendizagem se ética, capacidade e governança de dados forem tratadas desde o desenho.

O que cada referência sustenta

As fontes não estão aqui para decorar o texto. Cada uma cumpre uma função verificável neste módulo.

cursoJoshua Angrist

Mastering Econometrics

Ensina desenho, resultados potenciais e ferramentas aplicadas com foco em identificação.

Curso de causalidade ministrado pelo Nobel de Economia de 2021 e professor do MIT.
pesquisaAbdul Latif Jameel Poverty Action Lab — MIT

Evidence to Policy Resources

Conecta desenho experimental, síntese, custo e uso responsável de evidência em política.

Centro de pesquisa fundado por Banerjee, Duflo e Sendhil Mullainathan.
pesquisaAbhijit Banerjee, Esther Duflo e Michael Kremer

Experimental approach to alleviating global poverty

Mostra contribuições e limites da abordagem experimental em desenvolvimento.

Fundamentação oficial do Nobel de Economia de 2019.
aulaAngus Deaton

Measuring and Understanding Behavior, Welfare, and Poverty

Reforça mensuração, heterogeneidade, bem-estar e limites de transporte.

Aula Nobel de 2015.
livroDani Rodrik

Economics Rules

Posiciona modelos como hipóteses condicionais escolhidas para perguntas específicas.

Reflexão metodológica de um dos principais economistas de desenvolvimento, comércio e economia política.
aulaJoshua D. Angrist

Empirical Strategies in Economics: Illuminating the Path from Cause to Effect

Expõe a lógica de experimentos naturais e o que uma comparação causal permite concluir.

Aula Nobel sobre desenho de pesquisa, experimentos naturais, variáveis instrumentais e efeitos causais.
aulaGuido W. Imbens

Causality in Econometrics: Choice versus Chance

Clarifica estimandos, efeitos locais, premissas e evolução moderna da inferência causal.

Aula Nobel que conecta resultados potenciais, escolha dos agentes, randomização e efeitos locais.
dadosInstituto Brasileiro de Geografia e Estatística

Painel de Indicadores

Fornece indicadores nacionais e metadados para descrição e desenhos aplicados.

Painel oficial de atividade, preços e mercado de trabalho.
dadosBanco Central do Brasil

Estatísticas econômico-financeiras

Oferece séries monetárias, financeiras e regionais úteis para hipóteses e validação.

Painel e séries oficiais do sistema financeiro e da política monetária brasileira.