Nenhuma parte desta publicação poderá ser reproduzida por qualquer meio ou forma sem a prévia autorização da Editora Saraiva. A violação dos direitos autorais é crime estabelecido na Lei n. 9.610/98 e punido pelo artigo 184 do Código Penal.

ISBN 9786558100065

Copyright © Stefan H. Thomke, 2020

Todos os direitos reservados

Título original: Experimentation Works Publicado conforme acordo com a Harvard Business Review Press. A cópia ou distribuição não autorizada desta obra constitui violação de direito autoral.

Copyright cartoons © Tom Fishburne, Marketoonist, LLC.

T465c

Thomke, Stefan H.

A cultura da experimentação: como os experimentos nos negócios

podem melhorar sua capacidade de inovação / Stefan H. Thomke;

tradução de Cristina Yamagami. – São Paulo: Benvirá, 2021.

Título original: Experimentation works

1. Gestão. 2. Inovação. 3. Tecnologia. 4. Cultura Organizacional.

5. Negócios. I. Yamagami, Cristina. II. Título.

2021-141

CDD 658.4012

CDU 65.011.

Índices para catálogo sistemático:

1. Gestão : Negócios 658.4012

2. Gestão : Negócios 65.011.4

Preparação: Paula Carvalho

Revisão: Carmem Becker

Diagramação e projeto gráfico: Edson Colobone / Lais Soriano

Capa: adaptada do projeto gráfico original de Tyler Comrie

Edição: Tatiana Vieira Allegro

Livro digital (E-pub)

Produção do e-pub Guilherme Henrique Martins Salvador

1ª edição, março de 2021

Todos os direitos reservados à Benvirá, um selo da Saraiva Educação, parte do grupo Somos Educação. Av. das Nações Unidas, 7221, 1º Andar, Setor B Pinheiros – São Paulo – SP – CEP: 05425-902 Dúvidas?

Acesse sac.sets@somoseducacao.com.br

CL 670957

A meus pais, que me deram o empurrão inicial, e a

Savita, Arjun, Vikram e Anjali, que me mantêm

seguindo em frente.

Sumário

Prefácio: Uma homenagem ao método científico

Introdução: Por que a experimentação é imprescindível

1. Por que a experimentação funciona

A experimentação faz uma grande diferença para uma empresa

Aprendendo com o sucesso e o fracasso

O desafio da inovação

Ferramentas digitais de experimentação

O processo de experimentação nos negócios

Gerar hipóteses testáveis

Conduzir experimentos disciplinados

Aprender insights importantes

Os fatores operacionais da aprendizagem em alta velocidade

Comece com baixa fidelidade

Alavanque experimentos de baixo custo

Concentre-se no feedback rápido

Aumente a capacidade de experimentação

Conduza experimentos simultâneos

Valorize o incrementalismo de alta velocidade

Use um controle

2. O que vem a ser um bom experimento?

Pergunta 1: O experimento tem uma hipótese testável?

Pergunta 2: Os stakeholders se comprometeram a respeitar os resultados?

Pergunta 3: O experimento é executável?

Pergunta 4: Como podemos garantir resultados confiáveis?

Testes de campo randomizados

Testes cegos

Big data

Pergunta 5: Nós entendemos as relações de causa e efeito?

Pergunta 6: Nós nos beneficiamos ao máximo do experimento?

Pergunta 7: Nossas decisões estão realmente sendo orientadas pelos experimentos?

3. Como fazer experimentos on-line

Teste todas as decisões testáveis

Reconheça o valor das pequenas alterações

Invista em um sistema de experimentação em grande escala

Organize-se para a experimentação

Defina métricas de sucesso

Crie confiança no sistema

Garanta que os funcionários entendam os resultados

Certifique-se de que seus dados sejam de alta qualidade

Não complique

Crie seu próprio laboratório de aprendizagem

4. A cultura de sua organização está preparada para a experimentação em grande escala?

Atributo 1: Uma mentalidade de aprendizagem

Receba as surpresas de braços abertos

“Não vencer” é diferente de perder

Fracassos e erros são coisas diferentes

Atributo 2: As recompensas são alinhadas com os valores e os objetivos da organização

Evite mensagens confusas

Alinhe os incentivos com os objetivos do trabalho

Atributo 3: É melhor ser humilde do que arrogante

O reflexo Semmelweis

Do excesso de confiança à humildade intelectual

Atributo 4: Os experimentos têm integridade

Atributo 5: As ferramentas são confiáveis

Atributo 6: Equilíbrio entre exploration e exploitation

Atributo 7: Capacidade de adotar um novo modelo de liderança

5. Nos bastidores de uma organização de experimentação

Entra em cena a Booking

O poder dos experimentos

A organização de experimentação

A plataforma de experimentação

Design e cultura organizacional

Pipeline de hipóteses

Processo padronizado

Experimentos business-to-business

Um modelo de liderança diferente

Além da Booking

6. Como tornar-se uma organização de experimentação

A jornada começa com o Sistema

Tornando-se uma organização de experimentação

State Farm: uma empresa antiga sem raízes digitais

Pinterest: uma empresa nova com raízes digitais

Mudando sua organização

IBM: uma gigante B2B que está escalando a experimentação

Ferramentas utilizadas

Não use as ferramentas como meros substitutos

Conquiste a confiança das pessoas

Minimize as interfaces

Encontre novas maneiras de criar valor

7. Sete mitos da experimentação

Mito 1: “A inovação impulsionada pela experimentação destruirá a intuição e a capacidade de

julgamento na organização”

Mito 2: “Os experimentos on-line levarão a inovações in cre mentais, mas não a uma melhoria

significativa no de sempenho”

Mito 3: “Não temos hipóteses suficientes para realizar a experimentação em grande escala”

Mito 4: “As empresas físicas não têm transações suficientes para fazer experimentos”

Mito 5: “Tentamos fazer testes A/B, mas esses experimentos melhoraram muito pouco o desempenho

da organização”

Mito 6: “Conhecer as relações de causalidade é coisa do passado na era do big data e do business

analytics. Para que perder tempo com experimentos?”

Mito 7: “É sempre antiético realizar experimentos com clientes sem seu consentimento prévio”

Epílogo: O que podemos esperar para o futuro

Notas

Bibliografia selecionada

Agradecimentos

Sobre o autor

Prefácio: Uma homenagem ao método

científico

Em 2003, quando meu livro Experimentation Matters: Unlocking the Potential of New Technologies of Innovation foi publicado, fiz uma previsão: as ferramentas digitais de experimentação tinham não apenas o potencial de revolucionar a área de P&D de uma empresa como também poderiam transformar setores inteiros, transferindo a experimentação (e, portanto, a inovação) para usuários e clientes. Cinco anos depois, a Apple abriu a App Store, que possibilitou a qualquer pessoa, em qualquer lugar, criar e distribuir novos aplicativos. No início de 2017, cerca de 2,2 milhões de aplicativos já estavam disponíveis aos usuários do iOS. Naquele mesmo ano, a App Store gerou cerca de US$ 10 bilhões em receita para a Apple, possivelmente com uma margem bruta altíssima. Em meados de 2017, a Apple já tinha pagado mais de US$ 70 bilhões para desenvolvedores de aplicativos desde a abertura da App Store, e, segundo as estimativas da empresa, os downloads cumulativos de aplicativos chegaram a 180 bilhões. 1 E, como qualquer pessoa que acompanha de perto a evolução de ferramentas de simulação e prototipagem sabe, a utilização dessas ferramentas já está generalizada em empresas de manufatura, apesar de as organizações ainda tropeçarem nos problemas de integração e gestão sobre os quais escrevi em 2003. Depois de constatar, satisfeitíssimo, que minhas previsões se concretizaram, decidi que era hora de seguir em frente e estudar outro tema.

Só que eu estava errado! O problema era que, em 2003, o Google tinha

acabado de fazer 5 anos, a Amazon tinha 9 anos e a Booking.com (“Booking”) ainda era uma startup independente de Amsterdã. Mesmo tendo estudado os princípios estatísticos e de gestão que são a parte central da experimentação, eu não tinha analisado de perto como esses princípios afetam a experiência do cliente e o design do modelo de negócio. Eu não fazia ideia de como sua utilização impulsionaria a ascensão das empresas on-line de hoje. Quando finalmente me dei conta disso, percebi imediatamente que a experimentação controlada em grande escala revolucionaria a maneira como todas as empresas conduzem seus negócios e o modo como os gestores

tomam decisões. O que eu estava vendo era o método científico plenamente aplicado nas organizações – e turbinado! As semelhanças com as mudanças na área de P&D eram impressionantes. As duas revoluções se baseavam no potencial de novas ferramentas, processos e culturas de experimentação e no que as empresas precisavam fazer para destravar todo esse potencial. Em 2003, nem todas as empresas manufatureiras estavam totalmente comprometidas com a proposta de ajustar suas organizações às novas ferramentas e seguir os princípios descritos em Experimentation Matters. Alguns anos depois, essas empresas perceberam que não tinham outra escolha a não ser pisar no acelerador se quisessem permanecer competitivas.

Para os leitores que acreditam que a experimentação em grande escala só

afeta empresas B2C com raízes digitais, espero que este livro os leve a mudar de ideia, por três razões. Para começar, as empresas sem raízes digitais estão cada vez mais interagindo com os clientes na internet. É dificílimo beneficiar-se do número enorme de pontos de contato digitais, opções de design e decisões de negócios sem ter acesso a testes em grande escala. Em segundo lugar, as ideias e os princípios abordados neste livro são aplicáveis a qualquer contexto de negócio, não importa se a sua empresa é off-line ou on-line, B2C ou B2B, do setor da manufatura, varejo, serviços administrativos e financeiros, logística, viagens, mídia, entretenimento, saúde ou [preencha a lacuna]. O livro é sobre decisões de inovação testáveis que envolvem algum grau de incerteza. Realizar experimentos rigorosos não é mais exclusividade de projetos de ciência e engenharia. Os estudos de caso apresentados neste livro, que mostram que é possível realizar experimentos com qualquer coisa, podem parecer radicais à primeira vista, mas darão ao leitor um vislumbre de um futuro de inovação que já começou. Em terceiro lugar, as empresas sem raízes digitais devem respeitar a máxima do investidor de capital de risco Marc Andreessen: “O software está devorando o mundo”. Vi muitos projetos de desenvolvimento de hardware nos quais o software devorou mais da metade de todos os recursos. Note que as melhores práticas da área de desenvolvimento de software mudaram radicalmente na última década. Na Microsoft, cerca de 80% das alterações propostas para o Bing são executadas antes na forma de experimentos controlados. (Excluindo algumas correções de bugs de baixo risco e alterações no nível de máquina, como atualizações do sistema operacional.)2 Projetos de software que até então seguiam metodologias lineares, com um começo e um fim, agora seguem ciclos de testes contínuos que só param quando o produto é substituído.

O timing da publicação de A cultura de experimentação não poderia ser mais adequado: 400 anos atrás, em 1620, Francis Bacon publicou Novum Organum, a explicação clássica de um novo instrumento para desenvolver e organizar o conhecimento: o método científico. A proposta de pensar e agir cientificamente teve um enorme impacto no mundo. Passamos séculos desenvolvendo e organizando conhecimentos científicos e tecnológicos por meio de explicações e previsões testáveis. Estas, por sua vez, nos deram a medicina moderna, alimentos, energia, transportes, comunicações e muito mais. A experimentação é o motor que move o método científico. Passei mais de 25 anos estudando a experimentação em empresas e me beneficiei enormemente do trabalho dos vários estudiosos e profissionais mencionados neste livro. Acredito que todos eles concordariam comigo: a experimentação funciona! No entanto, para se beneficiar em sua plenitude de todo o surpreendente poder da experimentação, as empresas precisam investir em uma “fábrica de experimentação”, ou seja, em sistemas, ferramentas, princípios organizadores, valores e comportamentos que possibilitem aos gestores de hoje pensar e agir pautados pela ciência, com grande velocidade, com precisão e em grande escala. Este livro mostrará como fazer isso.

Introdução: Por que a experimentação

é imprescindível

E pur si muove (No entanto ela se move).

– Frase atribuída a Galileu Galilei quando foi forçado

a negar sua tese de que a Terra se move em torno do

Sol

Este livro trata de como as empresas podem usar a experimentação para inovar continuamente. A inovação é importante porque impulsiona o crescimento lucrativo e cria valor para o acionista. O dilema é que, apesar de serem bombardeados de informações vindas de todas as direções, os gestores de hoje precisam trabalhar em um mundo incerto, sem acesso aos dados necessários para embasar suas decisões estratégicas e táticas.1 Em consequência, para o bem ou para o mal, nossas ações tendem se basear na experiência, na intuição e em crenças. O problema é que tudo isso costuma não funcionar. E acontece muito de descobrirmos que as ideias verdadeiramente inovadoras contradizem nossas experiências prévias, nossas suposições ou o pensamento convencional. Seja melhorando a experiência do cliente, testando novos modelos de negócio ou desenvolvendo novos produtos e serviços, até os gestores mais experientes erram muito, gostando ou não. Neste livro, você conhecerá muitas dessas pessoas e situações e verá como os experimentos melhoraram muito sua capacidade de inovação. Vejamos o exemplo a seguir, do Capítulo 3.

Em 2012, um funcionário da Microsoft que trabalhava no Bing teve a ideia

de mudar a maneira como a ferramenta de busca exibia os títulos dos anúncios.2 A mudança não exigiria muito esforço, mas era mais uma entre centenas de outras ideias propostas, e os gerentes do programa a consideraram de baixa prioridade. A ideia ficou esquecida por seis meses, até que um engenheiro lançou um simples experimento controlado on-line para avaliar seu impacto. Em questão de horas, a nova variação dos títulos dos anúncios já gerava uma receita anormalmente alta, disparando um alerta do tipo “bom demais para ser verdade”. Uma análise demonstrou que a mudança aumentou

a receita em nada menos que 12% (o que, em termos anuais, chegaria a mais de US$ 100 milhões só nos Estados Unidos) sem prejudicar as principais métricas de experiência do usuário. Foi a melhor ideia geradora de receita da história do Bing. Essa história ilustra a dificuldade de avaliar o potencial de novas ideias. À primeira vista, a ideia original foi descartada pelos gestores, que não viram sua importância. O que fez a diferença foi a capacidade de um funcionário de lançar um experimento rigoroso para avaliar o impacto da ideia.

Este livro também mostra como uma organização pode se beneficiar do

poder desses experimentos, desenvolvendo sua capacidade de conduzir muitos testes em alta velocidade para fazer mais e melhores perguntas. Quando falo em uma organização de experimentação, refiro-me a uma empresa na qual a experimentação é adotada (tanto em termos de ação quanto de orientação) por todos os funcionários, de todos os níveis. A experimentação não é responsabilidade de um único departamento, do laboratório de P&D ou de um grupo de especialistas. Pelo contrário, todos os funcionários participam, de um jeito ou de outro, em uma organização na qual fazer experimentos é tão importante quanto realizar cálculos financeiros. O ethos da organização é pensar experimentalmente 3 .

Ao longo deste livro, você conhecerá empresas que realizam anualmente

mais de dez mil experimentos on-line, sendo que cada um desses experimentos engaja milhões de usuários. Essas organizações descobriram que adotar uma mentalidade do tipo “tudo é um teste” leva a benefícios e vantagens competitivas surpreendentes e pode até melhorar o desempenho das ações (veja a Figura I-1).

Essas empresas levaram anos para desenvolver uma infraestrutura e uma

cultura que lhes possibilitam conduzir centenas de experimentos por semana a um custo praticamente zero. Com os avanços das ferramentas terceirizadas, hoje esses recursos estão ao alcance de todas as organizações, independentemente de atuarem on-line ou off-line. Ao combinar o poder do software com o rigor dos experimentos controlados, as empresas podem se transformar em

FIGURA I-1

Desempenho das ações das principais organizações de experimentação (2 de janeiro de 2008 = 100)*

Um índice igualmente ponderado, composto por Amazon, ETSY, Facebook, Google, Microsoft, Netflix e Booking Holdings. Essas empresas passaram anos desenvolvendo infraestruturas e culturas de experimentação em grande escala.

Fonte: Bloomberg 2019.

* Naturalmente, não devemos confundir correlação com causalidade. Os preços das ações resultam de muitos fatores, e a amostra só inclui empresas de capital aberto. No entanto, isso não exclui o fato de que o crescimento dessas empresas foi afetado por seus experimentos on-line. A análise foi elaborada por James Zeitler, da Baker Research Services da Faculdade de Administração de Harvard, usando dados da S&P 500 da Bloomberg. Ele começou com um nível de referência de 100 para a base de dados de 2 de janeiro de 2008. Em seguida, calculou o retorno de cada empresa do índice a cada dia e encontrou a média dos retornos das empresas. No caso de um índice ponderado, esse valor seria uma simples média aritmética. Bastaria ponderar os retornos (por exemplo, pela capitalização de mercado do dia anterior) para obter um índice ponderado. No entanto, estamos calculando um índice igualmente ponderado. Se R(t) for a média dos retornos das empresas no tempo t, e I(t) for o nível do índice no tempo t, o nível do índice calculado a cada dia será I(t) = I(t – 1) × (1 + R(t)).

organizações de aprendizagem... turbinadas! No entanto, para liberar esse poder, você precisa construir uma organização de experimentação que domine a ciência dos testes e ter cultura, processos e sistema de gestão que contrariem muito do que valorizamos hoje. Por exemplo, na Booking, a plataforma líder mundial de hospedagem, todos os funcionários podem criar uma hipótese e lançar um experimento para milhões de usuários sem precisar de permissão da

gestão. A empresa passou mais de uma década criando uma cultura democrática na qual os experimentos de B2B e B2C estão entranhados em suas rotinas diárias. Em qualquer dia, sua equipe executa mais de mil testes rigorosos e simultâneos no site, nos servidores e nos aplicativos da empresa para otimizar as experiências do cliente. Com quatrilhões (milhões de bilhões) de variações de sua página de destino, os clientes que reservam um quarto de hotel através do site da Booking participam do ecossistema de experimentação da empresa. A IBM integrou os testes em grande escala às interações com seus clientes corporativos globais. Entre 2015 e 2018, a empresa aumentou o número de testes de cerca de cem para quase três mil e os funcionários envolvidos, de 14 para 2.130. Startups e empresas sem raízes digitais, como Walmart, State Farm Insurance, Dow Jones & Company, BBC, Sky UK, Nike, FedEx, Kohl’s, Publix Super Markets e Petco, conduzem experimentos na internet e nas lojas físicas, mas em uma escala muito menor. Na área de P&D do setor da manufatura, o número de experimentos decolou, isso graças aos avanços nas áreas de modelagem e simulação, sendo que esses experimentos geralmente são complementados com testes usando protótipos físicos em cenários reais.

Este livro explica em detalhes e com inúmeros exemplos (tirados de

estudos de caso e da minha própria experiência como pesquisador e consultor) as características da experimentação como uma prática que envolve todo o negócio. Veremos por que todas as empresas devem se engajar na experimentação e o motivo de essa prática ser importante para a inovação. O livro também mergulha nos fundamentos de como a experimentação disciplinada é feita (e, também muito importante, como não deve ser feita) e os requisitos técnicos e organizacionais para adotar a mentalidade da experimentação. Ao terminar a leitura, você terá aprendido como criar uma organização que adota plenamente a experimentação como uma prática de negócio essencial. Veremos que, considerando que hoje as empresas operam em um mundo digital, beneficiar-se das novas ferramentas significa a possibilidade de conceber e executar experimentos com rapidez, baixo custo e em grande escala. Os resultados são rápidos e, devido à escala, seu sucesso ou fracasso pode ser avaliado prontamente. Em uma das cenas mais famosas do filme Jerry Maguire: a grande virada, o agente esportivo (interpretado por Tom Cruise) e seu cliente gritam repetidamente ao telefone: “Show me the money!” [Mostre-me o dinheiro!].4 Nas organizações que adotam a inovação contínua, os gestores exigem: “Mostre-me o experimento!”, em vez de agir apenas com base nas crenças dominantes, nos resultados de grupos de foco e

até na análise de dados. Gostaria de deixar claro que nem todas as decisões relativas à inovação podem ser testadas e nem todos os resultados de testes devem ser seguidos às cegas. Ponderações éticas, legais ou estratégicas podem favorecer uma linha de ação diferente, e, nesses casos, bons experimentos podem esclarecer as razões que levam às decisões.

Este livro vem com uma ressalva: orientar uma empresa à prática da

experimentação contínua não garante que todos os experimentos serão um sucesso ou que tudo será perfeito já na primeira vez. A experimentação em si não é garantia de sucesso. Na verdade, a taxa de fracasso dos experimentos pode ser de 90% ou mais (não importa se eles forem conduzidos por um cientista trabalhando sozinho, um laboratório internacionalmente famoso, um departamento de marketing ou a alta gestão de uma empresa), como comprovam muitas das organizações que você encontrará nos próximos capítulos. Só que, mesmo se o experimento fracassar, ele gerará informações importantes: por que o experimento não funcionou; quais premissas estavam erradas; quais foram os problemas do design e/ou da implementação etc. E, o mais importante: o que podemos aprender para o próximo experimento? É claro que aprender com o sucesso e o fracasso sempre foi algo intrínseco da experimentação. O que mudou é que agora temos ferramentas que nos permitem aprender sobre o desempenho da inovação (novos produtos, experiências do cliente e modelos de negócio) com rapidez, baixo custo e em uma escala sem precedentes. Com a experimentação em grande escala, as empresas podem beijar sistematicamente muitos sapos para (esperamos) encontrar um príncipe.5

Para encontrar esse príncipe, as organizações de experimentação podem

explorar o poder do incrementalismo de alta velocidade. Embora o mundo dos negócios exalte as ideias disruptivas, a maior parte do progresso resulta da implementação de centenas ou milhares de pequenas melhorias que podem ter um grande impacto cumulativo. Como vimos no exemplo do Bing, pequenas mudanças podem resultar em enormes retornos no mundo digital devido à escalabilidade quase instantânea. Uma melhoria de 5% pode não parecer muito antes de ser multiplicada por um bilhão de cliques futuros. E não é só a escala que importa, a precisão científica também. Muitos gestores acreditam erroneamente que a experimentação envolve jogar muitas ideias na parede para ver qual delas “cola”, uma técnica conhecida como “atirar para todos os lados”. Isso é bem diferente do que acontece nos testes disciplinados, que podem isolar variáveis e estabelecer relações de causa e efeito. Na verdade, as organizações de experimentação mantêm um grande foco nos fatores que realmente importam e não dependem tanto de experiências prévias, dados do passado, intuição, imitação ou das chamadas “melhores práticas”. Neste livro, você conhecerá as regras e as práticas adotadas por essas empresas.

Vejamos o exemplo a seguir, da Booking, que foi crucial para possibilitar à

empresa enfrentar os perigos das suposições equivocadas e beneficiar-se do poder da experimentação. No início de sua história, a Booking descobriu que não podia basear-se apenas na intuição e nas suposições, como um gestor da empresa me disse: “Todos os dias vemos evidências de que as suposições das pessoas costumam ser equivocadas. Nove em cada dez de nossas previsões sobre o comportamento dos clientes estão erradas”.6 Por exemplo, presumia-se que os clientes gostariam de pacotes combinados de hotel com outros produtos. Essa suposição se baseava no fato de os folhetos de viagem, aqueles que costumávamos pegar em agências de viagens, oferecerem esse tipo de pacote. Só que a Booking é um serviço on-line. Será que o que funciona em uma agência de viagens também funciona em um site? Também se presumia que os clientes gostariam de um chat para falar com um atendente durante o processo de reserva na internet. Por quê? Porque outras empresas oferecem recursos de atendimento virtual. Também se presumia que os clientes veriam vídeos de possíveis destinos de viagem enquanto navegavam pelo site. Por quê? Bem, simplesmente parecia óbvio. E nenhuma dessas suposições se comprovou correta. Como sabemos disso? A constatação de que essas suposições, palpites ou premissas intuitivas não eram aplicáveis aos clientes da Booking resultou do trabalho de funcionários “capacitados para experimentação”. Todos os funcionários, seguindo um processo documentado (que teremos o privilégio de explorar em mais detalhes no Capítulo 5), podiam criar experimentos para questionar essas suposições – e muito mais.

O exemplo da Booking nos dá um vislumbre empolgante e esclarecedor de

como a experimentação pode ser aplicada nos negócios, em uma prática baseada no método científico aperfeiçoado ao longo de séculos, uma prática que passei mais de 25 anos estudando e sobre a qual escrevi muito. No entanto, foi a revolução digital que reuniu os princípios da experimentação em uma “tempestade perfeita” de oportunidades e impulsionou enormes avanços de ferramentas hoje disponíveis para as equipes de inovação. Agora o ciclo desse progresso está completo: seria impossível projetar e desenvolver as tecnologias digitais de hoje sem as ferramentas que elas ajudaram a criar. Para saber como empregar essas tecnologias e ferramentas, este livro oferecerá ideias, modelos, exemplos e pesquisas sobre inovação.

Ao longo dos capítulos, veremos por que a experimentação é crucial para

uma empresa garantir sua competividade. Essa prática nos ajuda a começar a responder às perguntas com as quais todas as organizações se deparam: como saber quais produtos lançar, quais experiências oferecer ao cliente e quais informações são necessárias para tomar essas decisões? Como podemos começar a inovar se não sabemos o que os clientes querem e pelo que eles estariam dispostos a pagar? Como alocar os recursos de nossa organização? Como diferenciar causa e efeito? Como reduzir as incertezas em nosso processo decisório?

O Capítulo 1 apresenta uma visão geral dos fundamentos da

experimentação nas empresas. Veremos como vários fatores operacionais são cruciais para o sucesso da experimentação. (E com “sucesso” queremos dizer que geramos um aprendizado que ajudará os tomadores de decisão a aceitar ou rejeitar uma ideia ou hipótese.) E, também muito importante, aprenderemos a identificar uma experimentação indisciplinada (como os chamados “testes cegos de tentativa e erro”) e a saber quando os experimentos não deveriam e não poderiam ser conduzidos (por exemplo, quando os custos são altos demais). Veremos também que muitas atividades são rotuladas de “experimentos” apesar de não serem.

Para saber como seria um verdadeiro processo de experimentação,

analisaremos em profundidade o clássico caso da vitória surpreendente, em 1995, da equipe da Nova Zelândia na Copa América de Iatismo, a mais famosa e prestigiada regata de iatismo. A equipe seguiu um processo padronizado com ênfase na experimentação iterativa, fazendo pequenas alterações e aplicando o aprendizado de um experimento ao próximo. Eles começaram gerando hipóteses testáveis, conduziram e analisaram experimentos controlados, aprenderam com os resultados e reviram as hipóteses, repetindo o ciclo a cada 24 horas, com iterações rápidas e maior precisão a cada vez.

Em virtude dos avanços das ferramentas digitais, é possível (e, no ambiente

competitivo de hoje, crucial) seguir esse ciclo com muita rapidez e a um custo muito baixo, como detalha o restante do Capítulo 1, com base nas experiências de outras organizações e da equipe de iatismo da Nova Zelândia. No fim do capítulo, você estará familiarizado com os principais fatores de experimentação que aceleram o aprendizado. Ao mesmo tempo, você terá uma boa ideia dos obstáculos ao aprendizado, principalmente dos fatores gerenciais e organizacionais que interferem na velocidade da experimentação.

O Capítulo 2 baseia-se no que foi visto no capítulo anterior; mais

especificamente nos fatores (fatores operacionais) que ajudam a organização a aprender com a experimentação e aceleram a aprendizagem. Esse aprendizado, no entanto, não significa necessariamente que tomaremos boas decisões de negócio (muito menos decisões melhores). Podemos acabar com um grande número de decisões ruins geradas rapidamente. Como as decisões e a experimentação funcionam juntas? O que vem a ser um bom experimento? Para responder a essas perguntas, analisaremos uma série de práticas de gestão de ampla aplicação, expressas na forma de uma série de perguntas inter-relacionadas que, apesar de parecerem óbvias, muitas vezes deixam de ser feitas e que não são simples de serem respondidas:

• O experimento tem uma hipótese testável? Ou seja, estamos fazendo uma

pergunta que pode e deve ser testada? A criatividade, as habilidades e a imaginação têm um papel importante aqui. Não se trata só de ciência, mas também de arte.

• Estamos comprometidos em respeitar os resultados, quaisquer que sejam

eles? Trata-se de uma questão crucial: se a iniciativa proposta já foi decidida, para que investir tempo e recursos para conduzir um teste e correr o risco de descobrir que nossas suposições estão erradas?

• Nossa organização tem condições de fazer o experimento? Vários fatores

levam à possibilidade ou à impossibilidade de conduzir certos tipos de experimento e é de vital importância conhecer esses fatores de antemão.

• Como podemos garantir que os resultados serão confiáveis? Alguns

princípios e métodos podem melhorar os experimentos e até ajudar no caso de condições difíceis (como amostras pequenas). Os experimentos precisam ser sólidos para gerar confiança por toda a organização.

• Nós sabemos diferenciar causa e efeito? O design do experimento (e,

portanto, a lógica por trás do design) deixa claro qual é a variável independente (a causa presumida) em relação à variável dependente (o efeito observado)? As correlações são suficientes para levar a uma decisão ou precisamos ir mais fundo?

• Conseguimos potencializar o valor do experimento? Temos mais a

aprender com um experimento? Deixamos de explorar algo? Podemos usar a engenharia de valor para maximizar o ROI de um experimento?

• E, por fim, em um nível quase introspectivo, devemos nos perguntar: será

que nós, como uma organização, realmente estamos nos baseando na experimentação para tomar nossas decisões?

No Capítulo 3, usamos as respostas às sete perguntas acima para explorar

os fatores necessários para desenvolver a capacidade de realizar a experimentação on-line. Analisaremos alguns verdadeiros especialistas (como a Microsoft) nessa arena, examinando em detalhes como eles fazem seu trabalho, começando com o tipo mais básico de experimento controlado: o teste A/B. O que aprendemos com essas empresas se aplica a todas as organizações, inclusive às que não possuem raízes digitais mas estão comprometidas a entrar nesse novo mundo. E esse aprendizado também pode ser destilado em uma série de princípios básicos.

Para começar, teste tudo o que pode ser testado!

Também reconheça que as pequenas inovações podem ter um valor enorme.

Uma alteração aparentemente insignificante em uma cor ou no posicionamento de um botão em um site pode ter enormes consequências para gerar tráfego e converter esse tráfego em vendas. Invista em um sistema de experimentação em grande escala. Ao longo deste livro, a importância da escala e da alta velocidade será continuamente reforçada. Neste capítulo, veremos como isso se traduz em uma verdadeira capacidade de experimentação. Como seria? Como funciona? É essencial organizar-se para a experimentação. Só que isso não acontece por si só. O que é o sucesso? Como saberemos que o atingimos? Quais métricas vamos usar? Como vamos formulá-las?

E, uma questão crucial, podemos confiar no “sistema”? Por mais

convincentes que sejam os resultados (sejam eles positivos ou negativos), nada garante que eles serão aceitos por todos. Suposições, hábitos, convicções pessoais, ignorância e muitos outros fatores podem perdurar por muito tempo nas organizações.

Um último princípio diz respeito à necessidade de fácil compreensão dos

resultados. Mesmo se os experimentos forem bem projetados e gerarem aprendizado, todo esse esforço pode ir por água abaixo se ninguém conseguir entender o que foi feito. É importantíssimo manter a coisa simples! Considerando a capacidade de realizar tantos experimentos, a habilidade de realizá-los de forma rápida e econômica e a importância de pequenas decisões, nada justifica complicar os experimentos, sua explicação e a comunicação dos resultados. É fundamental manter o experimento simples e rigoroso.

Nesse ponto, você pode se perguntar: como a cultura de uma organização

pode lidar com tudo isso? É disso que trata o Capítulo 4. Seu objetivo é

mostrar que o desenvolvimento de uma cultura que fomenta a experimentação em grande escala já foi feito por algumas empresas, está sendo feito e pode ser feito, mas não sem liderança. Já falamos de algumas empresas que adotaram a experimentação com excelentes resultados. No Capítulo 4, resumiremos o que aprendemos com essas e outras empresas e com uma série de pesquisas sobre o comportamento organizacional e de equipes.

Uma lição que pode ser inferida dos exemplos e das pesquisas é a ideia,

talvez nada surpreendente, de que a gestão faz uma grande diferença na experimentação. Em outras palavras, quando os gestores incentivam ativamente a experimentação, a cultura se abre para isso. E quando o “fracasso” é visto como um fator que contribui para a aprendizagem (ou seja, não é punido), a experimentação também é incentivada. Uma lição importante que aprendemos com as organizações que dominaram a experimentação em grande escala é que elas traçam uma distinção clara entre “fracassos” e erros. Como já vimos, e enfatizaremos repetidamente ao longo deste livro, para ter sucesso um experimento não precisa comprovar uma hipótese sem qualquer sombra de dúvida. Tanto que é de extrema importância perguntar por que o experimento fracassou. O design do experimento teve algum problema, considerando a pergunta que estava sendo feita? A pergunta não era testável? O “fracasso” envolve tantas possibilidades que é errado insistir que um fracasso necessariamente implica algo errado. É impossível ter uma cultura de experimentação se “não ganhar” for o mesmo que “perder”. Ao mesmo tempo, uma cultura de experimentação também não é uma organização que sai por aí “quebrando tudo”, onde qualquer coisa pode ser jogada contra a parede em nome da disrupção criativa. As organizações que introduziram a experimentação em suas operações aprenderam que o sucesso e o fracasso atuam juntos em um equilíbrio paradoxal. O capítulo também explora importantes questões éticas que vêm à tona quando tudo se torna um teste. Como garantir que as pessoas conduzirão os experimentos com integridade? Mantenha em mente que “com [os] grandes poderes [dos experimentos] vêm grandes responsabilidades”.7 Grande parte do Capítulo 4 aborda as barreiras organizacionais e atitudinais que constituem obstáculos à experimentação eficaz e aos atributos culturais que a propiciam (como mentalidade de aprendizado, humildade, integridade).

Como tudo isso funciona na prática? É o que veremos no Capítulo 5, que

analisa em profundidade uma verdadeira organização de experimentação, a Booking, empresa de reservas de hotéis na internet. O capítulo foi adaptado de um estudo de caso da Faculdade de Administração de Harvard que foi recebido com entusiasmo por executivos participantes de vários programas de treinamento. A Booking sem dúvida fez por conquistar o título de organização de experimentação e o capítulo mostra em detalhes como a empresa se destacou nessa área à medida que crescia e como continua a alavancar essas realizações. Uma característica distintiva das organizações de experimentação é que elas não se dão ao luxo de descansar sobre os louros de suas vitórias!

A Booking (ou seja, praticamente todas as pessoas da empresa) é

implacável ao pensar em maneiras de melhorar o atendimento a seus clientes ao redor do mundo. Considerando a diversidade de interesses, expectativas, idiomas etc. desses clientes, está longe de ser uma tarefa simples decidir como tratá-los. A lição crucial que podemos aprender com esse vislumbre sem precedentes dos bastidores de uma cultura de experimentação é que estamos diante de uma empreitada extremamente disciplinada. Todas as pessoas da Booking têm autonomia para fazer experimentos, mas a experimentação segue um processo sistemático. O resultado é que a organização toda mantém um foco rigoroso no objetivo de converter clientes – transformando os visitantes do site da Booking em clientes de seus produtos –, mas as ações individuais para fazer isso acontecer são sequenciadas e coordenadas e os resultados são transparentes para todos.

É um privilégio ter acesso a esse vislumbre por trás das cortinas de uma

organização de experimentação exemplar como a Booking, mas também pode ser um pouco intimidador. Como podemos transformar nossa empresa em uma organização de experimentação? É o que exploraremos no Capítulo 6. No decorrer deste livro, você conhecerá empresas, tanto on-line quanto off-line, que já contam com uma vantagem inicial e outras que só estão começando (incluindo uma equipe de iatismo). Transformar-se em uma organização de experimentação envolve uma jornada que levará a empresa a percorrer diferentes estágios de maturidade (o modelo ABCDE da Figura I-2), indo da conscientização (awareness, em inglês) à crença (belief), passando pelo comprometimento (commitment), pela difusão (diffusion) até chegar à incorporação (embeddedness), momento em que a experimentação cria profundas raízes na organização. Veremos como algumas empresas percorreram essa jornada e as várias alavancas que elas utilizaram para projetar sua infraestrutura.

O problema é que qualquer ação em direção ao avanço pode provocar

resistência. À medida que a organização avança em direção a uma cultura de experimentação, pessoas que não simpatizam com os testes em grande escala começam a se manifestar. No Capítulo 7, conheceremos os argumentos dessas pessoas, formulados como mitos, e veremos por que eles são equivocados. Por exemplo, “A inovação impulsionada pela experimentação destruirá a intuição e a capacidade de julgamento” ou “Conhecer as relações de causalidade é coisa do passado na era do big data e do business analytics” podem ser preocupações genuínas ou meras desculpas. Independentemente de qual for o caso, essa resistência tende a perder a força quando as pessoas se familiarizam com o processo e começam a ver os resultados. Analisaremos a validade desses argumentos e como e quando responder a eles.

FIGURA I-2

Os estágios para se tornar uma organização de experimentação

Por fim, voltaremos nosso olhar para o futuro e tentaremos fazer algumas

previsões sobre o que acontecerá com a experimentação. O epílogo é um alerta: o futuro será ao mesmo tempo empolgante e profundamente desafiador. A combinação de recursos de experimentação em grande escala com avanços nas áreas da inteligência artificial, big data (que ainda aprenderemos a usar com critério) e algoritmos evolutivos pode levar a experimentação a um novo patamar. O resultado pode ser um processo em 360 graus no qual a geração, os testes e a análise de hipóteses serão totalmente automatizados. Você está pronto?

Então aperte o cinto! Vamos começar nossa jornada pelo mundo

maravilhoso e em rápida evolução da experimentação nas empresas.

1

Por que a experimentação funciona

A verdadeira medida do sucesso é o número de

experimentos que podem ser feitos em 24 horas.

– Frase atribuída a Thomas Edison, inventor

americano

Logo depois que Ron Johnson saiu da Apple para assumir o cargo de CEO da rede de loja de departamentos J. C. Penney em 2011, ele liderou sua equipe para implementar um novo e ousado plano. Sob sua liderança, a empresa eliminou cupons de desconto e gôndolas de produtos em liquidação, encheu suas lojas de departamento de marcas de luxo famosas e usou a tecnologia para eliminar caixas registradoras, operadores de caixa e produtos no checkout. Só que, apenas 17 meses depois, as vendas despencaram, as perdas dispararam e Johnson perdeu o emprego.

Como a J.C. Penney pôde errar tão feio? A empresa não tinha montanhas

de dados de transações revelando os gostos e as preferências dos clientes? E o que dizer da experiência de Johnson com a criação do conceito de enorme sucesso das Apple Stores, que redefiniu a experiência do cliente nas lojas com inovações como o Genius Bar e os pagamentos sem precisar passar pelo caixa? Essas inovações levaram às maiores médias de vendas por metro quadrado no varejo de qualquer loja física do mundo, atraindo mais visitantes do que os parques temáticos da Disney. O conselho de administração da J.C. Penney deve ter esperado que Johnson conseguiria repetir o sucesso das lojas da Apple em sua tradicional cadeia de lojas de departamento, com mais de mil unidades nos Estados Unidos. Por que isso não aconteceu?

Para começar, a maioria dos gestores trabalha com dados insuficientes ou

sem experiência relevante para tomar boas decisões de inovação. Ou seja, a empresa pode até ter dados de transações, mas essas informações só dizem

respeito a comportamentos passados e não conseguem prever como os clientes podem reagir a mudanças futuras. Além disso, muitas vezes os gestores confiam na intuição para tomar as decisões, mas as ideias de fato inovadoras normalmente contradizem a experiência. Na verdade, a maioria das ideias não funciona. Seja para melhorar a experiência do cliente, testar novos modelos de negócio ou desenvolver novos produtos e serviços, até os líderes mais experientes costumam se enganar (veja o quadro “Previsões famosas sobre o comportamento do cliente”). E, como é mais fácil prever custos do que as reações dos clientes, não é de surpreender que, em se tratando de fazer mudanças nos negócios, muitos gestores prefiram reduzir os gastos a adotar iniciativas para aumentar o faturamento que envolvam os clientes.

Mas nem tudo está perdido. A boa notícia é que os gestores têm, sim, como

saber se uma mudança no produto, serviço ou modelo de negócio terá sucesso. Eles podem fazer isso submetendo a mudança proposta a um experimento rigoroso. Veja a coisa deste ângulo: uma companhia farmacêutica jamais lançaria um medicamento sem antes conduzir uma rodada de experimentos com base em robustos protocolos científicos (tanto que, nos Estados Unidos, a Agência de Controle de Alimentos e Medicamentos, a Food and Drug Administration, exige extensos ensaios clínicos). E muitas empresas seguem basicamente esse mesmo processo quando lançam novos modelos de negócio e outras mudanças inovadoras. Se a J.C. Penney tivesse conduzido experimentos rigorosos para testar as inovações propostas por seu CEO, a empresa poderia ter descoberto que, apesar do sucesso dessas inovações na Apple, os clientes da Penney provavelmente as rejeitariam.1 Essa rejeição não seria uma surpresa, considerando que qualquer inovação tem menos chances de ser recebida de braços abertos. De fato, a Microsoft descobriu que apenas um terço de seus experimentos são eficazes, um terço tem resultados neutros e um terço apresenta resultados negativos.2

Previsões famosas sobre o comportamento do cliente

“[O iPhone é] o celular mais caro do mundo e não tem apelo para os clientes corporativos porque não tem teclado, o que dificulta redigir e-mails.”

– Steve Ballmer, CEO da Microsoft (2007)

“As pessoas cansaram de nos dizer que não querem alugar música... elas não querem um sistema de assinatura.”

– Steve Jobs, CEO da Apple (2003)

“A televisão não vai conseguir manter qualquer mercado que capturar depois dos seis primeiros meses. As pessoas logo se cansarão de olhar toda noite para uma caixa de madeira.”

– Frase atribuída a Darryl F. Zanuck, diretor dos

estúdios 20th Century Fox (1946)

Se a Penney tivesse conduzido extensos testes, estaria em boa companhia.

O Google emprega uma longa experimentação em sua busca contínua para melhorar a experiência do cliente. Até os especialistas do Google erram na maioria das vezes. Eric Schmidt, ex-CEO da empresa, revelou as probabilidades de sucesso (ou de fracasso) em um depoimento no Senado dos Estados Unidos, em 2011:

Para dar uma ideia da escala das mudanças que o Google considera, em 2010 fizemos 13.311 avaliações de precisão para verificar se as alterações propostas no algoritmo melhoraram a qualidade dos resultados das buscas, 8.157 experimentos lado a lado nos quais a empresa apresentou dois conjuntos de resultados de busca a um grupo de avaliadores, que escolheu o melhor deles, e 2.800 avaliações de cliques para ver como uma pequena amostra de usuários reais do Google reagiu à alteração. O processo resultou em 516 alterações que foram consideradas úteis para os usuários com base nos dados e que, em consequência, foram incorporadas ao algoritmo do Google. A maioria dessas alterações é imperceptível para os usuários e afeta uma parcela muito pequena de sites, mas cada uma delas só é implementada se acreditarmos que a mudança beneficiará nossos usuários.3

Em outras palavras, os especialistas do Google erraram o alvo 96,1% das

vezes. No entanto, foi precisamente essa capacidade (de testar, em uma escala enorme, o que funciona e o que não funciona) que deu à empresa uma vantagem sobre os concorrentes. Scott Cook, cofundador da Intuit e ex-diretor da Amazon, lembra que ex-executivos do Yahoo declararam: “‘O Google

Kindle Unlimited

PRÉVIA GRATUITA  ꞏ  OFERTA POR TEMPO LIMITADO

Você chegou ao fim desta prévia.

Continue lendo "A cultura da experimentação: Como os e..."

e mais de 1 milhão de livros — de graça por 30 dias.

Mais de 1 milhão de leitores já aproveitam

Com o Kindle Unlimited, sua leitura não tem fim:

Leia à vontade — explore mais de 1 milhão de títulos sem pagar por livro.

Leve para qualquer lugar — baixe o app gratuito e leia onde e quando quiser.

Em qualquer tela — celular, tablet, computador ou Kindle — você escolhe.

Grandes autores — bestsellers e novos talentos, inclusive títulos em inglês.

COMEÇAR MEUS 30 DIAS GRÁTIS

Cobrança só após o período grátis.

Pagamento seguro Acesso imediato Cancele quando quiser

Não precisa ter um Kindle: baixe o app gratuito e comece a ler agora.

Se não quiser ler no aplicativo Kindle, compre o livro clicando aqui.

Pagamento seguro  ꞏ  Amazon  ꞏ  Kindle Unlimited Pagamento seguro  ꞏ  Amazon  ꞏ  Kindle Unlimited

Índice

Prefácio: Uma homenagem ao método científico

Introdução: Por que a experimentação é imprescindível

1. Por que a experimentação funciona

A experimentação faz uma grande diferença para uma empresa

Aprendendo com o sucesso e o fracasso

O desafio da inovação

Ferramentas digitais de experimentação

O processo de experimentação nos negócios

Gerar hipóteses testáveis

Conduzir experimentos disciplinados

Aprender insights importantes

Os fatores operacionais da aprendizagem em alta velocidade

Comece com baixa fidelidade

Alavanque experimentos de baixo custo

Concentre-se no feedback rápido

Aumente a capacidade de experimentação

Conduza experimentos simultâneos

Valorize o incrementalismo de alta velocidade

Use um controle

2. O que vem a ser um bom experimento?

Pergunta 1: O experimento tem uma hipótese testável?

Pergunta 2: Os stakeholders se comprometeram a respeitar os resultados?

Pergunta 3: O experimento é executável?

Pergunta 4: Como podemos garantir resultados confiáveis?

Testes de campo randomizados

Testes cegos

Big data

Pergunta 5: Nós entendemos as relações de causa e efeito?

Pergunta 6: Nós nos beneficiamos ao máximo do experimento?

Pergunta 7: Nossas decisões estão realmente sendo orientadas pelos experimentos?

3. Como fazer experimentos on-line

Teste todas as decisões testáveis

Reconheça o valor das pequenas alterações

Invista em um sistema de experimentação em grande escala

Organize-se para a experimentação

Defina métricas de sucesso

Crie confiança no sistema

Garanta que os funcionários entendam os resultados

Certifique-se de que seus dados sejam de alta qualidade

Não complique

Crie seu próprio laboratório de aprendizagem

4. A cultura de sua organização está preparada para a experimentação em grande escala?

Atributo 1: Uma mentalidade de aprendizagem

Receba as surpresas de braços abertos

“Não vencer” é diferente de perder

Fracassos e erros são coisas diferentes

Atributo 2: As recompensas são alinhadas com os valores e os objetivos da organização

Evite mensagens confusas

Alinhe os incentivos com os objetivos do trabalho

Atributo 3: É melhor ser humilde do que arrogante

O reflexo Semmelweis

Do excesso de confiança à humildade intelectual

Atributo 4: Os experimentos têm integridade

Atributo 5: As ferramentas são confiáveis

Atributo 6: Equilíbrio entre exploration e exploitation

Atributo 7: Capacidade de adotar um novo modelo de liderança

5. Nos bastidores de uma organização de experimentação

Entra em cena a Booking

O poder dos experimentos

A organização de experimentação

A plataforma de experimentação

Design e cultura organizacional

Pipeline de hipóteses

Processo padronizado

Experimentos business-to-business

Um modelo de liderança diferente

Além da Booking

6. Como tornar-se uma organização de experimentação

A jornada começa com o Sistema

Tornando-se uma organização de experimentação

State Farm: uma empresa antiga sem raízes digitais

Pinterest: uma empresa nova com raízes digitais

Mudando sua organização

IBM: uma gigante B2B que está escalando a experimentação

Ferramentas utilizadas

Não use as ferramentas como meros substitutos

Conquiste a confiança das pessoas

Minimize as interfaces

Encontre novas maneiras de criar valor

7. Sete mitos da experimentação

Mito 1: “A inovação impulsionada pela experimentação destruirá a intuição e a capacidade de julgamento na organização”

Mito 2: “Os experimentos on-line levarão a inovações incrementais, mas não a uma melhoria significativa no desempenho”

Mito 3: “Não temos hipóteses suficientes para realizar a experimentação em grande escala”

Mito 4: “As empresas físicas não têm transações suficientes para fazer experimentos”

Mito 5: “Tentamos fazer testes A/B, mas esses experimentos melhoraram muito pouco o desempenho da organização”

Mito 6: “Conhecer as relações de causalidade é coisa do passado na era do big data e do business analytics. Para que perder tempo com experimentos?”

Mito 7: “É sempre antiético realizar experimentos com clientes sem seu consentimento prévio”

Epílogo: O que podemos esperar para o futuro

Notas

Bibliografia selecionada

Agradecimentos

Sobre o autor