PESQUISA

Participe da votação sobre os melhores canais de divulgação científica em português na internet.

segunda-feira, 26 de maio de 2014

Divagação científica - divulgando ciências cientificamente 22

Westerman et al. 2014 analisaram a influência da recentidade das atualizações e a credibilidade das informações nas mídias sociais.

Abaixo minhas anotações. Mas, sim, de modo geral, perfis oficiais de twitter que atualizam constantemente as informações são vistos como de credibilidade maior - porém, por via indireta.
-----------------------
Waterman, D.; Spence, P.R. & Van der Heide, B. 2014. Social media as information source: recency of updates and credibility of information. Journal of Computer-Mediated Communication 19(2): 171-83.

Os autores testaram três hipóteses:
H1 - Recentidade da atualização em um perfil de mídia social é associado positivamente com a credibilidade da fonte.
H2 - A credibilidade é positivamente associada com elaboração cognitiva.
H3 - Há uma associação positiva entre recentidade e elaboração cognitiva.

181 cobaias sujeitos experimentais preferidos em testes dessa natureza (aka alunos de graduação - no caso, de curso introdutório de comunicação em uma grande universidade do Meio Atlântico dos EUA) foram arrolados (em troca de créditos acadêmicos).

Os alunos foram divididos em três grupos: 63 foram apresentados a uma página no twitter da American Heart Association cuja última atualização era de cerca de 1 minutos atrás; para 56 alunos a atualização era de cerca de 1 hora atrás e para 62, cerca de 1 dia atrás.

Após visualizarem as páginas fakes (naturalmente sem estarem cientes de que se tratava de uma página falsa), todos responderam a dois questionários, uma para elaboração cognitiva (5 questões como 'quando via a página, pensava a respeito dela várias e várias vezes', com as quais atribuíam um de 5 graus de concordância/discordância) e outro para medição da credibilidade da fonte (com três dimensões: competência [competence], afeição [godwill] e confiabilidade[trustworthiness]).

Tabela 1. Credibilidade e elaboração cognitiva por condição de atualização.
competência afeição confiabilidade elaboração cognitiva
rápida 4,95 (0,97) 4,83 (0,97) 5,09 (0,92) 2,98 (0,61)
média 4,70 (1,17) 4,54 (1,07) 4,74 (0,99) 2,89 (0,66)
lenta 4,92 (1,13) 4,71 (0,81) 4,96 (0,97) 2,78 (0,74)
Média (Desvio Padrão)

A hipótese H1 não é sustentada diretamente - não há uma diferença significativa em qualquer uma das dimensões de credibilidade por condição de atualização (Tabela 1).

A hipótese H2 foi mantida - houve relação positiva entre elaboração cognitiva e a credibilidade - no todo e nas dimensões.

A hipótese H3 também foi mantida - havendo associação positiva entre elaboração cognitiva e recentidade da atualização (Tabela 1).

Embora não haja uma relação direta entre recentidade da atualização e credibilidade, um modelo em que a recentidade afeta a credibilidade por meio da elaboração cognitiva apresenta uma boa aderência aos dados.

Os autores especulam que a taxa de atualização do twitter estaria por trás do crescimento do número de seus usuários. Talvez seja o caso, mas analisando o crescimento de outras mídias baseadas na internet esse fator não parece muito óbvio (Fig. 1).

Figura 1. Crescimento de número de usuários de mídias baseadas na internet. Fonte: Forbes.

Entre as limitações que os autores listam para o estudo está o pequeno efeito da recentidade na elaboração cognitiva. Pode ser que o tema escolhido - doenças coronárias - não necessite de constante atualização. Um tema que envolva mais urgência poderia ser melhor na análise da relação entre atualização e credibilidade, porém isso poderia envolver a necessidade de manipular alguma crise que levasse as pessoas a procurar por mais informações a respeito - o que não é uma tarefa muito simples. Haveria de se esperar por experimentos naturais de crise (guerra, epidemias, desastres naturais...).

Os sujeitos experimentais também limitam o alcance do estudo - embora sejam naturalmente usuários intensivos de mídias sociais, possivelmente não é um público naturalmente preocupado com doenças cardíacas.

A escala Perse (1990) usada para medir a elaboração cognitiva tem um grau de confiabilidade aceitável (0,68), mas relativamente baixa. Isso pode significar que o baixo efeito da recentidade da atualização pode, na verdade, ser maior. Em todo caso é outra limitação.
---------------------

Obs: Um tanto irônico notar o histórico da publicação do estudo - que trata da necessidade de atualização rápida:
Submissão: 08/jul/2011; Revisão: 09/mai/2012; Aceitação: 16/jun/2012; Publicação online do artigo: 08/nov/2013; Publicação online da edição: 16/jan/2014. Muito possivelmente, os estudos foram conduzidos em 2010.

Estou analisando um resultado que se refere a uma dinâmica de 4 anos atrás. A dinâmica das mídias sociais é muito mais veloz do que isso: o Whatsapp, criado em 2009, ainda estava decolando na época do estudo, pouco depois de sua publicação, seria comprado pelo Facebook - a academia precisa arranjar um meio para acompanhar essa velocidade de transformações. Claro que todo estudo científico se refere mais diretamente a um evento passado, mas, para a maioria dos fenômenos, supõe-se que seja extrapolável ao presente (quando não simplesmente transposto); mas nesta área de mídias sociais isso muitas vezes (quase sempre?) não é o caso.

segunda-feira, 19 de maio de 2014

Pisa na filô. Da (in)utilidade da filosofia.

Em função de uma brincadeira feita por Neil deGrasse Tyson no podcast Nerdist sobre a (in)utilidade da filosofia, vários filósofos e cia. saíram em defesa da mãe de todas as ciências e em ataque ao cosmólogo. Um deles, Massimo Pigliucci (que também é cientista), amigo de Tyson, acredita que não é apenas uma brincadeira, mas reflexo de uma visão pessoal (compartilhada com vários outros cientistas, como Dawkins) equivocada e manifestada outras vezes.

Tyson, em resposta a uma carta crítica, insiste que foi só uma brincadeira e indica uma conversa com Dawkins sobre o tema como uma representação mais fiel de sua visão.

Mas, a despeito de se Tyson apenas brincou ou se nutre um real preconceito contra a filô, a ideia de que ela é apenas blablablá inútil é muito comum entre os defensores mais ativos das ciências e dentro da comunidade cético-racionalista. É uma ironia dupla já que: 1) o ceticismo e racionalismo são posições filosóficas; 2) as ciências ainda são o ramo da filosofia natural (ainda que os filósofos analíticos talvez tendam a discordar). E pode se tornar tripla se considerarmos que as ciências básicas (como a cosmologia) são frequentemente alvo de acusações de ser uma perda de tempo: "por que gastar bilhões com um acelerador de partículas gigantes? seria mais útil investir em escolas e hospitais".

Alguns exemplos da utilidade da filosofia:
--------------
A democracia é um posicionamento filosófico a respeito do sistema político (sim, a ditadura também) e não apenas o resultado de um pragmatismo a respeito de como a sociedade funciona melhor (aliás, a democracia é frequentemente alvo de críticas de que seja disfuncional) - aliás(2), pragmatismo também é uma posição filosófica. Discussões em torno de conceitos como "justiça" e "igualdade" orientam os fundamentos jurídicos para julgamentos sobre o tema: "ações afirmativas promovem a justiça e a igualdade?", "é justo que alguns paguem mais impostos do que outros?"; "por que é errado ser racista, homofóbico, xenófobo, sexista?".

O critério de demarcação é um dos tópicos da filosofia das ciências, e a discussão em torno dela - como o popperismo - orienta a política de financiamento de pesquisas. E é com base nisso que se sustentam as críticas (de parte dos que acham que a filosofia é inútil) da aceitação de disciplinas tidas por pseudocientíficas no corpo acadêmico: como o reconhecimento pelo CFM da homeopatia.

A navalha de Occam, princípios estéticos e a busca por simetrias em leis naturais são de base filosófica.

Os motores de impulsão das ciências são grandes questões filosóficas: de onde viemos, quem somos, para onde vamos?

Questões mais específicas (com trocadilho) como o conceito de espécie tem consequências práticas como na biologia da conservação ou nas medidas quarentenárias contra pragas. A depender do conceito, duas populações podem ser da mesma espécie ou não. Outras, como o conceito de planeta (com o que o próprio Tyson esteve envolvido, e que resultou no rebaixamento de Plutão para a divisão dos planetas-anões - aparentemente terminou sem ressentimentos pessoais), no momento não tem tanta consequência prática, mas o aclaramento teórico tem sua importância.
--------------

As ciências, então, estão mergulhadas em um contexto filosófico, dela não podem se desvencilhar, dela dependem e dela são *parte integrante*. Não é uma simples relação de origem histórica, como a astronomia a partir da astromancia ou da química a partir da alquimia. Astronomia surge da astromancia, mas rompe com as premissas desta; idem da química em relação à alquimia. As ciências, no entanto, não romperam com as premissas básicas da filosofia natural (p.e. que há ordem discernível nos fenômenos naturais e que isso é racionalmente apreensível) - é uma continuação e sua atualização.

Claro que há parte do blablablá das filosofias que são essencialmente de nenhuma utilidade (nas ciências ou na sociedade em geral). Assim como há discussões de certas áreas das ciências que não tem nenhuma aplicação prática à vista em outras áreas ou na sociedade em geral. Enquanto os físicos se debatiam a respeito da identidade entre a massa inercial e a massa gravitacional (discussão que ainda não se fechou), a pesquisa sobre biologia evolutiva avançou; enquanto biólogos se debatiam sobre gradualismo e equilíbrio pontuado (discussão que ainda persiste), a cosmologia avançou.

Algumas áreas e alguns tópicos são mais complexos do que outros, o que, muitas vezes, não permitem um surgimento rápido de consenso entre os especialistas. Muitas questões filosóficas são complexas mesmo que sua formulação seja simples: "o que é o eu?", "o que é consciência?", "é possível se fugir dos zumbis?"

Há alguma utilidade nessa peroração sem fim ou é apenas discussão sobre sexo dos anjos? A utilidade que vejo é que ela mapeia a paisagem conceitual e das possibilidades - sugerem vias de ataque das ciências quando elas tiverem desenvolvido métodos que permitam testar tais hipóteses. Muita dessa discussão se dá no mesmo limbo em que vivia a questão sobre as teorias das cordas e das branas antes dos supercolisores de hádrons e da possibilidade de aceleradores ainda mais poderosos.

As visões adversárias na filosofia que os detratores têm como mera metafísica preparam o terreno em que as ciências poderão se assentar. Aí esses mesmos detratores acharão que toda a discussão prévia foi inútil porque bastou as ciências chegarem e acabar com as dúvidas.

quarta-feira, 14 de maio de 2014

Como é que é? - A seca no Sistema Cantareira é de uma em 3.378 anos?

Não tive acesso ao tal relatório técnico da Sabesp que mostraria que a crise atual da falta de água no Sistema Cantareira tenha uma probabilidade geral de ocorrência de apenas 0,033% ao ano e que isso corresponderia a uma chance em 3.378 anos.

Em primeiro lugar, se a chance é de 0,033% de ocorrer em um dado ano, não sei como chegaram ao valor de 1 chance em 3.378. 1/3378 = 0,0296%. Mas, close enough. O problema é mesmo como chegaram ao valor de 0,033%.

Peguei os dados de pluviosidade mensal para Bragança Paulista-SP - onde está localizado o primeiro reservatório do sistema em em estado mais crítico. o banco de dados do Sistema de Informações para o Gerenciamento de Recursos Hídricos do Estado de São Paulo (SigRH) tem dados de 1970 a 2004. O Centro Integrado de Informações Agrometeorológicas (Ciiagro) tem dados desde 2000 até hoje. Limpando as entradas duplicadas e triplicadas no Ciiagro e combinando com os do SigRH, fiz o gráfico abaixo (Fig. 1) com as médias mensais de chuva entre outubro e março (período considerado no relatório da Sabesp segundo os jornais) e a história que podemos tirar disso parece ser bem diferente.

Figura 1. Padrão de precipitação mensal média entre outubro e abril em Bragrança Paulista-SP. Dados: SigRH e Ciiagro.

A primeira coisa que notamos é que a tal seca de 1 em 3.378 anos não é um ponto tão discrepante assim. Há anos em que chove mais, há anos em que chove menos. Em 22 ocasiões (de 42 - descontando a sobreposição das bases utilizadas), a barra de erro (representando o desvio padrão) corta a linha dos 100 mm de média mensal. Em uma distribuição normal, aproximadamente 68,2% da área da região sob a curva fica entre -1σ e +1σ em torno da média. Ou seja, pelo menos 15,9% da área fica abaixo da linha de 100 mm a cada vez que a barra a toca. 52% x 15,9% = 8,3% é a chance de que a média de chuvas entre outubro e abril fique abaixo dos 100 mm - cerca de 1 vez a cada 12 anos. Desde 1970, seriam de se esperar cerca de 3,5 episódios - escapamos de 2,5: em 2001 chegamos bem perto - 113,7 mm. Não sei qual modelo o tal relatório usou, mas tudo indica que está bem furado.

Isso considerando-se o cenário até aqui. Porém, estamos em um contexto de mudanças climáticas. Em alguns lugares deverá passar a chover (com mais frequência) mais do que a média histórica, em outros, menos. Em outros, haverá somente uma maior tendência de variação. Episódios de secas e crise de água (e, consequentemente, de energia em um país de matriz hidrelétrica predominante) podem se tornar ainda mais comuns. (E, no outro lado da moeda, episódios de enchentes também poderão se tornar ainda mais comuns.)

Upideite(15/mai/2014): A média entre as médias dos períodos de outubro a abril é de 182,6 mm de chuvas. O desvio padrão da média dessas médias é de 37,9 mm. Fazendo um teste de z-score, a probabilidade de a média de um dado período ser de 100 mm ou menos é de 1,46% ou 1 vez a cada 68,5 anos. A probabilidade de que a média fique abaixo dos 115 mm (como em 2001) é de 3,75% ou 1 vez a cada 26,7 anos. Dos 571 pontos entre outubro e abril (sem descontar as duplicações entre as bases de dados), 268, 46,9% dos pontos, estão abaixo de 100 mm. Um período de 6 meses seria esperado em mais do que (0,469)^6 = 1,07% das vezes, isto é, mais do que 1 vez a cada 93,5 anos.  Se usarmos o limite de 94,6 mm (que é a precipitação média deste último período), chegamos a mais do que 1 vez a cada 117,5 anos. Difícil ver por onde poderíamos chegar aos tais 0,033%.

segunda-feira, 12 de maio de 2014

P: Quando se engajar em debate com negacionistas? R: Não sei.

Uma definição de negacionismo é a empregada pelos irmãos Hoofnagle: "employment of rhetorical arguments to give the appearance of legitimate debate where there is none, an approach that has the ultimate goal of rejecting a proposition on which a scientific consensus exists". ["emprego de argumentos retóricos com fim de proporcionar a aparência de debate legítimo onde não existe nenhum, abordagem que tem como objetivo último rejeitar uma proposição em torno da qual há consenso científico."] (Diethelm & McKee 2009)

Diethelm & McKee 2009 listam 5 características comuns aos argumentos negacionistas (não estão necessariamente todos presentes ao mesmo tempo):
a) Conspiracionismo: se quase todos os cientistas acreditam em A, para o negacionista isso indica que houve um grande, complexo e secreto acordo escuso entre as partes, e não que chegaram a conclusões similares por exame independente da mesma questão. A revisão por pares seria um meio para suprimir o dissenso. (Certamente conspirações ocorrem no mundo real, mas é difícil uma que envolva praticamente toda a comunidade científica.)
Fenômeno relacionado: inversionismo - atribuir aos outros as próprias características e motivações (ex. companhias fumígeras diziam que havia uma *índústria* antitabagista, *verticalmente integrada*, *altamente concentrada*, *oligopolista e cartelizada*, em ação conjunta com monopólios públicos, a *fabricar indícios* de ligação entre o fumo e doenças como o câncer *alardeando publicamente* os supostos achados.
b) Uso de falsos especialistas: recorrer a quem se diz especialista em um dado tema, mas cuja visão é totalmente contrária ou inconsistente com o conhecimento estabelecido.
Fenômeno relacionado: conspurcação e desmerecimento de especialistas e pesquisadores estabelecidos, acusações e insinuações que procuram desacreditar seus trabalhos ou colocá-los sob suspeita e dúvida.
c) Seletividade dos indícios: usar artigos isolados que desafiam o consenso dominante ou destacar as falhas nos trabalhos menos significativos na tentativa de desacreditar todo o campo de estudos.
Fenômeno relacionado: complexo ou gambito de Galileu - implicação falaciosa de que, se uma ideia é combatida e tida por errada, então ela é certa (tal qual as ideias de Galileu frente à censura religiosa).
d) Expectativas irrealistas sobre o que as pesquisas científicas podem oferecer: p.e. negar os registros de aquecimento global porque não há medidas tão precisas como as atuais antes da invenção do termômetro.
Fenômeno relacionado: exploração das incertezas associadas a modelos matemáticos - como *todo* modelo traz consigo um certo grau - maior ou menor - de incertezas, joga-se com isso exigindo padrões de confiabilidade irrealisticamente altos.
e) Deturpações e falácias lógicas: p.e. grupos pró-fumo usavam do argumento ad Hitlerum - como Hitler era contra o fumo, então os antitabagistas eram nazistas e, portanto, errados. Mas há toda uma fauna de distorções lógicas: red herring, espantalhos, falsas analogias, falácia do terceiro excluído (ou falsa dicotomia), etc, etc.
*Fenômeno relacionado: trolagem e ameaças - de floods de timeline e caixas de comentários e editawars até ataques cibernéticosassédio pessoal, intimidações físicas ou pior. [*Acréscimo por minha conta.]

Intemann & Melo-Martín 2014** analisaram os dois critérios mais defendidos para a decisão do engajamento na discussão por parte dos cientistas com os negacionistas (dentro do chamado "dissenso normativamente apropriado") e não chegaram a uma conclusão animadora.
1) o negacionista deve se esforçar em compreender as críticas a sua própria visão: levar as críticas a sério e reanalisar seus argumentos ou explicar por que as críticas são infundadas;
Problema: muitas vezes o negacionista *acredita* estar se esforçando em compreender as críticas e *acredita* ter rebatido satisfatoriamente às críticas, mas isso ocorre por falhar em compreender de modo apropriado as críticas - ao fim, é preciso que ele compreenda os critérios para avaliação das críticas dentro do campo científico;
2) o negacionista deve compartilhar parte do padrão de avaliação de teorias científicas: um acordo sobre o que é ou não um bom indício.
Problema: naturalmente se houvesse acordo total sobre os padrões de avaliação, não haveria dissenso; em havendo total desacordo, não há diálogo possível (sendo um critério de recusa a desperdiçar tempo discutindo); a questão que surge, então, é qual o grau de sobreposição de padrões é necessário.

Os autores fazem distinção entre desacordo e dissenso científicos: um dissenso é a visão contrária ao que é amplamente estabelecido na comunidade científica; caso a questão ainda esteja em debate ou haja uma incerteza grande dentro da comunidade científica relevante, é um desacordo não dissentâneo (todo dissenso é um desacordo, mas nem todo desacordo é um dissenso). Outra distinção é entre o dissenso científico e o dissenso público ou leigo.

Não se deve deixar de enfatizar que a discordância é essencial para o avanço do conhecimento científico. É a base do exame crítico. A questão é quando se deixa de ser ceticismo saudável e se embarca no negacionismo - fase em que se nega um fato ou teoria *a despeito* do corpo de indícios favoráveis à tese que rejeita (e da inexistência de um corpo consistente de indícios contrários). Naturalmente é preciso combater o negacionismo, mas os critérios normalmente considerados para se avaliar se vale a pena (o negacionista é bem intencionado, apenas mal informado) ou se é só uma perda de tempo (ele é mal intencionado ou está irremediavelmente comprometido com sua visão) são, pelo visto, problemáticos. #comofaz?

Qual a sua experiência no debate com negacionistas?

**via Adalberto Cesari.

domingo, 11 de maio de 2014

Padecendo no paraíso 4

Ciclídeo Cyphotilapia frontosa com filhotes
na boca. Fonte: Wikimedia Commons.
Em várias espécies de peixes e de alguns anfíbios encontramos o comportamento chamado de 'mouthbrooding' (incubação oral ou bucal) - a incubação dos ovos e proteção dos filhotes em fase inicial de desenvolvimento dentro da cavidade oral.

Alguns grupos apresentam incubação materna, outros paternas ou mesmo biparental (cada uma dos pais cuida de uma porção dos ovos). No caso da tilápia da Galiléia, na mesma população há uma variação entre uniparental materna, paterna e biparental.

Esse comportamento é explorado por alguns predadores que praticam a pedofagia - alimentação de ovos ou jovens em estágios iniciais do desenvolvimento. Ciclídeos pedofágicos do lago Vitória atacam as mães de outras espécies (em ciclídeos geralmente a incubação é uniparental materna) até que ela libere alguns dos ovos ou filhotes. Outra estratégia é engolfar a boca da mãe e sugar os ovos/filhotes da cavidade oral.

Há também parasitas que depositam os próprios ovos na boca do hospedeiro que realiza a incubação oral. O peixe-gato mochokídeo Synodontis multipunctatus parasita ciclídeos do lago Tanganika. Os ovos do parasita eclodem antes e o alevino se alimenta de ovos e filhotes do hospedeiro. Por isso, o S. multipunctatus é também conhecido como bagre-cuco.

Apesar desses infortúnios, em geral, considera-se que a incubação oral seja vantajosa ao prover um "porto seguro" aos ovos e filhotes pequenos. Por essa hipótese, seria esperado que houvesse correlação entre cuidados parentais e tamanho dos ovos, porém, para peixes Betta isso não foi confirmado - embora haja uma correlação entre incubação oral e tamanho dos filhotes.

segunda-feira, 5 de maio de 2014

Divagação científica - divulgando ciências cientificamente 21

Eugen Glavan e Alexandru Cernat (2010), ambos da Universidade de Bucareste, Romênia, fizeram uma análise de uma pesquisa de opinião entre os romenos sobre ciência religião.

Baseados nas respostas de 1.161 adultos, fizeram uma análise das correlações entre diversos fatores e o grau de alfabetização científica. Essa análise é resumida na Figura 1 abaixo, adaptada de sua apresentação na "Science and the Public 2010", realizada na Imperial College de Londres, RU.

Figura 1. Correlação entre dimensões de atitudes sobre ciências e religião e alfabetização científica entre os romenos. Linhas vermelhas, correlação negativa; linhas azuis: correlação positiva. Glavan &Cernat 2010.

Um aspecto que se destaca é a correlação negativa entre alfabetização científica e a visão de que a ciência e a religião se opõem (necessariamente ou frequentemente). Não é propriamente uma surpresa, porém é reforço para a visão pessoal que tenho (e divido com algumas pessoas boas) de que a ênfase no embate entre ciência e religião - como levada a cabo por Richard Dawkins e outros céticos racionalistas antirreligiosos - é deletéria para a compreensão e aceitação do conhecimento científico.

Sim, é uma correlação, não necessariamente uma relação de causa e efeito. Mas atente-se ao fato que o fator "ciência x religião" também se correlaciona positivamente com a visão de que o conhecimento científico tem pouca importância na vida das pessoas ("irrelevância científica") e que a ciência costuma trazer problemas ("riscos").

Esse embate parece servir mais para alienar uma fração considerável de pessoas religiosas - no Brasil, algo como 84% a 99% das pessoas acreditam em alguma divindade e 92%93%, tem alguma filiação religiosa. Claro, é uma pesquisa que se refere apenas à Romênia. Infelizmente não temos uma pesquisa ampla de caráter nacional por aqui - pretendo analisar essas dimensões e correlações nos resultados da Pesquisa Gene Repórter: Visão do Brasileiro sobre Ciência, Sociedade e Tecnologia, mas ela tem limitações como autosseleção dos respondentes, de todo modo alguns dados preliminares parecem ser consistentes com o quadro romeno.

Outro elemento que se pode destacar é a correlação *negativa* entre alfabetização científica e o idealismo científico (a visão de que a ciência e a tecnologia resolverão todos os problemas do mundo). Quanto mais o indivíduo conhece as ciências e suas práticas, mais realista fica sua visão a respeito das potencialidades e limitações científicas. Na Romênia, pessoas mais alfabetizadas científicas, sem surpresas, apoiam menos a ideia de que a ciência seja irrelevante, por outro lado, não há um maior apoio de que as ciências tragam muitos benefícios, nem que os riscos sejam desprezíveis. O que talvez permita afastar a preocupação de certo setor pós-modernista (e pós-conceitualistas) de que a divulgação científica tenda a ser alienante, exaltando as maravilhas científicas e ocultando os problemas (éticos, ambientais, culturais, sociais, econômicos...) decorrentes da pesquisa e aplicação tecnológica mal planejada - ou significa que pelo menos que em alguma coisa os romenos estão acertando.

LinkWithin

Related Posts with Thumbnails