Zeynep Tüfekçi
@zeynep · América do Norte
Zeynep Tüfekçi é acompanhado pela Storyz World na cobertura de jornalismo e atualidade ligada a Estados Unidos, no capítulo de América do Norte.
Segunda acusação de que trabalhos matemáticos anteriores foram incorporados a um modelo de IA. Observe que, mesmo com mais transparência e um comportamento melhor, a OpenAI talvez ainda não consiga “descartar que dados desidentificados derivados do uso que fizeram de nossos produtos tenham ajudado a melhorar nossos modelos”, entre outras vias.
Traduzido de inglêsO que está realmente errado é se apressar para noticiar uma afirmação sem o contexto. Além disso, se a solução for reconhecida (por que não?), ela representa o que o Millennium Prize deveria incentivar? O objetivo de uma medalha de maratona não é dá-la a pessoas que conseguem chegar à linha de chegada de patins. Mudanças nos métodos/processos não são algo incidental. A existência e suavidade de Navier–Stokes é um problema muito interessante, mas não uma questão prática. O processo/método é fundamental para o que o avanço realmente significa. +
Traduzido de inglêsNossos benchmarks comuns de IA não são tão úteis assim. Estamos deslumbrados com conquistas que não necessariamente terão as consequências implícitas que as pessoas esperam. Isso é um pouco como grandes manifestações de massa não terem o mesmo poder de derrubada que tinham na era pré-internet. (Sim, meu livro).
Traduzido de inglêsA IA na ciência e na pesquisa provavelmente será uma área que decepcionará as expectativas do público. Sim, vi o anúncio de Navier-Stokes e, sim, acredito nisso independentemente da controvérsia sobre os créditos. A ciência como um todo pode até enfrentar *ventos contrários* por causa da IA. Alguns esforços espetaculares não mudam isso.
Traduzido de inglêsAcho que a IA é uma tecnologia transformadora de grande consequência. Espero muitos impactos! Simplesmente acho que a maioria dos benchmarks atuais não é muito útil e que as previsões sociais não estão acontecendo de acordo com os benchmarks de IA da maneira que muitas pessoas afirmavam!
Traduzido de inglêsNão é nem que “o mapa não é o território”, é que os benchmarks atuais de IA nem sequer são o mapa! E, se deixarmos de lado os humores dos podcasts e olharmos empiricamente, fica claro que as teorias predominantes sobre aquilo de que esses benchmarks deveriam ser um indicador social indireto ESTÃO ERRADAS ATÉ AGORA.
Traduzido de inglêsNenhuma dessas coisas é prova direta de impactos sociais específicos, embora o dinheiro gasto tenha, obviamente, consequências. Mas tudo isso pode acontecer mesmo que a IA não afete muito o emprego e mesmo que desacelere a ciência e tenha outros impactos inéditos.
Traduzido de inglêsNão acho que os benchmarks de IA sejam indicadores indiretos da sociedade. Eles são *entradas* de um sistema complexo. Precisamos de uma teoria coerente sobre *como*. Por exemplo, acho que a ciência pode *desacelerar*. Os benchmarks estão subindo, mas a ciência como processo pode muito bem ser prejudicada pela IA, independentemente de resolver problemas de Erdős.
Traduzido de inglêsOs benchmarks de IA, por si só, não implicam impactos ou consequências mais amplos. De forma alguma. Além disso, acho que a maioria dos nossos benchmarks é bastante inútil para pensar nos impactos sociais, e que isso já é empiricamente evidente, MAS mesmo que fossem úteis, não seriam suficientes por si só!
Traduzido de inglêsHah. Uma reviravolta interessante nisso é a alta sensibilidade dos LLMs à frequência das entradas (o que é outra razão fundamental para que eles não sejam assim tão utilizáveis economicamente em escala fora de domínios limitados): lacunas como fracasso.
Traduzido de inglêsA orientação de um modelo de IA para a persuasão limita enormemente sua utilidade econômica EM ESCALA, obviamente. É por isso que todos os exemplos impressionantes isolados não são tão relevantes. Por exemplo, recentemente pedi a um modelo pago um resumo do que sabemos sobre as consequências de um cenário em que o caminho X NÃO é seguido. A maioria dos estudos acompanha o que acontece quando o caminho X É seguido. Como de costume, pedi fontes e links, etc. O modelo acrescentou modificações quase imperceptíveis aos títulos, resumos e assim por diante dos estudos que listou, para adicionar “não X” ao escopo do estudo. Ficou bom e sutil. Pisque e você não percebe. Era preciso clicar em todos os links e ler uma boa parte do estudo. Isso ainda era um pouco mais rápido do que começar do zero, mas a armadilha é mais perigosa do que começar do zero quando a experiência é menor. Além disso, introduz outros vetores de erro. Até os modelos mais avançados fazem versões disso algumas vezes, e é difícil detectar essas falsificações persuasivas sutis sem uma quantidade significativa de trabalho extra, que exige tanto experiência quanto tempo. É verdade que às vezes eles também não fazem isso, mas boa sorte para diferenciar os casos sem a referida experiência e esforço. O software precisa funcionar em vez de persuadir; portanto, além do aspecto da verificabilidade, é um jogo diferente.
Traduzido de inglês