robôs [final]: onipresentes. oniscientes? sob quais regras?

image os tres primeiros textos desta série descreveram alguns cenários, de guerra a futebol, onde há evidências consideráveis de que robôs terão uma participação no futuro. menos em futebol do que em guerra, talvez infelizmente. mais em trânsito do que na sala de aula, talvez felizmente. qualquer que seja o campo, toda discussão informal sobre robótica inteligente [inteligente mesmo, bem mais do que máquinas de solda em montadoras] passa pelas chamadas “leis” da robótica, primeiro formuladas por isaac asimov.

asimov foi um dos mais prolíficos e sofisticados autores de ficção científica de todos os tempos. como parte de sua produção, há um grande número de textos que gira ao redor dos problemas práticos [e psicológicos] de robôs ideais, construídos para operar segundo regras românticas, as tais “três leis”, publicadas pela primeira vez em “run around“, de 1942.

image as leis são muito simples, e representam uma certa hierarquia de valores [antropocêntricos]: 1ª lei: um robô não pode ferir um ser humano ou, por omissão, permitir que um ser humano sofra algum mal2ª lei: um robô deve obedecer as ordens que lhe sejam dadas por seres humanos, exceto nos casos em que tais ordens contrariem a primeira lei; 3ª lei: um robô deve proteger sua própria existência desde que tal proteção não entre em conflito com a primeira e segunda leis.

as leis dizem que os robôs [ideais, ou “de asimov”] estão sujeitos às nossas vontades, desde que estas não impliquem em causar mal a outros humanos e que, garantidas estas condições, os robôs devem cuidar de sua própria subsistência. há um grande número de variações das leis, parte delas de autoria do próprio asimov, que tempos depois incluiu um lei “zero”, determinando que robôs não podem agir no interesse de humanos como indivíduos; devem agir no interesse de toda a humanidade. a idéia, aqui, era elevar o interesse coletivo acima do individual, tornando os robôs um bem universal e não um benefício pessoal para um ou outro humano.

porque tais leis podem ser consideradas ingênuas? porque alguém poderia construir um robô armado e… burro. o exemplo da torre de vigia robotizada que supostamente está sendo usada na fronteira entre as coréias é claro: trata-se de uma máquina de matar gente, que pode –ou não- ter humanos no processo de tomada de decisão. veja o caso desta máquina de paintball: no jogo, é mortífera. sem humanos no controle. somos simples e puros alvos. nada mais.

o primeiro e segundo texto desta série trataram cenários em que robôs autônomos podem ter a capacidade de eliminação de seres humanos [sem humanos para tomar a decisão…] e, pior, onde estas coisas podem fugir de nosso controle e passar a tomar decisões que estejam fora dos planos originais [por mais violentos que tenham sido] de seus construtores e donos.

na série, até agora, muitos comentaram que os engenheiros trabalhando em tais projetos deveriam procuram algo mais interessante para fazer, como minorar a fome do mundo. o comentário deve ser levado em conta, mas é primário e ingênuo. tecnologia é, quase sempre, o possível, agora. se for possível fazer robôs [armados] que vigiam lojas, casas, prédios, bases e fronteiras, eles serão feitos. e usados.

nosso problema é outro. assumindo que tais sistemas começam a aparecer, quais são as regras às quais eles, seus donos, projetistas e fabricantes deveriam estar sujeitos?… dentro de tais regras, quem é responsável pelo que, em que termos? se um bug no software de um robô levá-lo a atirar em alguém, de quem será a culpa? principalmente se o robô for completamente autônomo? se for, será que é possível impedir que uma máquina seja hackeada para se comportar de uma forma não prevista anteriormente? como? nesta discussão, temos que necessariamente descer ao ponto de  discutir se um robô [autônomo] deveria ter “porte de arma” ou não.

neste contexto, que por sinal é o atual, as leis de asimov não servem para nada. as mudanças feitas no conjunto original de leis por roger clarke também não resolvem o caso, pois clarke continua assumindo [em seu texto de 1993/94] que os robôs são necessariamente “do bem”. não são. e olha que clarke tem uma lei que considera que robôs podem projetar e construir outros robôs…

num artigo bem recente, yueh-hsuan weng, chien-hsun chen e chuen-tsai sun propuseram, no topo das “inteligências” que robôs muito sofisticados [autônomos, conscientes] poderiam vir a ter, uma inteligência de “segurança”, que tornaria tais máquinas seguras num ambiente majoritariamente humano e, claro, antropocêntrico [onde as prioridades, a ética, a moral, os meios e métodos… e tudo mais são estabelecidos ao redor de demandas e satisfação humanas].

de forma muito clara, os robôs que a toyota e muitos outros vão tentar vender para nossas casas hão de se guiar por regras parecidas com as de weng et al. os robôs da toyota são baseados em “harmonia com as pessoas” que, apesar de não garantir que tudo vai dar certo e nunca haverá um acidente fatal envolvendo um robô da marca, pelo menos nos dizem que a marca japonesa vai tentar, no limite da sua competência, cumprir a promessa.

image

no lado oposto, há robôs sendo feitos para tratar humanos como alvo. sobre estes, é urgente impor regras como as de john canning, da marinha americana, que propõe que os robôs podem entrar em combate autônomo entre eles mas, quando o alvo for humano, têm que solicitar a ajuda de um humano para tomar a decisão de atirar ou não. um diagrama explicando o básico das regras de canning é mostrado a seguir.

image

a matriz de canning baliza o comportamento de robôs autônomos armados em situações onde haja pessoas e “coisas” [inclusive outros robôs]. se, no ambiente, só há coisas que são objetivos militares válidos, sinal verde e o pau canta, literalmente. se há pessoas e coisas que são objetivos válidos, os robôs devem mirar as coisas e pedir autorização superior para detonar as pessoas. em qualquer outra situação, os robôs não devem fazer nada, exceto se defender caso estejam sendo atacados.

não se sabe, ao certo, que conjunto de algortitmos implementariam tal capacidade de decisão e como eles seriam provados corretos na prática e em todas as situações.

tenho minhas dúvidas, face ao tamanho do esforço, se isso será possível algum dia. independentemente disso, sistemas robóticos armados continuarão sendo construídos de forma acelerada pelos países mais ricos, até porque diminuem o risco humano e político da guerra. mau sinal.

certo mesmo é que vamos enfrentar uma ampla discussão sobre ética robótica nas pr&´ximas décadas, inclusive porque poderemos, no médio prazo, construir máquinas capazes de raciocinar e tomar decisões de forma mais “esperta” [no sentido humano] do que nós próprios.

uma das atitudes subdesenvolvidas mais clássicas, em casos como este, é fingir que o assunto –de tão ameaçador ou complexo- não é conosco; dá-se uma de avestruz, a enfiar a minúscula cabeça na terra e deixar de fora e bem visível um traseiro –um alvo- centenas de vezes maior. nunca dá certo.

ao contrário, a associação americana de inteligência artificial encomendou a um painel de cientistas, mencionado no segundo texto desta série, um estudo sobreexpectations and uncertainties about the development of increasingly competent machine intelligences, including the prospect that computational systems will achieve “human-level” abilities along a variety of dimensions, or surpass human intelligence in a variety of ways.

se existe a possibilidade de sistemas computacionais poderem, em futuro próximo, atingir níveis de performance igual ou superior aos humanos em um número de áreas, talvez se deva –todos nós, em todo o mundo- ajudar a escrever o livro de regras debaixo dos quais tais inteligências artificiais vão se comportar. na escola e na estrada, na casa e no escritório, na brincadeira, no hospital, no jogo, na guerra e na paz.

antes que elas próprias queiram escrever o livro de regras. talvez todas as regras.

image

[na figura acima, níveis de necessidade humanos {de acordo com maslow}, níveis correspondentes para um robô de pesquisa da nec e, abaixo, exemplo de atitude do robô quando seu nível de satisfação é baixo e ele realiza uma ação para aumentá-lo.]image

 

Outros posts

Carl Sagan, a internet e o bostejo

Vivemos em uma era de interconectividade sem precedentes, onde a informação se propaga em uma velocidade espantosa através das redes sociais e outros meios digitais.

EFEITOS de REDE

Este post é um índice de leitura dos textos da série “Efeitos de Rede e Ecossistemas Figitais”, com a co-autoria de André Neves. O texto

O Risco dos Manifestos

Um manifesto é sempre algo [muito] arriscado. Porque um manifesto expressa uma insatisfação com a realidade estabelecida, imediata, ao nosso redor. Um manifesto  não é

IA, no blog: Sugestões de Leitura

Se você está procurando textos sobre IA por aqui… Comece pela série E AÍ… IA: o primeiro texto, Introdução, está no link… tinyurl.com/2zndpt3r; o segundo,

E AÍ… IA [III]

Mas IA, de onde vem, pra onde vai?…   No futuro, há três tipos de inteligência: individual, social e artificial. E as três já são

E AÍ… IA [II]

Trabalho, Emprego e IA   Há uma transformação profunda do trabalho e da produção, como parte da transformação figital dos mercados, da economia e da

EFEITOS DE REDE E ECOSSISTEMAS FIGITAIS [XV]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

E AÍ, IA… [I]

IA fará com que todos sejam iguais em sua capacidade de serem desiguais. É o maior paradoxo desde que Yogi Berra disse… ‘Ninguém mais vai

Efeitos de Rede e Ecossistemas Figitais [XII]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

Efeitos de Rede e Ecossistemas Figitais [xi]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

Efeitos de Rede e Ecossistemas Figitais [x]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

Efeitos de Rede e Ecossistemas Figitais [ix]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

Efeitos de Rede e Ecossistemas Figitais [vi]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

Efeitos de Rede e Ecossistemas Figitais [v]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

Efeitos de Rede e Ecossistemas Figitais [iv]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

chatGPT: cria ou destrói trabalho?

O potencial de relevância e impacto inovador de transformadores [veja A Grande Transformação dos Transformadores, em bit.ly/3iou4aO e ChatGPT is everywhere. Here’s where it came

A Grande Transformação dos Transformadores

Um transformador, na lembrança popular, era [ainda é] a série de filmes [Transformers, bit.ly/3Qp97cu] onde objetos inanimados, inconscientes e -só por acaso- alienígenas, que existiam

Começou o Governo. Cadê a Estratégia?

Estamos em 02/01/2023. Ontem foram as posses e os discursos. Hoje começam a trabalhar um novo Presidente da República, dezenas de ministros e ainda serão

23 anotações sobre 2023 [xxiii]

Este é o 23° de uma série de textos sobre o que pode acontecer, ou se tornar digno de nota, nos próximos meses e poucos

23 anotações sobre 2023 [xxii]

Este é o 22° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xxi]

Este é o 21° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xx]

Este é o 20° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xix]

Este é o 19° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xviii]

Este é o 18° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xvii]

Este é o 17° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xvi]

Este é o 16° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xv]

Este é o 15° de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [xiv]

Este é o décimo quarto de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se

23 anotações sobre 2023 [xiii]

Este é o décimo terceiro de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se

23 anotações sobre 2023 [xii]

Este é o décimo segundo de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se

23 anotações sobre 2023 [xi]

Este é o décimo primeiro de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se

23 anotações sobre 2023 [x]

Este é o décimo de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [ix]

Este é o nono de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [viii]

Este é o oitavo de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [vii]

Este é o sétimo de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [vi]

Este é o sexto de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [v]

Este é o quinto de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [iv]

Este é o quarto de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [iii]

Este é o terceiro de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [ii]

Este é o segundo de uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar

23 anotações sobre 2023 [i]

Esta é uma série de textos curtos, de uns poucos parágrafos e alguns links, sobre o que pode acontecer, ou se tornar digno de nota,

Efeitos de Rede e Ecossistemas Figitais [ii]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

Efeitos de Rede e Ecossistemas Figitais [i]

Uma série, aqui no blog [o primeiro texto está em… bit.ly/3zkj5EE, o segundo em bit.ly/3sWWI4E, o terceiro em bit.ly/3ycYbX6, o quarto em… bit.ly/3ycyDtd, o quinto

O Metaverso, Discado [4]

Este é o quarto post de uma série dedicada ao metaverso. É muito melhor começar lendo o primeiro [aqui: bit.ly/3yTWa3g], que tem um link pro

O Metaverso, Discado [3]

Este é o terceiro post de uma série dedicada ao metaverso. É muito melhor começar lendo o primeiro [aqui: bit.ly/3yTWa3g], que tem um link pro

O Metaverso, Discado [2]

Este é o segundo post de uma série dedicada ao metaverso. É muito melhor ler o primeiro [aqui: bit.ly/3yTWa3g] antes de começar a ler este aqui. Se puder, vá lá, e volte aqui.

O Metaverso, Discado [1]

O metaverso vai começar “discado”. E isso é bom. Porque significa que vai ser criado e acontecer paulatinamente. Não vai rolar um big bang vindo

chega de reuniões

um ESTUDO de 20 empresas dos setores automotivo, metalúrgico, elétrico, químico e embalagens mostra que comportamentos disfuncionais em REUNIÕES [como fugir do tema, reclamar, criticar…

Definindo “o” Metaverso

Imagine o FUTEBOL no METAVERSO: dois times, A e B, jogam nos SEUS estádios, com SUAS bolas e SUAS torcidas. As BOLAS, cada uma num

Rupturas, atuais e futuras,
no Ensino Superior

Comparando as faculdades com outras organizações na sociedade,percebe-se que sua peculiaridade mais notável não é seu produto,mas a extensão em que são operadas por amadores.

O que é Estratégia?

A primeira edição do Tractatus Logico-Philosophicus [TLP] foi publicada há exatos 100 anos, no Annalen der Naturphilosophie, Leipzig, em 1921. Foi o único livro de

O Brasil Tem Futuro?

Uma das fases mais perigosas e certamente mais danosas para analisar e|ou entender o nosso país é a de que “O Brasil é o país

Os Velhos Envelopes, Digitais

Acho que o último envelope que eu recebi e não era um boleto data da década de 1990, salvo uma ou outra exceção, de alguém

Houston, nós temos um problema…

Este texto é uma transcrição editada de uma intervenção no debate “De 1822 a 2022 passando por 1922 e imaginando 2122: o salto [?] da

Pessoas, Games, Gamers, Cavalos…

Cartas de Pokémon voltaram à moda na pandemia e os preços foram para a estratosfera. Uma Charizard holográfica, da primeira edição, vale dezenas de milhares

As Redes e os Currais Algorítmicos

Estudos ainda limitados[1] sobre política e sociedade mostram que a cisão entre centro [ou equilíbrio] e anarquia [ou caos] é tão relevante quanto a divisão

O Trabalho, em Transição

Trabalho e emprego globais estão sob grande impacto da pandemia e da transformação digital da economia, em que a primeira é o contexto indesejado que

O ano do Carnaval que não houve

Dois mil e vinte e um será, para sempre, o ano do Carnaval que não houve. Quem sentirá na alma são os brincantes para quem

Rede, Agentes Intermediários e Democracia

Imagine um provedor de infraestrutura e serviços de informação tomando a decisão de não trabalhar para “um cliente incapaz de identificar e remover conteúdo que

21 anotações sobre 2021

1 pode até aparecer, no seu calendário, que o ano que vem é 2021. mas não: é 2025. a aceleração causada por covid19, segundo múltiplas

A Humanidade, em Rede

Redes. Pessoas, do mundo inteiro, colaborando. Dados, de milhares de laboratórios, hospitais, centros de pesquisa e sistemas de saúde, online, abertos, analisados por sistemas escritos

tecnologia e[m] crises

tecnologia, no discurso e entendimento contemporâneo, é o mesmo que tecnologias da informação e comunicação, TICs. não deveria ser, até porque uma ponte de concreto

o que aconteceu
no TSE ontem?

PELA PRIMEIRA VEZ em muitos anos, o BRASIL teve a impressão de que alguma coisa poderia estar errada no seu processo eleitoral, e isso aconteceu

CRIAR um TEMPO
para o FUTURO

em tempos de troca de era, há uma clara percepção de que o tempo se torna mais escasso. porque além de tudo o que fazíamos

Duas Tendências Irreversíveis, Agora

O futuro não acontece de repente, todo de uma vez. O futuro é criado, paulatinamente, por sinais vindos de lá mesmo, do futuro, por caminhos

futuro: negócios e
pessoas, figitais

em tempos de grandes crises, o futuro, às vezes mais do que o presente, é o centro das preocupações das pessoas, famílias, grupos, empresas e

bom senso & saber

uma pergunta que já deve ter passado pela cabeça de muita gente é… o que é o bom senso, e como é que a gente

uma TESE são “só” 5 coisas…

…e uma dissertação e um trabalho de conclusão de curso, também. este post nasceu de um thread no meu twitter, sumarizando perguntas que, durante a

os novos NORMAIS serão FIGITAIS

há muitas empresas achando que… “agora que COVID19 está passando, bora esquecer essa coisa de DIGITAL e trazer os clientes de volta pras lojas”… enquanto

Novas Formas de Pensar em Tempos Incertos

O HOMO SAPIENS anatomicamente moderno tem ceca de 200.000 anos. Há provas de que tínhamos amplo controle do fogo -talvez “a” tecnologia fundadora da humanidade-

Efeitos não biológicos de COVID19

A PARTIR do que já sabemos, quais os impactos e efeitos de médio e longo prazo da pandemia?… O que dizem as pesquisas, não sobre

Silvio Meira é cientista-chefe da TDS.company, professor extraordinário da CESAR.school e presidente do conselho do PortoDigital.org

contato@tds.company

Rua da Guia, 217, Porto Digital Recife.

tds.company
somos um negócio de levar negócios para o futuro, nosso objetivo é apoiar a transformação de negócios nascentes e legados nas jornadas de transição entre o presente analógico e o futuro digital.

strateegia
é uma plataforma colaborativa de estratégia digital para adaptação, evolução e transformação de negócios analógicos em plataformas e ecossistemas digitais, desenvolvido ao longo de mais de uma década de experiência no mercado e muitas na academia.