(continua)<\/p>\n\n\n\n
Oggi continuiamo a parlare dell\u2019apprendimento per rinforzo in intelligenza artificiale, in particolare per evidenziare il problema dell\u2019allineamento dei valori tra uomini e macchine. Richiamiamo l\u2019idea dell\u2019apprendimento per rinforzo, di cui abbiamo parlato nello scorso numero: si tratta di fornire alla macchina la capacit\u00e0 di acquisire informazioni sullo stato corrente del mondo, di effettuare un\u2019azione tra le varie disponibili, e di ottenere di un\u2019indicazione numerica su quanto la scelta sia da premiare (o punire). Quest\u2019ultimo aspetto, che dev\u2019essere deciso dall\u2019esperto umano che programma la macchina, \u00e8 centrale: pi\u00f9 azioni vengono fatte, pi\u00f9 la macchina utilizza i premi ricevuti per ottimizzare sempre di pi\u00f9 sulle scelte fatte, cercando di accumulare il premio totale pi\u00f9 alto possibile. Quest\u2019idea \u00e8 stata ampiamente utilizzata nel contesto dei giochi: \u00e8 alla base, ad esempio, di alphaGo, il software di google che nel 2015 \u00e8 stato capace di sconfiggere il campione mondiale di Go (un gioco di strategia che presenta un numero di configurazioni enormemente pi\u00f9 elevato degli scacchi, e che non si pensava potesse essere assolutamente alla portata dei computer). Ma cosa c\u2019entra in tutto questo \u201cl\u2019allineamento dei valori\u201d? C\u2019entra perch\u00e9 non sempre quello che l\u2019uomo vuole che la macchina impari coincide davvero con quello che la macchina imparer\u00e0 davvero: non dimentichiamoci infatti che la macchina non sa davvero cosa voglia l\u2019uomo: semplicemente usa i premi numerici ricevuti per ottimizzare le proprie decisioni. Tra i tanti esempi che ci mostrano quanto sia facile rompere questo allineamento, ne ho scelti due. Il primo: per insegnare a un robot cuoco che per cucinare i pancake bisogna evitare di tenerli troppo in padella, gli viene indicato un premio che \u00e8 tanto maggiore quanto il pancake sta in aria. Invece di imparare a far saltare spesso il pancake in padella, il robot impara a fare un unico, lancio altissimo. Il secondo: per insegnare a un programma a giocare a un videogioco in modo esplorativo, l\u2019esperto umano lo imposta indicando che qualunque azione faccia non restituir\u00e0 nessun premio, tranne nel caso in cui l\u2019azione porti al \u201cgame over\u201d – in quel caso, il programma ricever\u00e0 una punizione. Il programma cos\u00ec impostato impara, inaspettatamente, a mettere subito il gioco in pausa: in questo modo, non si raggiunger\u00e0 mai il \u201cgame over\u201d. Sono esempi curiosi, che ci insegnano per\u00f2 quanto \u00e8 ancora lunga la strada nello sviluppo dell\u2019intelligenza artificiale.<\/p>\n\n\n\n
Autore: Marco Montali<\/em><\/strong><\/p>\n","protected":false},"excerpt":{"rendered":" (continua) Oggi continuiamo a parlare dell\u2019apprendimento per rinforzo in intelligenza artificiale, in particolare per evidenziare il problema dell\u2019allineamento dei valori tra uomini e macchine. Richiamiamo l\u2019idea dell\u2019apprendimento per rinforzo, di cui abbiamo parlato nello scorso numero: si tratta di fornire alla macchina la capacit\u00e0 di acquisire informazioni sullo stato corrente del mondo, di effettuare un\u2019azione […]<\/p>\n","protected":false},"author":3,"featured_media":4945,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[18],"tags":[24],"class_list":["post-4944","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-rubriche","tag-rubriche-la-citta-digitale"],"_links":{"self":[{"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/posts\/4944","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/comments?post=4944"}],"version-history":[{"count":1,"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/posts\/4944\/revisions"}],"predecessor-version":[{"id":4946,"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/posts\/4944\/revisions\/4946"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/media\/4945"}],"wp:attachment":[{"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/media?parent=4944"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/categories?post=4944"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/web.quimedia.it\/redazione\/wp-json\/wp\/v2\/tags?post=4944"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}