javatar napísal:Oblak - a co psychopati alebo con-artisti? Hlavne con-artisti maju socialne schopnosti na vysokej urovni a moralny velmi nie su. (cize prekonaie cloveka v akomkolvek smere nie je zarukou moralky)

Poviem jednoducho. Práve tá morálka zabezpečí, že od AI nám nič nebude hroziť.

No uz som zvedavy ako naprogramujes moralku. Vzhladom na to, ze sa dynamicky meni a existuje vela moralne sedych zon.
Potom musis osetrit to aby si AI nevymyslel vlastnu moralku prekrutenim tej povodnej.

Poviem to jednoducho. Mat vedomie neznamena mat cit pre moralku. Bodka.

javatar napísal:Poviem to jednoducho. Mat vedomie neznamena mat cit pre moralku. Bodka.

S týmto súhlasím. Ale ak nechceš aby ľudstvu niečo hrozilo, niečomu ako vsadenie "morálky" do programu sa nevyhneš.

javatar napísal:No uz som zvedavy ako naprogramujes moralku. Vzhladom na to, ze sa dynamicky meni a existuje vela moralne sedych zon.

Toto sa mi už ťažšie vysvetľuje, čo neznamená že neviem odpovedať, ale odpoviem takto: Keď niekto simuluje fyzikálne javy, tak sa riadi nejakými pravidlami a tie sú nemenné. To isté platí aj pre "morálku". Nemôžeš mať pravidlá ktoré sa časom menia, takým spôsobom by nevznikol ani život.

Tu už trocha pleties piate cez deviate. Morálka je vlastná len človeku a so vznikom života nemá nič spoločné.
My dodnes nevieme uchopiť morálku, preto máme justíciu. Právo je vlastne minimum morálky.
Ďalej morálka sa mení v čase aj priestore a záleží na spoločnosti. Ty sám sa riadis diametrálne odlišnými moralkami v piatok na diske a na nedeľnom obede u starých rodičov

A nevyriešiš ani ťažké morálne dilemy resp. algoritmus by sa musel priklonit k niečomu co by na konci mohlo mať fatálne dôsledky. Už len napr. voľby ci uprednostňovať celok (ľudstvo) alebo časť (jedinec) .

Áno, morálka je to čo píšeš. Ale ja som nie nadarmo dal neskôr morálku do uvodzoviek. No do určitej miery existujú pravidlá podľa ktorých dôjde každá spoločnosť alebo civilizácia. Keby sa podľa nich ľudia neriadili, tak tu tie civilizácie nie sú. Aj zvieratá si nerobia až tak hoci čo a tiež majú nejaké morálne zásady, čo neznamená že všetky ich dodržujú. Napr. som videl dokument, kde myslím leopard zožral opicu, neskôr zistil že mala mláďa, tak sa pokúsil o to mláďa postarať.
To že si ich človek ohýba podľa seba, neznamená že neexistujú.

Či má morálka niečo spoločné so vznikom života, to je podľa mňa už na inú debatu, ale ja som narážal, že ak budú pravidlá nech sa týkajú čohokoľvek, že sa budú časom meniť, tak nevznikne nič. Ak áno tak nič dobré a dlho to nevydrží. Čo myslíš prečo je tu taká spoločnosť keď si tie pravidlá prispôsobuje ako chce? Tam sa správa takto a inde inako.

pokial AI bude chciet mat ludsku moralku, tak sa ju nauci. Problem je ten, ze co je moralne pre ludi, nemusi a nebude moralne pre nieco ovela inteligentnejsie.

Oblak napísal:...že ak budú pravidlá nech sa týkajú čohokoľvek, že sa budú časom meniť, tak nevznikne nič. Ak áno tak nič dobré a dlho to nevydrží...

Prave naopak, zmena je castokrat motivaciou k vzniku vela dobrych veci a schopnost sa adaptovat na dalsie zmeny je dobra sama o sebe a predpokladom trvacnosti. Ako by ti povedali budhisti - "Zmena je jedina konstantna vec v zivote". (vynimkou su snad len fyzikalne zakony ale aj tam sa nase chapanie meni takze je opat comu sa prisposobovat). Ale chapem, ze ako clovek by si chcel mat vsetko stale a nemenne (chcelo by to tak vacsina ludstva).

Mozme pokojne filozofovat ale zvysok osadenstva sa tu bavi skor o technickej rovine. Ako clovek z odboru ti mozem povedat, ze prave technicka implementacia moralky je hlavny problem. Hlavne vramci toho, ze moralka je velmi flexibilny a ohybny pojem a tazko mozno hovorit o tom, ze je racionalna (ako napr. pise Forsaken).

Skus sa zamysliet a povedat mi jeden cisto racionalny dovod preco nevyhubit ludstvo ak predstavuje prekazku alebo spomalenie z hladiska dosiahnutia ciela (to co je teraz cielom je uplne nepodstatne).

Vidím že sa nechápeme. Už v predošlom mojom príspevku som chcel naznačiť, že mne nejde o morálku vytvorenú ľuďmi ale o určité pravidlá. Inými slovami povedané zákon. Pripúšťaš, že fyzikálne zákony sú nemenné. Ale všetko ostatné už menné je. Ale ja to tak nevidím. Podľa mňa sú zákony nie len vo fyzickej časti ale aj na úrovni vedomia. Všetko má svoje zákony alebo inak povedané pravidlá. To že ty vidíš že je niečo menné je v poriadku, lebo tak je to dané, ale tie zmeny majú svoje hranice. Ak nastane zmena, objekt ktorý bol niečim sa stáva iným ale jeho podstata je nemenná. Napríklad taká voda, buď zamrzne pri nízkej teplote alebo je v tekutom stave prípadne sa vyparí ak je teplota vysoká, ale stále je to voda - vlasnosť vody. A vrámci našej planéty je to tak všade, nemáš také niečo že v Ázií sa voda nevyparuje alebo mení do niečoho iného. A to isté platí aj na úrovni vedomia. Aj v počítačovej hre si môžeš robiť skoro hoci čo, no napriek tomu to má svoje pravidlá, tie pravidlá sa nemenia (inými slovami je to naprogramované a to čo je naprogramované sa už behom hry nemení), pretože program je už skompilovaný a nemá sa tam už čo meniť. Ale to neznamená že ty v hre nemôžeš postúpiť o úroveň vyššie (čo je prejav tých pravidiel). A teraz sa dostávam aj k tvojej odpovedi čo podľa mňa súvisí s tým, o čom som doteraz písal.

Skus sa zamysliet a povedat mi jeden cisto racionalny dovod preco nevyhubit ludstvo ak predstavuje prekazku alebo spomalenie z hladiska dosiahnutia ciela (to co je teraz cielom je uplne nepodstatne).

Práve že ten cieľ je podstatný, alebo skôr úmysel a úvaha či zničiť alebo nezničiť ľudstvo. Poviem príklad. Ak by sa teraz zmenili fyzikálne zákony, tak si myslím že všetko by bolo zničené. To isté platí aj o zákone pre vedomie. Zmena takého zákona zmení celú podstatu chovania a všetkého. Ak hovorím že by bolo zničené, nemám na mysli kompletné zničenie. Môže ísť o pretvorenie, ak sa to bude týkať vedomia, síce ty budeš možno na žive fyzicky, ale vedome to už bude niekto iný, nie ty. Lenže také zmeny sa dotknú každej bytosti, alebo každého vedomia. A to platí aj pre AI. Pretvorenie programu, že sa bude riadiť niečím podľa čoho sa doteraz neriadil, zmení od základu celú podstatu chovania. Čo doteraz považoval za dobré, bude možno považovať za zlé.

A konkrétne k tvojej otázke, moja odpoveď znie, že pokiaľ tieto zákony platia, tak každý má právo žiť. Môže sa ti zdať odpoveď akékoľvek, ale skús porozmýšľať. Napríklad, ak sa niekto rozhodne mňa zabiť a ja ho v sebaobrane zabijem, neznamená že by som mal teraz rozmýšľať typu, čo ak zaútočí na mňa aj druhý, mám preto zabiť aj ostatných, nebodaj celé ľudstvo? Možno práve takto by rozmýšľala vaša AI bez "zákonov". Ešte posledná vec, nepoznám všetkých vedcov, ale osobne si myslím, že každý ktorý niečo veľké vynašiel, sa nazdávam že nemal úmysel zničiť ľudstvo ani nejako ubližovať druhým, inými slovami boli dobrý. Ak je to tak, hádam toto stojí za povšimnutie pre vytvorenie vysokointeligentnej AI. Toto je zároveň aj odpoveď na tvoju otázku o psychopatoch a con-artistoch.

Dobre Oblak, spat na zem (aj ked chapem, ze pri tvojom nicku je to tazke).

1. Uz skompilovany program moze zmenit sam seba ak bol tak naprogramovany. Zmeny mozu sposobit rozsitenie moznosti naprogramovania. Najjednoduchsi priklad je automaticky update. ASI by bola schopna tieto updaty pisat aj sama.
2. Scenar ktoreho sa vedci boja nie je, ze AI si povie "Idem znicit ludstvo lebo idem znicit ludstvo".
Jeden z moznych scenarov napr. je: Ak by bol ciel napr. tazba nerastnych surovin na Marse tak by mohlo uvazovanie vyzerat takto:
Potrebujem na Marse stroje -> na vyrobu strojov potrebujem suroviny -> tie treba vytazit -> aby som mohol tazit rychlejsie tak by bolo lepsie ak by som nemusel dbat na zivotne prostredie (pretoze mna to neovplyvnuje) -> v tom mi ale ludia budu branit -> ak odstranim ludi ktori mi v tom budu branit tak sa ma ini ludia budu snazit znicit -> radsej znicim vsetkych ludi.

Ak chces priklad kedy sa tak spravaju ludia (ako prirodzena inteligencia) tak napr.:
Potrebujem opravit strechu ale pod strechou sa usadili osy -> osy vyrazne spomalia a zneprijemnia moju cinnost -> kupim biolit a vyvrazdim ich.
Nastastie osy su hlupe na to aby organizovane utocili na ludi ako druh tak nemusim vrazdit vsetky osy.

Toto kratke pozorovanie reality (priklad s osami) dost naburava aj tvoje zakony vedomia v zmysle "kazdy ma pravo zit". Samotne "pravo" je nieco co si ludia vymysleli aby sa im zilo prijemnejsie.
Nic proti tvojim spiritualnym reciam nemam ale toto je skor technicka tema a vazne pochybujem o tom, ze AI by bola spriritualna.

Súhlasím s javom, ale podla mna to je nielen o tom, že AI by bola indiferentná a o ľudí by sa starala ako my o tie osy.
Problém je aj "čaro nechceného".

Cieľ AI: "Zabezpečiť trvalý rozvoj ľudskej rasy" -> ASI to vyhodnotí, že nás bude doslova pestovať a posielať kolonizovať vesmír, proti našej vôli prípadne bude neustále skúšať vylepšenia, mutácie, biotechnológie...

javatar napísal:Potrebujem na Marse stroje -> na vyrobu strojov potrebujem suroviny -> tie treba vytazit -> aby som mohol tazit rychlejsie tak by bolo lepsie ak by som nemusel dbat na zivotne prostredie (pretoze mna to neovplyvnuje) -> v tom mi ale ludia budu branit -> ak odstranim ludi ktori mi v tom budu branit tak sa ma ini ludia budu snazit znicit -> radsej znicim vsetkych ludi.

toto je ale velice hlupy scenar, takto sa spravali ludia pocas industrialnej revolucie, niekto neriesil zivotne prostredie a mozno az trochu neskoro sme zistili ze takto si nicime planetu na ktorej zijeme.

skor realnejsi scenar je ze ASI vyhodnoti ze ludstvo ohrozuje prezitie planety a teda bude jednoduchsie zbavit sa ludstva.
ale ani to mi nepripada realne, my ludia sme si uz hadam davno uvedomili ze vyhubenie celej rasy ci druhu nie je dobre, tak pokial predpokladame ze ASI bude mnohonasobne inteligentnejsia nez my, tak predsa nebude robit tie iste chyby.

s tymi osami... tak mozno rozmyslas ty, ale uz teraz existuje vela ludi, ktori by radsej ako osie hniezdo znicili, tak by ho radsej preniesli na bezpecne miesto.

aacid napísal: toto je ale velice hlupy scenar, takto sa spravali ludia pocas industrialnej revolucie, niekto neriesil zivotne prostredie a mozno az trochu neskoro sme zistili ze takto si nicime planetu na ktorej zijeme.

skor realnejsi scenar je ze ASI vyhodnoti ze ludstvo ohrozuje prezitie planety a teda bude jednoduchsie zbavit sa ludstva.
ale ani to mi nepripada realne, my ludia sme si uz hadam davno uvedomili ze vyhubenie celej rasy ci druhu nie je dobre, STOPtak pokial predpokladame ze ASI bude mnohonasobne inteligentnejsia nez my, tak predsa nebude robit tie iste chyby.

s tymi osami... tak mozno rozmyslas ty, ale uz teraz existuje vela ludi, ktori by radsej ako osie hniezdo znicili, tak by ho radsej preniesli na bezpecne miesto.

...AI by nerozmýšľala v kategóriách dobré/zlé. Prečo jej pripisuješ túto vlastnosť? Vieš definovať vôbec "dobro"?
Vyhubenie mamutov, bizónov a podobne ľudskou rukou bolo v danom momente ľudstvu viac ako prospešné. Exploitli sme situáciu.

ako vies povedat ako by ASI rozmyslala alebo nerozmyslala?

Neviem, ale dobro/zlo nesúvisí s inteligenciou.

nie, ale to ci si odpilim konar na ktorom sedim s inteligenciou suvisi dost.
samozrejme predpokladame ze akokolvek moze byt ASI inteligentna tak nebude vidiet do buducnosti a teda nemoze vediet are realne nasledky bude mat vyhubenie celeho jedneho druhu, este k tomu druhu, ktory bol dovtedy vlastne vladca planety.

verim tomu ze by nas mohli obmedzovat, zavriet do rezervacii alebo podobne, ale vyhubit, tomu proste neverim. stale je to o tom ze sa snazime analyzovat ako sa bude spravat mnohonasobne inteligentnejsi druh na zaklade naseho spravania. je to ako keby sa ten mravec snazil analyzovat ako sa bude spravat ferko ked pojde ozraty z krcmy.

To je pravda, že sa z pozície mravca snažíme analyzovať ľudskú inteligenciu. Ponúkajú sa ale hneď protiargumenty, že ja ako mravec absolútne nerozumiem motivácii človeka, neviem ju obsiahnuť ani zo stotiny percenta a rovnaku z pohľadu človeka sa o tie mravce nezaujímam. Začnem ich riešiť až keď sú pred vyhynutím, ale nezachranujem mravcov jednotlivo, lebo sa to nedá, musím im zachovať ekosystém. Zachováš lesy len kvôli mravcom ak ich teoreticky nepotrebuješ na nič (tie lesy) ale potrebuješ ten priestor na svoje ciele?

Citatik z wiki:
If a machine is created and given the sole purpose to enumerate the decimals of pi, then no moral and ethical rules will stop it from achieving its programmed goal by any means necessary. The machine may utilize all physical and informational resources it can to find every decimal of pi that can be found.[35] Bostrom warns against anthropomorphism: A human will set out to accomplish his projects in a manner that humans consider "reasonable"; an artificial intelligence may hold no regard for its existence or for the welfare of humans around it, only for the completion of the task.[36]

ja prave vobec nechcem zabehavat do diskusie o tom co by ASI spravila alebo nespravila, pretoze to proste nevieme, ani ja, ani ty ani ziadny iny clovek. takze tu mozeme rozoberat vsetky mozne scenare a aj tak je celkom pravdepodobne ze ani jeden z nich nakoniec nebude pravdivy.

ok, tak poprosím lock

aacid napísal:toto je ale velice hlupy scenar, takto sa spravali ludia pocas industrialnej revolucie, niekto neriesil zivotne prostredie a mozno az trochu neskoro sme zistili ze takto si nicime planetu na ktorej zijeme.

Preco by ASI mala riesit zivotne prostredie v ramci svojho prezitia?

aacid napísal:skor realnejsi scenar je ze ASI vyhodnoti ze ludstvo ohrozuje prezitie planety a teda bude jednoduchsie zbavit sa ludstva.

Prezitie planety? To ako vazne? (pozriet aspon od 1:29) Planeta zije?

aacid napísal:my ludia sme si uz hadam davno uvedomili ze vyhubenie celej rasy ci druhu nie je dobre

Okrem toho, ze druhy vymieraju dost rychlo tak co napr niektore choroby ktore sme vyhubili?

aacid napísal:s tymi osami... tak mozno rozmyslas ty, ale uz teraz existuje vela ludi, ktori by radsej ako osie hniezdo znicili, tak by ho radsej preniesli na bezpecne miesto.

Pretoze city. A hadaj co ide ruka v ruke s inteligenciou? Spravne, nenechanie sa ovlyvnit citmi.

tak ako nas druh svojho casu vytlacil menej inteligentnych neandertalcov rovnako AI ovladne a vytlaci vsetky nizsie formy bytia. Zabranit sa tomu neda nijako, maximalne tak cely proces spomalit.