Nick Bostrom - Superintelligence

I am just finishing Bostrom's Superintelligence. Although the book seems far fetched in some moments (and if you know me, you realize this probably is a strong understatement), the argumentation stays honest and serious, discussing many possible scenarios of the so-called intelligence explosion. 

Bostrom essentially claims that:

• Sooner or later, we will discover artificial intelligence as capable as humans in all relevant skills. 
• Since humans are probably not at the top of the possible intelligence ladder and since clever machines will accelerate the progress even more, soon after that the AIs will surpass us in many directions. (Including speed: as transistors run on 2 GHs, while neurons around 10 Hz).
• If we fail to program the right motivation to the AI soon enough, we will inevitably lose control of the situation.

Bostrom names several possibilities how we could try to control the AI, however assumes they are risky in long term, given the AI capabilities. He also spends several chapters elaborating how we should specify the motivation system (if we will ever be able to make solid algorithmic representation for it). He claims, that the AI minds could be extremely counter-intuitive in their motivations. This seems to be very plausible to me. For example, they could suffer from:

Perverse Instantiation: We specify what we want in such way, that the unexpected solution is something we had never in mind. ("Make us happy" can be achieved by placing electrodes into our brains, for instance.)

Infrastructure Profusion: If we specify goal of autonomous action incorrectly, the artificial intelligence (AI) can turn the whole Earth into microprocessors while blindly following the goal to solve Riemann hypothesis, or do similar damage.

Mind crime: If you believe simulated minds can have moral status, there is danger that the AI will harm the simulations (torture them while exploring different scenarios by too detailed simulation, for instance.). 

Later, Bostrom classifies the possible types of AIs we could try to achieve, as "Oracles"that only provide information we require without any motivations of its own, "Djinns" and "Sovereigns" that fulfill tasks one at a time or completely autonomously, and "Instruments", which perform complex tasks without acting as agents. Bostrom then tries to construct (more or less) formal definition of what goal should we try to implement to the initial AI, to avoid the above mentioned failures. (Assuming we find out how.) There is much more, but you will have to read the book. 😉

I really liked the book - it is very intellectually stimulating and after long time, it is one with many new concepts - this is something I really like. I think the outline of the scenarios presented therein is more or less correct, but there is also many cases, where I disagree with Bostrom. It is, for sure, very hard to imagine intelligences that surpass us in the same way our intellect surpasses that of a dog, or even much more. The way Bostrom approaches this is, that he simply vastly overestimates the superintelligent AIs in all directions. One consequence of this strange logic is this sort of "exponential fitting": Before neolithic evolution, it took humanity 220,000 years to double the production, for agrarian society, it was 900 years, and in purely industrial society, it would be 6.3 years⁺. The intelligence explosion should therefore happen in minutes or max days. (Bostrom also presents slower scenarios, but claims this time scale should not surprise us).

If there would be no hardware needed to develop, and if the AI could design all the technology from first principles, then maybe. But I am very skeptical that technology can be developed without experiment (which takes time). There are very good reasons to think no computer should be able to predict weather beyond several weeks, because the required precision in initial condition grows exponentially with the required prediction time. The agent capable of thinking about not few, but millions of entities at once could out-think us in many ways, but we already know that there are some practical limits even for superintelligences, and we should not blindly extrapolate. It is even possible, there is surprisingly little practical technologies not comprehensible to humans, but available to supreintelligences. They would discover them much faster, but the technologies would not necessary be incomprehensible to us in the same way differential equations or aeroplanes are incomprehensible to dogs.

The same goes for the claims that isolation and direct control cannot work, because alone supercomputer isolated from the outer world with only keyboard input could surely outmaneuver his guards and overtake the world. Bostrom is more careful in his claims, but one can still notice, that arguments from this community sneak somewhere into his assumptions.

Last think I will point out: I do not quite believe there will be reasonable algorithmic way how to encode "final goal" the AI shall follow in the way Bostrom imagines it. (This is the "control problem" that should be solved before we start creating the AI.) All the abstract motivations he constructs are interesting and some of them also well-defined, but it is quite possible the complex intelligences will be achievable only by some self-organizing or self-learning algorithms, like neural networks, which do not allow such solid specifications of so abstract goals. Although I am no neuroscientist, I tend to think that on the lowest level of our brains, there is probably some simple and very solid algorithm of how the neurons should interact, connect and learn in the process. The concepts (people, trees, houses, etc.), on the other hand, are probably derived and although they can be partially built into the brain architecture as well, they are much further from the low level algorithm. It seems hard to imagine that we could encode abstract goals in layer low-level enough it would stay enforced, and would be correctly generalized and maintained by the AIs during the whole intelligence explosion.

Overall, I am very glad that these things are getting into public knowledge, because even if many of them sound very counter-intuitive and improbable, they may be closer than we think.

^{+ I am now not sure about the numbers, I will soon correct them according the book. These, I took from here, where is only citation.}

Z geekova deníčku

Zhruba od doby, kdy jsem před dvěma lety objevil free realistickou hru z vesmíru s pěknou Newtonovskou fyzikou, Pioneer, a pomohl s několika fyzikálními problémy v kódu, začal jsem se opět vracet ke sci-fi, kosmonautice a modelování světů s tím souvisejících. V tomto postu se chci pochlubit zajímavými odkazy s touto tematikou, které by lidé s podobnými zájmy určitě neměli minout.

• Kerbal Space Program - Kde začít než u KSP? Jde o krásnou hru, ve které je kosmonautika představená taková, jaká skutečně je. Stavíte rakety jako ze stavebnice a snažíte se dostat co nejdále. Poté, co jsem se konečně naučil vystřelit vůbec něco na orbitu, jsem zorganizoval výpravu na Měsíc zpět. Konečně jsem získal nezprostředkovaný dojem, že jestliže je to tak těžké ve zjednodušené počítačové hře, musela to být skutečně veliká výzva. Ani po mnoha dnech snažení jsem nedostal nic zpět z Marsu. 
• Space Engine - Pokud máte rádi krásné záběry z vesmíru a vlastníte silnou grafickou kartu, neměli byste minout Space Engine. Generuje náhodné fiktivní hvězdné systémy, takže můžete dělat objevitelské průlety a snadno objevit věci, které autor třeba ani vůbec nezamýšlel.
• Universe Sandbox - Universe Sandbox je program, který se zaměřuje na vytváření planetárních systémů tak, že že si je jednoduše naklikáte. Autoři do kódu vložili poměrně hodně vědy, takže např. ukazuje obyvatelné zóny, počítá Hillovu sféru (oblast, ve které mohou být měsíce planety stabilní) a Rocheho limit (oblast, ve které gravitace planety rozbíjí oběžnice a vytváří prstence), Lagrangeovy body a další užitečné zajímavosti.
• Project rho - Projekt ró píše autor blogu Rocketpunk Manifesto. Jde o jakéhosi technického průvodce pro autory sci-fi, kde vysvětluje fyziku kosmických letů. Jeho heslem je: "Hard scifi - protože fyzici a experti na termodynamiku se chtějí taky bavit."
• Orion's Arm - Orion's Arm je sdružení nadšenců a autorů, kteří si za úkol vytyčili postavit vesmír pokud možno konzistentní s moderní vědou a zasadit do něj potom povídky a příběhy. Použitá fyzika je hodně divoká - základní premisou je, že lidská společnost prošla tzv. technologickou singularitou, tj. vytvořili jsme umělou inteligenci, která se natolik rozvinula, že pro nás přestala být jakkoliv pochopitelná. Vlastně jim nestačila jedna singularita, a tak postulovali hned hierarchii sedmi na sebe navazujících přechodů k vyšším formám života. Na pořadu dne jsou červí díry a warpové bubliny, fúzní a anti-hmotové rakety, ale třeba taky velice originální koncept maghmoty. To má být vyjímečně hustá stabilní látka z dosud neobjevených stabilních fermionů, z níž lze postavit struktury, na které atomy nestačí. (Tj. různé prstencové světy, kde atomům nestačí pevnost, nebo warpové bubliny a červí díry, kde zase atomům zdaleka nestačí hustota.) 
• Stellar database - Stellar database je opět ze zcela skutečného vesmíru a představuje výborný zdroj, pokud chcete informace o blízkých hvězdách a jejich vzdálenostech k jiným hvězdám.
• Speculative evolution - Na fórum spekulativní evoluce jsem již několikrát poukazoval. Sdružuje unikátní komunitu lidí, kteří v intencích skutečné vědy přemýšlejí, kam by mohla evoluce živočichy zavést, kdyby je nezavedla tam, kam je zavedla. Zcela unikátní je třeba projekt Ilión (a zde), kde slečna buduje důsledně vědecky biosféru na fiktivní planetě obíhající Barnardovu hvězdu. 
• Sean Raymond a Real-life scifi worlds - Nedávno jsem našel tohoto zajímavého chlapíka, který vedle svého povolání ještě píše blog, ve kterém se mj. snaží domýšlet, jaké by byly skutečně podmínky na Pandoře z filmu Avatar, Arrakis z Herbertovy Duny a na jiných exotických světech.

Z tohoto postu si asi udělám osobní rozcestník, takže se těšte - objevy budou jistě přibývat.

Egan pro pokročilé

Počet autorů sci-fi románů, se kterými jsem měl tu čest a kteří skutečně píší vědeckou fikci, by se asi dal spočítat na prstech jedné ruky. (Tak schválně: Forward, Clarke, Egan.. znáte dalšího? Samozřejmě mám dluhy.) To, co se za sci-fi mainstreamově označuje, je spíše převlečené fantasy: nesmějí chybět plazmová děla, warpový pohon, červí díry a snad i telepatie nebo sexy mimozemšťanky. Ale téměř vždy se objevují pohodlné technologie bez hlubšího vysvětlení proč by měly fungovat^*. 

Greg Egan je vzácnou vyjímkou a pokud jsem ho dříve označoval za spisovatele formátu Julese Verna, určitě jsem nepřestřelil. Pokud jej neznáte, na začátek zkuste alespoň jeho knihu Axiomat nebo Diaspora. Tímto příspěvkem bych chtěl upozornit na jeho novou trilogii Orthogonal (Clockwork Rocket, Eternal Flame, Arrows of Time), která je skutečnou peckou. Nejlépe bych ji asi charakterizoval jako „Egan pro pokročilé“, protože na laťku, kterou nasazuje, musíte být připraveni nejlépe z jeho předchozích románů. Egan na začátku udělal několik „nenápadných“ změn v současné fyzice, popsal dvacet stran hutnou matematikou^** a velice hluboce rozmyslel důsledky. Jeho hrdinové jsou mimozemšťané, kteří ve snaze zachránit vlastní planetu podnikají velkou výpravu za poznáním. Přestože jsou velmi odlišní od lidí^***, řeší společenské a lidské problémy, které jsou nám velice blízké a umíme tedy s hrdiny dobře soucítit. Osobně se mi ale nejvíc tají dech nad tím, jak hluboce a přitom konzistentně umí Egan svůj vesmír rozmyslet. Jako upoutávku prozradím, že vyzařování světla produkuje energii, světlo nemá konstantní rychlost, elektromagnetismus je postavený na hlavu a v posledním díle se mj. popisuje přistání na planetě, jejíž entropická šipka času míří naopak než šipka času astronautů. Speciálně o tomto tématu jsem kdysi hodně přemýšlel, ale přesto mne Egan dost překvapil a musel jsem mu ve většině věcí dát zapravdu. (A část mi ještě dlouho bude ležet v hlavě.) Všechny tyto podivné skutečnosti ale zapadají do jednotného rámce a dají se vysvětlit jedním znaménkem ve vhodné rovnici. Pokud myslíte, že je to váš žánr, nenechte si rozhodně ujít.

^{* To samozřejmě neznamená, že si klasické sci-fi neužívám stejně jako ostatní. Rozhodně jde o skvělou záležitost. 
** Samozřejmě mimo text románu ;-). 
*** Ale i přes svůj zcela exotický způsob rozmnožování svými pudy hodně věrní teorii sobeckého genu.}

Červí díry a zákony zachování

Praktická realizace červích děr je asi stejně pravděpodobná, jako makroskopická kvantová teleportace nebo stavba warpového pohonu ze Star Treku (ačkoliv „NASA už na tom pracuje“, čímž jistě nechce mást veřejnost a tvrdit, že případné změření efektu nejcitlivějším interferometrem je to samé, jako obalit kosmickou loď exotickou hmotou). Přesto jsou cool, pokud se třeba objeví v Nolanově Interstellaru a pro mne jsou velkou guilty pleasure (např. zde a zde). V tomto článku se krátce zamyslím nad zákony zachování v souvislosti s červími děrami.

Červí díra je teoretické řešení Einsteinových rovnic v teorii relativity, kdy hmota zakřiví prostor tak, že objekt spadnuvší dovnitř nepropadne horizontem událostí do černé díry, ale vynoří se v druhém ústí, které může být i velmi daleko. Červí díra je srovnatelně těžká s černou dírou o stejné velikosti, ale navíc potřebuje exotickou hmotu se zápornou klidovou hmotou.^* Zajímavá otázka je, co se stane s hmotou a nábojem obou ústí, pokud něco projde skrz. Přestože je to klíčová otázka, kvůli komplikovanosti Einsteinových rovnic přesnou odpověď nikdo nezná.

Shodné potenciály 

Dlouho jsem si myslel, že hmota a náboj jednoduše projdou skrz. Aby nešlo vyrábět energii tím, že např. jedno ústí posadím na dno Pacifiku a druhé na pevninu a budu donekonečna těžit z přetlaku mořské vody v horním ústí, musíme v tomto případě požadovat, aby potenciál na obou ústích byl stejný^**. To vede k zajímavému jevu, kdy se ústí posazená v různých polohách potenciálu polarizují. Např. ústí na dně Pacifiku by vyrovnáním gravitačního potenciálu s horním ústím získalo (selfinterakcí s gravitačním polem Země) poměrně velkou zápornou hmotnost. Indukovaná hmotnost, která musí pro ústí (koule o poloměru 1 m) vyrovnat potenciál převýšení jednoho kilometru je 10¹⁴ kg, tedy něco jako hmotnost desítky Mount Everestů. To vypadá jako hodně, ale pořád je to o mnoho řádů méně, než je hmotnost samotných ústí.

Kdyby v tomto řešení procházel ústími náboj, nejprve by bylo ústí neutrální. Jakmile bychom náboj přiblížili, na bližším ústí by se vytvořil záporný náboj a na druhém ústí náboj kladný. To můžeme chápat tak, že by siločary náboje procházely ústím, takže by se na jednom místě zdánlivě ztrácely (záporný náboj) a na druhém místě objevovaly. Po průchodu náboje by byla ústí zase neutrální. Toto řešení tedy korektně zachraňuje zachování energie. 

Wheelerova geometrodynamika, aneb je to jinak! 

Varianta jedna je elegantní a dlouho jsem si myslel, že takto to funguje. Dokud jsem se ale nesetkal s geometrodynamikou. Wheeler si totiž uvědomil, že jednoduše nesouvislý prostor (tedy červí díra) umožňuje existenci náboje bez náboje. Představme si, že ústím červí díry prochází siločáry elektrického pole a zase se do něj vrací normálním prostorem. Jde o uzavřené siločáry, které kvůli Maxwellovým rovnicím nemohou staticky existovat a v normálním případě by se vyzářily ve formě záření. Ústí červí díry však zabraňuje se siločárám jednoduše vyvléknout a uspořádání je tak stabilní. Když se budeme dívat jenom na normální prostor a zapomeneme, že ústím se dá procházet, vypadá to, že v jednom místě siločáry mizí (tedy je tam záporný náboj) a ze druhého se vynořují (tedy je tam kladný náboj).

Geometrodynamiku se zatím nepodařilo dotáhnout tak, aby vysvětlila skutečné náboje, ale pro červí díry má tato úvaha dalekosáhlé důsledky. Především ten, že pokud provlečeme skrz ústí kladný náboj, jeho siločáry zůstanou vycházet ze vstupního ústí. Vstupní ústí tak trvale získalo náboj. Druhé ústí jej po průchodu náboje ze stejného důvodu ztratilo. To samozřejmě znamená, že má představa, že ústí se jen polarizují a po průchodu náboje zůstanou neutrální, je špatně. 

Navíc to ovšem znamená jinou věc. Pokud budeme trvale jedním ústím hmotu posílat a druhým ji přijímat, bude vstupní ústí stále těžší a těžší a výstupní stále lehčí a lehčí. V absurdním případě by dokonce výstupní ústí mělo zápornou klidovou hmotu, což není příliš pravděpodobné. Pravděpodobnější je, že uspořádání s nestejně hmotnými ústími je stále náročnější na množství potřebné exotické hmoty, až se v nějaký moment červí díra neudržitelně rozpadne a přemění na dvě izolované černé díry.

Jako exotickou perličku na závěr uvedu, že jsem nedávno viděl dizertaci na téma Alenčiny elektrodynamiky, tj. elektrodynamiky v přítomnosti červích děr, které se mezi ústími napojují jako Möbiův pásek. Nejenom že průchod takovou červí dírou obrací znaménko všech nábojů, ale dokonce taková červí díra může mít celkový (tzv. Cheshireův) náboj, který vytváří siločáry daleko od obou ústí, ale u žádného ústí ani mezi nimi není vidět. Ale o tom až někdy příště.

^{* Naštěstí, jak spočítal Matt Visser, jí teoreticky stačí „libovolně malé množství“, což v praxi může pořád (kvůli praktickým vlastnostem skutečné hmoty) být neúnosně moc.} 

<sup>** Obecněji aby nárůst potenciálu normálním prostorem byl stejný, jako nárůst potenciálu hrdlem.

*** Uložím si sem odkaz na zajímavý související článek. Rindlerova metrika totiž představuje jednu z mála možností, jak by se daly zkoumat ústí červí díry, která se navzájem pohybují.</sup> 

Pár mimozemšťanů

Modelování různých možných podob mimozemšťanů, kteří by se snad mohli vyskytovat na planetách, které jen tak nenavštívíme, se mnoha z vás bude jistě v lepším případě zdát jako výstřední koníček několika od reality odtržených teoretiků, v horším případě koníčkem, nad kterým si mnou ruce fanoušci Dänikena, kruhů v obilí a malých šedivých ufonků. Přesto vám nabízím odkazy na čtyři pěkná videa na toto téma, která jsem poslední dobou objevil. Jsou jimi Aurelia a Blue Moon z produkce National Geographic, trochu starší (a místy trochu přitažená za vlasy) Alien Planet a tematicky zaměřená epizoda seriálu Through the Wormhole s Morganem Freemanem. Garantuji, že po jejich shlédnutí také budete bědovat, že Na'viové z Avatara měli mít šest končetin jako většina jejich mimozemských příbuzných, stromy byly trochu moc zelené a že aby měly mimozemšťanky prsa je skutečně nepravděpodobné. (I když divácky přitažlivé.) 

Ačkoliv se o skutečných mimozemšťanech ze zjevných důvodů asi jen tak nic nedozvíme, stojí za těmito dokumenty nemalé množství skutečné vědy. Astrobiologové soustavně vylepšují metody modelování vzniku hvězdných soustav a migrace planet, obohacování mlhovin těžšími prvky, které jsou pro život nutnou podmínkou, a od té doby, co přestalo být publikování na toto téma v impaktovaných žurnálech společenským tabu⁺, i klimatické modely exotických planet jiných hvězd. V těchto ohledech lze vytknout výše zmíněných dokumentům opravdu jen minimum drobností^*. Dotáhnout tuto spekulaci do fáze, kdy v dokumentu popisují čím se který mimozemšťan živí a kolik má očí a nožiček může vypadat trochu přehnaně specificky. Vždycky jsem si připadal trochu divně, když jsem přemýšlel, jak by vypadaly ryby, které se vyvinuly v kapalině s vysokou viskozitou (třeba v medu) či jinde, nebo jaké evolučně stabilní strategie budou platit pro haploidní živočichy. Na druhou stranu pokud bereme teorii sobeckého genu a existenci několika málo optimálních designů pro dané prostředí, ke kterým se příroda opakovaně vrací vážně, jsem pro to z nich vymáčknout maximum. Svým způsobem je to snad i zajímavější, než zkoumat jestli na Marsu opravdu byla kapalná voda.

Člověk by neměl opomíjet taky výbornou fikci těch, kteří se do záře kamer nedostali.. Illion je jednou z nejlepších.

Nakonec se ještě krátce zastavím nad biomechanikou, která stojí za všemi těmi krásnými modely fiktivních zvířat. Musí to být ohromně zajímavá a fascinující práce, díky které dinosauři v dokumentech BBC nebo draci ve Hře o trůny vypadají skoro jako živí. Pracovat na Blue Moon musel být skutečně biomechanikův sen, kde se konečně uplatní všechny škálovací zákony, díky kterým můžete odhadovat, jak velké rozpětí křídel a kolik koňských sil by potřeboval mýtický Pegas pro svůj let, nebo jak velké zvíře může létat v atmosféře třikrát hustší, než má Země a jaký je optimální tvar křídla. 

<sup>+ Nedávno se dokonce probojovali do PNAS, ale jinak jsou tu, tu i tu.
* Např. že superhurikán na planetě Aurelia by rozbila Coriolisova síla, nebo že prstenec plynného obra by asi z Blue Moonu nebyl tak hezky viditelný, jelikož dráha mimo rovinu rovníku obra není dlouhodobě příliš stabilní kvůli slapovým jevům.</sup>