R.W: Mallone uverejnil esej na tému:
Neviditeľné bojisko: umelá inteligencia, kognitívna vojna a boj o vašu myseľ (#PsyWar)
vyberám z neho:
Táto esej sumarizuje podrobnú diskusiu o tom, ako umelá inteligencia, a konkrétne veľké jazykové modely (LLM), súvisia s propagandou, psychologickou vojnou a
novou disciplínou vojenského spravodajstva nazývanou kognitívna inteligencia (COGINT). ...
Výskum naznačuje, že väčšina hlavných veľkých jazykových modelov LLM sa prikláňa k sociálne liberálnym pozíciám v kultúrnych otázkach, čo nie je prekvapujúce, keďže ľudia, ktorí tieto systémy budujú, pochádzajú neprimerane z pobrežnej technologickej kultúry a akademickej obce. ... Otázkou nie je, či systémy umelej inteligencie zakódovávajú predsudky, pretože to robia všetky redakčné systémy, ale či sú tieto predsudky transparentné a v čí prospech fungujú. ...
Vojna sa vyvíjala cez identifikovateľné generácie, od masových armád bojujúcich v formácii (prvá generácia) cez partizánske povstania (štvrtá generácia) až po dnešnú piatu generáciu, ktorá sa nedefinuje fyzickým bojom, ale manipuláciou informácií a vnímania.1 Ako to vyjadruje jedna definícia,
5GW (vojna piatej generácie) je vojna „informácií a vnímania“, v ktorej sa útočník neskrýva v džungli alebo v horách, ale v hluku každodenných informácií.
Ak zakódované predsudky umelej inteligencie predstavujú internú zraniteľnosť, pretože sú to hodnoty zakotvené jej tvorcami, externé otravovanie (
poisoning) predstavuje hrozbu zvonku
. Otravovanie údajov je prax úmyselného vkladania škodlivého alebo zavádzajúceho obsahu do trénovacích údajov, z ktorých sa učia modely umelej inteligencie, čo spôsobuje, že vyvíjajú skryté správanie, ktoré sa prejaví len za určitých spúšťacích podmienok.
Nedávny výskum, ktorý vznikol v spolupráci medzi spoločnosťou Anthropic, britským inštitútom AI Security Institute a inštitútom Alan Turing Institute, zistil, že n
a otrávenie veľkého jazykového modelu stačí len približne 250 starostlivo vypracovaných dokumentov, bez ohľadu na veľkosť modelu.
Útoky typu „poisoning“ majú viacero foriem. Útoky typu „backdoor“ vkladajú skryté spúšťacie frázy, ktoré po aktivácii spôsobujú abnormálne správanie, ale inak model vyzerá normálne. 10 Útoky typu „RAG poisoning“ sa zameriavajú na externé znalostné bázy, na ktoré sa systémy umelej inteligencie čoraz viac spoliehajú pri získavaní aktuálnych informácií. Pri tomto útoku môže jediný dobre navrhnutý dokument dominovať vo výsledkoch vyhľadávania a systematicky skresľovať odpovede. Snáď najzradnejšie je, že otravovanie zosúlaďovania sa zameriava na mechanizmy spätnej väzby, ktoré sa používajú na zvýšenie bezpečnosti modelov. Keď vývojári požiadajú ľudí, aby ohodnotili odpovede umelej inteligencie a použili tieto hodnotenia na trénovanie, nepriatelia môžu systematicky odosielať spätnú väzbu navrhnutú tak, aby model skreslila v ich prospech. Samotný bezpečnostný mechanizmus sa stáva cieľom útoku.
RAG je skratka pre Retrieval-Augmented Generation (generovanie rozšírené o vyhľadávanie). Ide o techniku, pri ktorej systém umelej inteligencie namiesto toho, aby sa spoliehal výlučne na to, čo sa naučil počas tréningu, čerpá informácie z externej znalostnej bázy, keď mu položíte otázku. ...
RAG poisoning je útok na túto vyhľadávaciu vrstvu. Útočník vkladá do znalostnej bázy, z ktorej AI čerpá, starostlivo vypracované škodlivé dokumenty. Keď používateľ položí relevantnú otázku, vyhľadávací systém vyberie otrávený dokument, AI ho zahrnie do svojej odpovede a používateľ dostane manipulované alebo falošné informácie bez akéhokoľvek náznaku, že niečo nie je v poriadku.
Obzvlášť nebezpečné je to kvôli svojej účinnosti. ...
COGINT: Nová disciplína spravodajských služieb, o ktorej nikto nepočul. COGINT, ktorá bola po prvýkrát navrhnutá a kodifikovaná v recenzovaných vojenských časopisoch v roku 2025, predstavuje štruktúrovaný pokus o zaobchádzanie s ľudským poznaním ako s oblasťou zberu spravodajských informácií, vedľa elektromagnetického spektra (SIGINT), satelitných snímok (GEOINT) a ľudských zdrojov (HUMINT). ... čínske spotrebiteľské aplikácie ako TikTok a DeepSeek sú opísané ako „jedinečná silná kombinácia schopností získavania COGINT a nasadzovania SABRH“. ... Tá istá platforma zbiera kognitívny plán a poskytuje vplyv. Toto je strategická logika, ktorá stojí za výzvami na zákaz TikToku, nie len nejasné obavy o ochranu osobných údajov, ktoré politici zvyčajne vyjadrujú, ale konkrétne tvrdenie o integrovanej infraštruktúre kognitívnej vojny fungujúcej na úrovni populácie. ...
V februári 2026 sa stala verejnou konfrontácia medzi spoločnosťou
Anthropic a
americkým ministerstvom obrany. Pentagon uzavrel so spoločnosťou Anthropic zmluvu o používaní jej systému umelej inteligencie Claude v utajovaných vojenských sieťach, čím sa stal prvým modelom umelej inteligencie nasadeným v utajovaných systémoch ministerstva obrany. Úradníci následne požadovali, aby spoločnosť Anthropic odstránila etické obmedzenia týkajúce sa dvoch konkrétnych funkcií: plne autonómneho zameriavania zbraní a domáceho hromadného sledovania. Generálny riaditeľ spoločnosti Anthropic Dario Amodei to odmietol. Pentagon pohrozil, že spoločnosť Anthropic označí za „riziko dodávateľského reťazca“, čo je klasifikácia, ktorá sa zvyčajne používa pre zahraničných nepriateľov, a navrhol využiť mimoriadne federálne právomoci, aby vynútil dodržiavanie podmienok. ...
Spoločnosť Google už upustila od svojho záväzku nevyužívať umelú inteligenciu na zbraňové účely alebo sledovanie. Spoločnosť OpenAI odstránila výslovné odkazy na bezpečnosť zo svojho poslaní. xAI signalizovala ochotu vyhovieť požiadavkám obrany. Spoločnosti, ktoré odmietajú vojenské použitie, sú nahrádzané tými, ktoré ho akceptujú. Tlak na odstránenie etických filtrov nepochádza od jedného zlého aktéra; je štrukturálny, zabudovaný do konkurenčnej dynamiky obranných zmlúv v ére veľmocenskej konkurencie v oblasti umelej inteligencie.
Čo to znamená pre bežných ľudí
Systémy umelej inteligencie ... sú zároveň platformami, ktoré v obrovskom meradle zakódovávajú hodnoty svojich tvorcov, potenciálnymi cieľmi vonkajšej manipulácie zo strany sofistikovaných protivníkov, nástrojmi na zber údajov, ktoré sa využívajú na kognitívne mapovanie na úrovni jednotlivcov a populácie, a čoraz viac aj sporným terénom v geopolitickom súboji o kontrolu nad kognitívnou sférou. ... Najdôležitejšou vecou, ktorú môže informovaný občan urobiť, je kultivovať to, čo výskumníci nazývajú epistemická suverenita: schopnosť rozpoznať, kedy je formované informačné prostredie človeka, hľadať viacero perspektív, zachovávať zdravý skepticizmus voči akémukoľvek jedinému zdroju autority a byť obzvlášť opatrný voči systémom, ktoré pôsobia neutrálne a objektívne.