Pangram, pisanie z AI i przyszłość badań naukowych

O czym jest ten film

1. Gościem Aniketa Panjwaniego jest Alexander Kustov, politolog z Uniwersytetu Notre Dame, badacz polityki migracyjnej i autor głośnej serii „Academics Need to Wake Up on AI”.
2. Główna teza rozmowy: to, czy tekst powstał przy udziale AI, w większości sytuacji nie mówi nic o jego wartości — liczy się weryfikacja treści, danych i wyników.
3. Kustov krytykuje Pangram i całą „policję stylu”: detektor, jego zdaniem, działa lepiej niż poprzednicy, ale odwraca uwagę od poważnych problemów — procesu powstawania danych i replikowalności badań.
4. Rozmowa wprowadza porządkujące rozróżnienia: dydaktyka kontra badania, nauki ilościowe kontra humanistyka, system anglosaski kontra systemy, w których profesor jest głównie nauczycielem.
5. Kontrpropozycja wobec detektorów: narzędzia typu Refine Ink, w których model recenzuje logikę pracy i — przy dostępie do danych — jej wyniki; część czasopism ekonomicznych wdraża je już instytucjonalnie.
6. Warsztat badawczy Kustova: płatne subskrypcje Claude Code i Codex, rozbudowane pliki konfiguracyjne i przewodniki stylu oraz protokół weryfikacji cytowań oparty na DOI.
7. Plan dydaktyczny na powrót z urlopu naukowego: całkowity zakaz urządzeń na zajęciach merytorycznych, egzaminy pisemne i ustne, laboratoria z R, a projekt końcowy — z pełną zgodą na AI.
8. Zasada odpowiedzialności: podpis pod pracą oznacza pełną odpowiedzialność za wszystko, łącznie z błędami agenta; stąd poparcie dla sankcji arXiv za nieweryfikowane cytowania.
9. Socjologia adaptacji w nauce: badanie Anthropic (ok. 30% ekonomistów wobec ok. 20% politologów), piętno na Bluesky, prywatne wiadomości o konfigurację od tych samych osób, które publicznie krytykują.
10. Substack jako uzupełnienie badań: anegdota z centrum seniorów w Charlotte, wpływ natychmiastowy po publikacji oraz AI, które radykalnie obniża koszt zaangażowania publicznego.

10 najważniejszych takeaways — z kontekstem zastosowania

1.Rozdziel dydaktykę od badań — to dwie różne rozmowy o AI

Na czym polega: Student na egzaminie ma udowadniać własne kompetencje; badacz ma dostarczyć wiarygodny wynik. Kustov podkreśla, że poczucie hipokryzji („zakazuję studentom, a sam używam”) rodzi się z mylenia tych ról.

Jak stosować: Zanim ustalisz zasady AI dla siebie lub zespołu, nazwij kontekst — egzamin w sali, praca domowa, artykuł naukowy, promocja własnej publikacji — i dla każdego ustal osobne reguły.

Na co uważać: Reguły jednej dziedziny nie przenoszą się na inną: w humanistyce sam tekst bywa istotą dzieła, w naukach ilościowych to raport z wyników.

2.Oceniaj proces powstawania danych, nie „opakowanie” tekstowe

Na czym polega: W naukach ilościowych pisanie jest wtórne wobec tego, co trafia do analizy i jak została przeprowadzona. Recenzenci i tak najczęściej czepiają się ujęcia wyników, bo danych prawie nikt nie sprawdza — masowe używanie detektorów stylu ten nawyk tylko pogłębi.

Jak stosować: Przy ocenie pracy — własnej, cudzej, studenckiej — pytaj najpierw o dane, kod i replikację, a dopiero potem o prozę.

Na co uważać: Pilnowanie powierzchni tekstu zasłania realne wykroczenia: w socjologii zaledwie 35% eksperymentów udostępnia materiały replikacyjne.

3.Wynik detektora AI nic nie mówi o prawdziwości treści

Na czym polega: Kustov uczciwie przyznaje, że Pangram działa lepiej niż starsze detektory — i że w tym punkcie się mylił. Ale pojedynczy procent „człowiek czy maszyna” zleca na zewnątrz najważniejszy krok: sprawdzenie, czy twierdzenia są prawdziwe.

Jak stosować: Detektor traktuj co najwyżej jako wstępny filtr tam, gdzie liczy się sam fakt ludzkiego autorstwa (np. egzamin). Nigdy jako zamiennik oceny merytorycznej.

Na co uważać: Sygnały stylu ulotnieją: modele zmieniają się co kilka miesięcy, więc reguły oparte na „wyczuwalnym” stylu AI szybko się dezaktualizują.

4.Protokół antyhalucynacyjny: każde cytowanie z działającym DOI, wypisanym i sprawdzonym w drugim źródle

Na czym polega: Kustov każe agentowi opatrywać każdy przypis działającym DOI i wypisywać go na ekran; następnie krzyżowo sprawdza pozycję w Google Scholar. Weryfikacja z dwóch niezależnych źródeł radykalnie zbijaja ryzyko zmyślonego cytowania.

Jak stosować: Zapisz regułę w pliku konfiguracyjnym agenta (CLAUDE.md/agents.md): „każdy przypis musi mieć DOI; wypisz wszystkie DOI do ręcznego sprawdzenia”.

Na co uważać: Google Scholar zawiera już zmyślone pozycje z czasopism drapieżnych — sama weryfikacja w Scholarze nie wystarczy; DOI, z założenia stały, jest mocniejszą kotwicą.

5.Trzymaj źródła lokalnie i żądaj numerów stron

Na czym polega: System Panjwaniego: PDF-y wszystkich czytanych prac lądują w repozytorium, metadane trzyma baza SQLite, a agent cytuje wyłącznie z plików obecnych w repo. Generowane notatki-wiki muszą podawać numery stron, dzięki czemu da się je sprawdzić w źródle.

Jak stosować: Pobierz każdy cytowany materiał do repozytorium i wprowadź regułę: żadnego podsumowania bez wskazania strony (w miarę możliwości — konkretnego fragmentu).

Na co uważać: Kolekcja PDF-ów szybko zjada dysk — Kustov zapełnił w ten sposób Dropboksa. Warto wybrać dysk zewnętrzny i przechowywać kluczowe teksty w formatach czytelnych dla maszyn (Markdown, TeX).

6.Zasada podpisu: podpisujesz się — odpowiadasz za całość

Na czym polega: Skoro pod pracą stoi twoje nazwisko, odpowiadasz za wszystko, także za błędy agenta. Analogia Kustova: asystent badawczy również może się pomylić, ale to ty wysyłasz pracę do czasopisma. Stąd jego poparcie dla sankcji arXiv za niezweryfikowane cytowania — choć krytykuje sposób ich wdrożenia.

Jak stosować: Wprowadź w zespole żelazną zasadę: nic nie opuszcza zespołu bez przejrzenia przez osobę, która się podpisuje; osobiście sprawdzaj wyniki, błędy standardowe i przypisy.

Na co uważać: Pokusa „kliknij i wyślij” jest stała i dotyczy wszystkich; w nauce działa jednak reputacja — kto masowo publikuje nieweryfikowane rzeczy, prędzej czy później na tym ucierpi.

7.Podstawy „na twardo”, zanim student sięgnie po agenta

Na czym polega: Plan Kustova: zajęcia merytoryczne całkowicie bez elektroniki, egzaminy pisemne w sali (bywa — ustne), a w statystyce wykłady bez urządzeń plus laboratoria z R; dopiero projekt końcowy z pełną zgodą na AI. Wersja pośrednia: esej domowy do napisania z AI, potem ustna obrona argumentu.

Jak stosować: Oddziel etap nauki fundamentów (jak działa regresja, intuicja twierdzenia granicznego) od etapu tworzenia, gdzie AI jest dozwolone; egzaminy sprawdzaj w pracowni bez internetu, na komputerach offline.

Na co uważać: Nie przesadzaj w drugą stronę: Kustov nie każe nikomu pisać kodu na kartce ani odwracać macierzy ręcznie — kaligrafia studentów jest już na to za słaba.

8.Płać za dobre narzędzia i buduj rozbudowaną konfigurację

Na czym polega: Zdaniem Kustova brak płatnej subskrypcji (Claude Code, Codex) na uczelni badawczej to wręcz zaniedbanie. Do tego potrzebne są rozbudowane przewodniki stylu — nie jeden plik, lecz zestawy połączonych plików dla różnych zadań: propozycja tekstu do gazety, prezentacja, przygotowanie do wywiadu.

Jak stosować: Finansuj narzędzia z budżetu badawczego; jeśli IT się opiera, argumentuj kosztami asystentów, których te narzędzia zastępują; prowadź osobne przewodniki dla osobnych typów zadań.

Na co uważać: Subskrypcja bez plików konfiguracyjnych i protokołów weryfikacji (zwłaszcza cytowań) spada do poziomu zwykłego czatbota — a więc dokładnie tego, przed czym Kustov przestrzega.

9.Na śmieci z AI najlepiej działa AI recenzujące logikę

Na czym polega: Lepszym rozwiązaniem niż detektor stylu jest narzędzie typu Refine Ink Bena Goluba: model czyta pracę, sprawdza spójność argumentacji, a przy dostępie do danych i kodu — także wyniki. Część czołowych czasopism ekonomicznych wdraża je już oficjalnie.

Jak stosować: Jako autor przepuść szkic przez recenzenta-AI przed wysłaniem; jako redaktor rozważ go jako pierwszy filtr dla nadesłanych prac.

Na co uważać: Bariera jest instytucjonalna (umowy, płatności, opłaty za zgłoszenie), nie technologiczna; brak otwartego dostępu do prac utrudnia automatyczne sprawdzanie adekwatności cytowań.

10.Publiczne pisanie karmi badania — a AI czyni je tanim

Na czym polega: Doświadczenie Kustova z Substackiem: wpływ natychmiastowy (dzień po publikacji zadzwoniła „The Atlantic”), informacja zwrotna od ludzi spoza akademickiej bańki (wykład w centrum seniorów) i nowe pytania badawcze. Rynek sam odsiewa słabe teksty.

Jak stosować: Nie trzeba etatu, żeby zacząć: publikuj teksty koncepcyjne i publicystyczne, które i tak nie trafiłyby do czasopism; AI skraca przygotowanie propozycji i prezentacji z tygodnia do minut, więc koszt eksperymentu jest minimalny.

Na co uważać: Dla ludzi przed uzyskaniem etatu to uzupełnienie, nie substytut publikacji naukowych; bez renomy w temacie trudno o wiarygodność — jak mówi Kustov, nie otworzy bloga o fizyce jądrowej.

Redakcyjne tłumaczenie

Wprowadzenie

Aniket Panjwani: Moim gościem jest dziś Alexander Kustov, politolog z Uniwersytetu Notre Dame, na stanowisku zbliżonym do polskiego profesora uczelni. Alex jest specjalistą od polityki migracyjnej, ale też od początku należał do tych badaczy nauk społecznych, którzy wcześnie sięgnęli po AI. Jego trzyczęściowy cykl „Academics Need to Wake Up on AI” wprowadził sztuczną inteligencję do świadomości szerszych środowisk — nie tylko ekonomistów — i narobił sporo zamieszania wśród humanistów filozoficznie niechętnych tej technologii. Alex jest też znanym krytykiem Pangramu, coraz popularniejszego wykrywacza tekstów generowanych przez modele.

(Informacja dodatkowa: Pangram to komercyjne narzędzie, które z podanym prawdopodobieństwem ocenia, czy tekst napisał człowiek, czy model językowy.)

Jego zdaniem to, czy tekst powstał przy udziale AI, w wielu kontekstach nie ma prawie nic wspólnego z tym, czy dobrze spełnia swoje zadanie. Używanie takich detektorów odwraca więc uwagę od pytań ważniejszych: jak w ogóle oceniać teksty — artykuły naukowe, eseje, a nawet wpisy w mediach społecznościowych. Zaczynamy od Pangramu, potem przechodzimy do tego, jak Alex używa AI w badaniach i nauczaniu, a na koniec zastanawiamy się, skąd tak skrajnie różne reakcje na AI w naukach społecznych.

„Wszystko zależy od kontekstu” — i to nie wymig

Aniket Panjwani: Gdzie Twoim zdaniem pisanie z pomocą AI jest na miejscu, a gdzie nie?

Alexander Kustov: Dzięki za to pytanie — to właściwe pytanie na start, zanim w ogóle zajmiemy się Pangramem i jego przydatnością. Najpierw trzeba rozstrzygnąć sprawę ważniejszą: czy samo pisanie z AI jest dobre i odpowiednie — i czy trzeba je ujawniać. A tu, cóż, wszystko zależy od kontekstu. Wiem, że to irytująco wymijająca odpowiedź, ale w większości sytuacji jest po prostu prawdziwa. Intuicyjny przykład, że AI nie ma tu czego szukać, ma każdy akademik: ściąganie na egzaminach. Większość profesorów w ogóle wchodzi w ten temat przez dydaktykę. Znam mnóstwo ludzi, którzy układają bardzo kreatywne zadania oparte na AI — i to dobrze — ale czasem chcemy mieć zajęcia całkowicie wolne od tych narzędzi. Klasyczny egzamin pisemny w sali, na którym student ma samodzielnie ułożyć odpowiedź. Przy egzaminie obecnym żaden detektor nie jest w ogóle potrzebny. Intuicyjnie rozumiemy, że istnieją sytuacje, w których pisanie z AI po prostu nie wchodzi w grę.

Aniket Panjwani: Na kursie nie chcemy, żeby studenci pisali z AI, bo sprawdzamy, czy rozumieją to, co tworzą. Czy zatem — grając adwokata diabła — w pracy naukowej nie obchodzi nas, czy badacz rozumie to, co produkuje? Wiem, że nie tego twierdzisz, ale tak da się pociągnąć argument.

Alexander Kustov: Po pierwsze: badania to nie dydaktyka. Wielu ludzi w ogóle tego nie dostrzega, a rozumiem, skąd bierze się pomylenie. Jeśli jesteś profesorem i codziennie widzisz, że studenci ściągają z modeli, czujesz, że byłoby obłudnie samemu z nich korzystać, a im zabraniać. To jednak zupełnie różne zadania. Publiczność myli te dwie role — a profesor w systemie anglosaskim czy niemieckim jest jednocześnie badaczem i nauczycielem, podczas gdy w wielu krajach świata profesor to w gruncie rzeczy lepiej opłacany wykładowca. Tam może faktycznie warto ostrożniej podchodzić do pisania z AI. Ale jeśli ktoś jest badaczem i chce po prostu doprowadzić projekt do wyników, to zupełnie inna rozmowa. Trzeba umieć te sprawy rozdzielić.

Druga rzecz, którą zrozumiałem, rozmawiając z ludźmi z Pangramu — moja ostatnia wymiana z szefem firmy była, nawiasem mówiąc, całkiem konstruktywna i znaleźliśmy pole porozumienia — to że wszystko zależy też od dyscypliny. Dla nas dwojga, ilościowych badaczy społecznych — ekonomistów czy politologów — pisanie jest wtórne wobec wyników, danych i tego, co w ogóle trafia do tekstu. W humanistyce bywa odwrotnie: tam praca naukowa powstaje niekiedy tak, jak studenci piszą wypracowania. Warto to przyznać wprost. W politologii, bardziej niż w ekonomii, mamy też badaczy jakościowych i filozofów — ci są bliżej humanistów. Różnice między dziedzinami są istotne, ale w mediach społecznościowych trudno je zasygnalizować, bo wszyscy tylko na siebie krzyczą i żądają zakazania pisania z AI „wszędzie”, bez dopisku, że chodzi o humanistykę. Miałem kilka naprawdę ciekawych rozmów z filozofami, którzy sami przyznawali: dobrze, jeśli chodzi o raport z odkrycia leku, nie obchodzi nas, kto go napisał; ale w mojej dziedzinie to właśnie jest sedno. Niestety większość ludzi takich zastrzeżeń nie formułuje, więc rozmawiamy obok siebie. W ostatnim tygodniu próbowałem sprowadzić tę dyskusję na ziemię — pokazać ludziom nawzajem ich pozycje i motywy. Na ile się udało, nie wiem; ocenę zostawiam innym. Ja przynajmniej z kilkoma osobami ustaliłem, gdzie się zgadzamy, a gdzie nie.

Wstręt do „AI-speak” i pułapka oceniania stylu

Aniket Panjwani: To ma sens. Ja patrzę na to częściowo przez ekonomistyczne okulara: to problem tzw. selekcji negatywnej — skoro styl „z AI” sygnalizuje prawdopodobnie niską jakość, używam go jako filtra i całkowicie się wyłączam. Owszem, modele potrafią same formułować dobre argumenty, ale niedawno wyszła seria prac — głównie informatyków — pokazujących, że AI spłaszcza rozpiętość argumentów. W badaniach społecznych mnóstwo zależy od subiektywności badacza, a różne modele zbiegają do podobnych odpowiedzi, które w oczach samego badacza niekoniecznie są najlepsze. Na Twitterze mnóstwo jest spamu: konta wrzucają wygenerowane „aktualizacje”, które wyciszam od razu, bo nic nie wnoszą. Można się kłócić, że wartość polega na samej szybkości powiadomienia. Ale w pracach naukowych sprawa jest trudniejsza. Weź Jesúsia Fernándeza-Villaverde, makroekonomistę z University of Pennsylvania — bystry człowiek, sporo używa AI, żeby po prostu pracować szybciej, i nie odejmuję mu za to punktów. Stąd moje pytanie: gdy widzisz tekst pisany z pomocą modelu, czy zmienia to Twoją ocenę szans, że będzie dobry albo zły, w porównaniu z tekstem „czysto ludzkim”? Może właśnie stąd bierze się opór.

Alexander Kustov: Zgadza się. Jedno odkryłem niejako przy okazji: wszyscy nienawidzą maszynowego stylu. Nikt nie lubi nadmiaru myślników, nikt nie lubi schematu „nie X, lecz Y”. To reakcja instynktowna — można ją traktować jak sygnał bayesowski, na podstawie którego próbujesz oszacować, czy warto czytać dalej. Ale uwaga: po żadną z tych ocen nie potrzebujesz Pangramu. Sam to powiedziałeś — wyciszasz takie konta; nie musisz wklejać niczego do detektora ani instalować rozszerzenia. Po prostu czujesz, że dalsza lektura to strata czasu. Zdarzy się, że przez przypadek wyciszysz kogoś wartościowego — fałszywe trafienia będą zawsze. Martwi mnie natomiast to, że cała ta policja stylu — bo mówimy tu szerzej niż sam Pangram — dotyczy wyłącznie powierzchni tekstu. Nie wiemy, co siedzi w środku. W mediach społecznościowych komunikacja jest wszystkim, więc tam pytanie o styl ma sens. Ale w artykule naukowym — przynajmniej w naukach społecznych opartych na danych — samo pisanie obiektywnie nie jest najważniejsze. Ważniejszy jest proces, w którym dane powstają: co trafia do analizy, kto i jak ją przeprowadza. Moja obawa: ludzie będą wyostrzeni na powierzchowne sygnały „maszynowości”, zamiast na realne problemy z danymi i ich wiarygodnością. I nie sądzę, żeby to było jakoś szczególnie szlachetne. Znasz to z recenzji: wysyłasz pracę, a recenzenci przede wszystkim czepiają się ujęcia wyników. W politologii to norma. Twoich danych nikt nie sprawdzi — większość czasopism tego nie robi, tylko nieliczne mają wymóg replikacji, ludzkiej albo wspieranej AI. Wszystkim przyjmują do wiadomości, że odrobiłeś pracę domową, i dyskutują o tym, jak ubrać wyniki w słowa. To jest powierzchowne i nic nie wnosi do merytoryki. Obawiam się, że masowe sięganie po Pangram ten nawyk tylko wzmocni. To pierwszy punkt.

Drugi: cała sprawa jest zmienna w czasie. Jeśli dziś na Twitterze widzisz, że ktoś — choćby sam Hunter Biden — wypowiada się krótkimi zdaniami jak robot, jasne, możesz go wyciszyć. Ale za kilka miesięcy, przy nowych modelach i w nowych okolicznościach, tych sygnałów już nie będzie widać. Zresztą sam fakt, że Pangram działa więcej-mniej sensownie, jest dla mnie zadziwiający. W moich wcześniejszych tekstach główna teza brzmiała: detektory AI nie działają. Przed Pangramem było to z grubsza prawdą — chętnie więc przyznaję, że w tym punkcie się myliłem. Martwi mnie jednak, że o ile działają, o tyle potrafią ściągać naszą uwagę na sprawy mniej ważne. Czas i uwaga są ograniczone. Jeśli będziemy pilnować, jak ludzie piszą, zamiast tego, co piszą, będzie źle — nawet gdyby istniała dodatnia korelacja między używaniem AI a słabą treścią.

Jest jeszcze kwestia, którą zasygnalizowałeś i która jest bardzo ważna: dla ludzi piszących w języku obcym — jak Jesús, jak ja — te narzędzia mogą być czystym zyskiem, oczywiście w ramach porządnych zasad stylu. Bo alternatywą nie jest ich perfekcyjna angielszczyzna, którą wszyscy zaakceptują. Alternatywą jest to, że nie napiszą nic. W tych całych utarczkach kilku moich rozmówców przyznało wprost: jest w nas odruchowa, subiektywna niechęć do stylu modeli, która niczego nie wnosi do sporu merytorycznego. W najnowszym eseju porównałem to do gramatycznego puryzmu — tak jak ludzie kiedyś odrzucali treść czyjegoś argumentu i czepiali się błędów językowych. Nie twierdzę, że to dokładnie to samo, ale jest w tym cząstka zachowania czysto statusowego, kwestia gustu, która nie ma nic wspólnego z tym, czy coś jest prawdziwe.

Aniket Panjwani: Zgadzam się i dorzucę coś od siebie: jeśli pilnowanie stylu zniechęci ludzi do używania AI do pisania, przepadnie także wartość, którą mogliby przekazać — na przykład dyktując tekst, a potem prosząc model o sformatowanie go. Skoro musieliby dodatkowo przerabiać tekst „pod Pangram”, rosną koszty publikowania wartościowych treści — i tych treści w efekcie nie będzie. Trudny dylemat. Pytanie praktyczne: czy czasopisma politologiczne używają dziś Pangramu jako filtra? Wiem, że ekonomiści zaczynają wdrażać Refine Bena Goluba jako domyślnego „recenzenta numer 3”. A w politologii, gdzie tak bardzo dba się o prozę — czy Pangram funkcjonuje oficjalnie?

(Informacja dodatkowa: Refine Ink — tworzone przez ekonomistę Bena Goluba narzędzie, w którym model językowy recenzuje pracę naukową: spójność argumentacji, wyniki, kod. „Recenzent numer 3” to akademicki żargon: ten recenzent, który znalazł najwięcej zarzutów.)

Pangram kontra Refine Ink: czym czasopisma powinny się przejmować

Alexander Kustov: Oby nie. Nic mi o tym nie wiadomo. Możliwe, że pojedynczy redaktorzy czy recenzenci robią to prywatnie, na własną rękę. Użycie czegoś w rodzaju Refine Ink to moim zdaniem znacznie lepszy pomysł. Zresztą nie znałem tej informacji — mówisz, że duże czasopisma ekonomiczne oficjalnie wdrażają takie narzędzia?

Aniket Panjwani: Mają już umowy instytucjonalne. Nie pamiętam dokładnie których pism, ale widziałem wpis o redaktorze, który przepuścił pracę przez Refine i poprosił recenzenta, żeby odniósł się do wygenerowanych uwag i ocenił ich zasadność. Chydało się o jedno z pięciu czołowych czasopism.

Alexander Kustov: To byłoby świetne. Szczerze mówiąc, to znacznie lepszy sposób na AI. Zrobię tu jednak zabieg na korzyść przeciwnika i ujmę się za Pangramem, bo rozumiem logikę: śmieci generowanych przez model przybywa wszędzie, ludzie tego nie znoszą i trzeba coś zrobić. Pangram proponuje jedno z rozwiązań — wystawia tekstowi wynik i z jakimś prawdopodobieństwem rozstrzyga, czy pochodzi od człowieka. Tylko że dla nauki, dla ilościowych nauk społecznych, to nie jest to, o co ostatecznie chodzi. Refine Ink natomiast zagłębia się w to, czym praca naprawdę argumentuje i czy jest spójna logicznie — zwłaszcza gdy ma dostęp do danych i kodu replikacyjnego. To zupełnie inna liga. Jako świeżo mianowany redaktor czasopisma uważam, że każdy powinien to wdrożyć. Brzmi to może śmiesznie, ale jeśli się zastanowić, nie ma tu sprzeczności: najlepszym lekarstwem na śmieci z AI są inne narzędzia AI, które te śmieci wyłapują. Masę bezmyślnych, „jednostrzałowych” prac dałoby się w ten sposób odrzucać. Problem leży w bezwładzie instytucjonalnym — jako redaktor statystyczny nie przekonam swojego naczelnika, żeby wprowadził Refine do obiegu. To byłoby za dużo.

Aniket Panjwani: Skąd opór? To ogólna niechęć do AI? Gdyby narzędzie było darmowe, opór by przetrwał?

Alexander Kustov: Najpierw trzeba by za nie zapłacić, prawda? Przy okazji: ekonomiści pobierają opłaty za zgłoszenie prac i to jest naprawdę dobry pomysł, bo odsiewa ludzi, którzy chcą po prostu wrzucić śmieć. W politologii — czego sam się niedawno dowiedziałem — jedno z czołowych czasopism, „Journal of Politics”, pobierało takie opłaty dwadzieścia lat temu, a potem z nich zrezygnowało. Inni redaktorzy topowych pism chcieli wrócić do opłat, ale okazało się, że organizacyjnie i biurokratycznie to koszmar: trzeba zawrzeć umowę z firmą płatniczą i tak dalej. Spora część oporu to po prostu wąskie gardła ludzkie, a nie filozoficzna niechęć do technologii. Choć ta również istnieje. Śledziłeś zapewne dyskusję o kryzysie replikacji i dostępności danych w socjologii — fascynująca sprawa. Amerykańskie Towarzystwo Socjologiczne ma regulamin, który zakazuje redaktorom żądania od autorów kodu i danych replikacyjnych.

Aniket Panjwani: Argument jest taki, że dyskryminowałoby to badaczy jakościowych — tych, którzy robią wywiady i etnografie i nie mogą udostępnić swoich danych?

Alexander Kustov: To ich uzasadnienie. Szczerze uważam, że się nie broni — można przecież zwolnić z wymogu prace jakościowe, a nadal egzekwować go wobec ilościowych.

Aniket Panjwani: Czy chodzi o to, że etnografowie z powodów prywatności nie mogą udostępniać notatek ani transkrypcji wywiadów, na których opierają wyniki?

Alexander Kustov: Chyba tak — nie jestem etnografem, to poza moją stawką. Ale efekt końcowy jest taki: właśnie wyszła praca I4R o socjologii i okazuje się, że zaledwie 35 procent eksperymentów — randomizowanych i sondażowych, czyli takich, których dane powinny być w stu procentach dostępne dla każdego — ma materiały replikacyjne. Dla mnie to skandal. Nie obchodzi mnie pangramowy wynik tych prac. Nawet gdyby wszystkie w stu procentach były pisane przez człowieka, a tylko około 30 procent udostępniało pliki replikacyjne, to właśnie jest prawdziwy problem. I zakładam po bayesjańsku, że te bez plików mają mniejsze szanse na skuteczną replikację. To martwi mnie bardziej niż pytanie, czy ktoś pisał z AI.

(Informacja dodatkowa: I4R — Institute for Replication — regularnie sprawdza, czy publikowane badania ekonomiczne i społeczne da się odtworzyć.)

Powrót do dydaktyki: zakaz urządzeń i projekt z pełnym AI

Aniket Panjwani: To ma sens, wiele zależy od przypadku. Weźmy choćby dydaktykę: AI-optymalny model nauczania w nowych warunkach może polegać na zakazie AI w zaliczeniach — przynajmniej tych pisanych na zajęciach — a jednocześnie na używaniu AI do oceniania prac. Może to wyglądać na obłudę: nauczyciel korzysta z modeli, a studentom zabrania. Tymczasem wiele narzędzi edukacyjnych rozwija się właśnie w tym kierunku — szybsza, spersonalizowana informacja zwrotna.

Alexander Kustov: To dokładnie mój plan. Powiem zresztą, że jednym z powodów, dla których jestem na bieżąco i zachowuję spokój, jest to, że przez ostatni rok byłem na urlopie naukowym — nie zmagałem się z dydaktycznymi problemami i byłem odporny na frustracje, które przeżywają inni. Rozumiem ich doskonale. Od sierpnia wracam do zajęć i plan jest taki: całkowity zakaz urządzeń elektroniczonych w klasie. Napisałem o tym na Bluesky — połowa ludzi darła mnie na strzępy, a druga połowa podbijała z aprobatą, zdziwiona, czemu ten „AI-booster” chce zakazać laptopów.

Aniket Panjwani: Dla kontekstu: czego będziesz uczył?

Alexander Kustov: Na zajęciach merytorycznych — polityki imigracyjnej oraz wojny i konfliktów — chcę wprowadzić całkowity zakaz elektroniki i egzaminy pisemne w sali: sprawdzian w trakcie semestru, egzamin półroczny, może ustny egzamin końcowy. Tak, zresztą, jak robiło się dawniej i jak nadal się robi w niektórych krajach europejskich. Są ciekawe warianty: niektórzy stosują pracę domową — esej, przy którym można użyć AI — a potem ustne odpytanie na zajęciach, gdzie student musi wykazać, że rozumie własny argument. Można to łączyć. Nie zdecydowałem jeszcze do końca, wszystko jest w ruchu. Ale klasa, którą prowadzę jesienią — statystyka i ekonometria, gdzie uczę R i rachunku prawdopodobieństwa — bez komputerów się nie obejdzie. Tu planuję rozdzielenie mentalne i fizyczne: wykłady bez żadnych urządzeń, na których przyswaja się materiał, i osobne zajęcia laboratoryjne, gdzie studenci próbują rzeczy w R — albo w Stata, jeśli ktoś woli. A projekt końcowy? Tutaj zezwolę na AI w pełni. Chcę, żeby zrobili coś fajnego i kreatywnego z danymi — niech znajdą w sieci zbiór danych i coś z niego wyciągną. Ale zanim to zrobią, muszą poznać podstawy na własną rękę: rozumieć, czym jest regresja. Nie będę nikogo zmuszał do odwracania macierzy ręcznie — politologia, o ile wiem, nigdy tego nie robiła, choć ja na studiach musiałem — ale zrozumienie, jak regresja działa, jest warunkiem, zanim ktokolwiek odpali funkcję lm w R albo poprosi o to agenta.

Z dydaktyką wciąż nie mam rozstrzygnięcia. Wiem tylko, że ważne jest, żeby uczyć rzeczy „na twardo”. I tu mocno się różnię od Tylera Cowena — człowieka, którego w większości spraw szanuję i którego ostatni występ TED był naprawdę treściwy. Nawet jeśli prawdą jest, że niemal każdy w karierze będzie używał tych narzędzi, to jeszcze nie przesądza, że uniwersytet jest najlepszym miejscem, żeby ich używania uczyć. Na zajęciach o migracji czy konfliktach nie mam czasu tłumaczyć studentom mojej konfiguracji — ktoś inny musi się tym zająć, a uczelnia musi zdecydować: jakiś ogólnouniwersytecki przedmiot o kompetencjach AI. Szczerze? Nie mam pojęcia, jak to zrobić. Wiem tylko, że te sprawy trzeba rozdzielić i upewnić się, że studenci uczą się fundamentów, zanim zaczną zlecać je agentom.

Aniket Panjwani: Bardzo ciekawe. Rozmawiałem w zeszłym tygodniu ze Scottem Cunninghamiem — ekonomistą, autorem znanego podręcznika wnioskowania przyczynowego — i miał podobne podejście: on AI po prostu nie uczy. Studenci sami będą chcieli i sobie poradzą, więc on uczy całej reszty. A wracając do zadania z R: kazalibyś im pisać kod ręcznie? Czy zrozumienie całej składni R jest ważne?

Alexander Kustov: Prawdopodobnie nie. Kiedy prowadziłem tę klasę ostatnio, jakieś dwa lata temu, akurat wyszły ChatGPT 3.5 i 4. Bałem się, że zadania domowe stracą sens, bo każdy odpali czatbota. Obniżyłem więc ich wagę w ocenie końcowej — sens był taki: musisz się tego nauczyć, żeby zdać egzamin. I nie musi to być pisanie odręczne. Wystarczy pracownia komputerowa bez internetu albo twoja obecność, która usuwa pokusę otwierania czatu. Nie trzeba tu nadzwyczajnej pomysłowości — niektórzy właśnie proponują takie offline’owe pracownie. Uwaga praktyczna: kaligrafia studentów jest już tak marna, że ciężko odczytać ich pismo. Sensowniej, żeby pisali egzaminy na komputerze — bez dostępu do sieci. Nie musimy skakać z jednej skrajności w drugą. Ja sam nie pamiętam już wszystkich komend do wykresów w ggplot; łatwiej je sprawdzić albo poprosić agenta. Ale znajomość podstaw — umieć zacząć samemu, zbudować prosty model — jest kluczowa, bo tylko wtedy potrafisz ocenić, czy to, co wypluła maszyna, ma sens. I tu dochodzimy do sedna całej sprawy.

Weryfikacja to jest właśnie sedno i główny powód mojego sceptycyzmu wobec Pangramu. Detektor zleca na zewnątrz najważniejszy krok — weryfikację — jednemu procentowemu wynikowi „człowiek czy maszyna”. A mnie nie obchodzi, czy coś powstało w maszynie; chcę wiedzieć, czy to prawda. Pangramowy wynik o prawdziwości twierdzeń nie mówi absolutnie nic.

Warsztat badawczy: subskrypcje, przewodniki stylu, weryfikacja

Aniket Panjwani: To dobre miejsce na zwrot akcji, bo jestem bardzo ciekawy: robisz ilościową politologię i używasz narzędzi agentowych do analiz. Jak u Ciebie wygląda weryfikacja? Czy to wąskie gardło? Używasz AI także do sprawdzania, czy to zadanie w całości dla człowieka?

Alexander Kustov: Dobre pytanie. Zacznę od zastrzeżenia: przez ostatni rok nie robiłem zbyt dużo badań — urlop naukowy zajął mi rzeczami publicznymi: podcastami, Substackem. Ale mam sporo projektów z współautorami, w których funkcjonuje potok pracy oparty na AI. W praktyce sprowadza się to do przejścia po kodzie i upewnienia się, że nie ma oczywistych błędów. Można oczywiście bardziej wyrafinowanie — Scott tak robi: ma różnych agentów; możesz poprosić Codexa, żeby zweryfikował to, co zrobił ChatGPT albo Claude; możesz przeprowadzić tę samą analizę w R i w Stata i porównać wyniki. Dróg jest wiele. Ale na koniec dnia musisz umieć zweryfikować to sam — jako człowiek i specjalista w swojej dziedzinie. Zdarza się odruch: „skoro i tak wszystko muszę sprawdzać sam, to po co komu AI?”. Tymczasem obiektywnie sprawdzanie zajmuje mniej czasu niż wymyślanie wszystkiego od zera — w większości przypadków. Dlatego opłaca się mieć pierwszą wersję — szkic, pierwszy wykres, pierwszą analizę — zrobioną przez model, na podstawie procedur, które już znasz. I bardzo dużo zależy od tego, czym się zajmujesz. Ja robię głównie badania sondażowe; rzeczy, którymi zajmuje się Scott — różnice w różnicach i tym podobne — mogą być mi zupełnie nieprzydatne. Każdy potrzebuje innych barier bezpieczeństwa. Ale zasada — ekspert weryfikuje sam — jest niezmienna.

Aniket Panjwani: Czyli jednak używasz narzędzi agentowych na co dzień. Opowiedz, jakich i do czego.

Alexander Kustov: Owszem, do praktycznie wszystkiego — tylko nie mam jednej ustalonej, wyrafinowanej procedury. Konfiguracja jest prosta: płatne subskrypcje Codexa i Claude Code. Claude za 200 dolarów miesięcznie, Codex za 100. Prawdopodobnie nie muszę tyle płacić za Claude’a — to zresztą Ty mnie prawie przekonałeś, żeby zejść na tańszy plan. Płacę z budżetu badawczego, który kiedyś się skończy, i uważam to za bardzo dobry wydatek. Przekonanie informatyków na uczelni było żmudne — argumentowali, że przecież mamy instytucjonalną subskrypcję GPT, a wiele uczelni ma Copilota. To absurd. Moja teza brzmi dziś tak: nieskorzystanie z tych narzędzi przez ilościowego badacza to zaniedbanie. A brak płatnej subskrypcji — tym bardziej, zwłaszcza na uczelni badawczej klasy R1 w kraju anglojęzycznym.

(Informacja dodatkowa: R1 to w klasyfikacji Carnegie najwyższa kategoria amerykańskich uczelni badawczych.)

Taką subskrypcję da się opłacić nawet bez grantu, bo daje rzeczy, których nie zapewni ci żaden asystent badawczy, choćby kosztował dużo. Poza tym mam rozbudowane przewodniki stylu i pliki konfiguracyjne — agents.md, CLAUDE.md — i to jako całych folderów połączonych ze sobą; to zresztą od Ciebie się nauczyłem, że to nie jeden plik, tylko ich zestaw. Ostatnio prowadziłem na przykład warsztaty o używaniu AI do działań publicznych. Przyjmijmy, że masz gotową, opublikowaną pracę i chcesz ją wypromować. Możliwości jest mnóstwo: propozycja tekstu do dużego dziennika, jak „Washington Post”; prezentacja; przygotowanie do wywiadu. Wszystko to da się próbować „na jeden strzał” w zwykłym czacie — ale ostatecznie musisz mieć poważne bariery bezpieczeństwa. Mam na przykład bardzo szczegółowy protokół weryfikacji cytowań. Halucynacje to wciąż realny problem. Nie spotkałem się z nimi w GPT-5 Pro, ale nigdy nic nie wiadomo, a czasem nie da się sprawdzić dosłownie wszystkiego — coś zawsze może umknąć.

Aniket Panjwani: Co to za protokół weryfikacji cytowań?

Alexander Kustov: Zrobię tu coś zabawnego. Kiedy o tym wspominałem na Bluesky, ludzie się ze mnie naśmiewali: „żeby zmniejszyć halucynacje, poproś AI, żeby nie halucynowało”. Bawi ich to, ale w tym pomyśle jest metoda. Większość prac ma DOI — czyli stały adres w internecie. Możesz więc polecić agentowi: każde cytowanie, które dodajesz, musi mieć działający DOI; wypisz go. Sama prośba, żeby agent wypisywał rzeczy na ekran, zmniejsza szansę, że coś pójdzie nie tak. Potem możesz DOI krzyżowo sprawdzić w Google Scholar albo innym źródle. Gdy masz potwierdzenie z dwóch niezależnych miejsc, prawdopodobieństwo halucynacji jest bardzo niskie. Przynajmniej mnie się to dotąd sprawdzało, choć wiem, że inni nadal mają problemy. Może to ostrożność przesadna, ale chciałem mieć pewność, że wszystko, co piszę, jest zweryfikowane.

Aniket Panjwani: Czy ścieżka, którą zmyślone pozycje wkradają się do pracy, wygląda tak: nie zaglądasz do oryginału, prosisz GPT Pro o radę, w odpowiedzi dostajesz przypisy, część z nich to nieistniejące prace — i wklejasz je do tekstu publicznego?

Alexander Kustov: Dokładnie. Mnie się to nie zdarzyło, ale wielu ludziom tak — a zatem robią coś nie tak. Ciekawy wariant tego problemu: istnieje mnóstwo czasopism drapieżnych publikujących śmieci z AI, które już zawierają zmyślone przypisy — i te pozycje są już w Google Scholar. Jeśli Twój protokół polega wyłącznie na sprawdzaniu w Scholarze, istnieje ryzyko, że system wyciągnie właśnie taką nieistniejącą pracę. To duży problem. Moim zdaniem zmyślone przypisy nie mają stałych DOI — i właśnie wymóg DOI powinien to rozwiązać. I jeszcze jedno, czego dowiedziałem się od profesorów humanistyki: oni często nie znają i nie używają DOI. Wpisują przypisy ręcznie i najwyżej szukają ich w wyszukiwarce. U nich ryzyko halucynacji cytowań jest zatem znacznie większe.

Aniket Panjwani: Mam własne podejście do tego problemu — napiszę o nim wkrótce. W skrócie: pracuję cały czas w agencie kodującym i mam zapisaną procedurę (tzw. skill), która zarządza źródłami. PDF-y każdej pracy, którą czytam albo rozważam, fizycznie leżą w moim repozytorium. Prowadzę bazę SQLite z całą informacją bibliograficzną. Jeśli praca nie jest w moim repo — nie będzie cytowana. Na tym poziomie problem halucynacji znika w ogóle. Druga kwestia to zmyślone cytowanie wewnątrz pracy: model potrafi przypisać tekstowi coś, czego w nim nie ma. Tworzę wiki wiedzy w stylu Karpathy’ego…

(Informacja dodatkowa: Andrej Karpathy, znany badacz AI, popularyzuje osobiste bazy wiedzy w formacie wiki; niezależnie wielu badaczy doszło do podobnych pomysłów.)

…Zanim Karpathy to nazwał, mnóstwo ludzi robiło podobne rzeczy. Przykład: grzebałem w kolumbijskim systemie estrato — mieszkaniom przypisuje się tam klasy według jakości, od których zależą podatki od nieruchomości i dopłaty do usług komunalnych. Pobrałem mnóstwo rządowych dokumentów do mojego systemu cytowań, a w procedurze badawczej wpisałem regułę: każdy dokument wiki musi podawać konkretne numery stron, w miarę możliwości konkretne wiersze. To daje mi mechanizm: czytam artykuł wiki wygenerowany przez model i mogę sam go zweryfikować. Tak właśnie obchodzę problem — wszystkie źródła mam lokalnie. Gdybym miał cytować twój tekst z Substacka, po prostu bym go pobrał; ląduje u mnie na dysku i w systemie cytowań. I po sprawie.

Alexander Kustov: Robiłem coś podobnego przy kilku bardziej akademickich tekstach. Problem w tym, że przy dużej liczbie przypisów te pliki zajmują mnóstwo miejsca — zapełniłem Dropboksa, w którym trzymam repozytoria, i musiałem z tym skończyć. Ale przy rzeczach najważniejszych — dysk zewnętrzny i proszę bardzo. To naprawdę dobry pomysł. A rzecz, o której wspomniałeś, jest moim zdaniem jeszcze większym problemem: ludzie martwią się spektakularnymi zmyślonymi przypisami, a mniej tym, że prace bywają cytowane nieadekwatnie. Widziałem to na własnym przykładzie, jeszcze z wcześniejszymi modelami. Promowałem książkę, która wyszła w zeszłym roku — napisałem ją, zanim AI zawitało do nauki, więc znam ją na wylot. Prosiłem ChatGPT o rozmaite streszczenia dla różnych odbiorców i zauważyłem — to było jeszcze przed agentami — że model rozmywał mój argument i dopasowywał go do konwencjonalnej mądrości. Da się to zrozumieć, ale jest ciekawe. Zawsze musiałem poprawiać: nie, ja twierdzę coś przeciwnego. Nie wiem, czy ten problem już rozwiązano. Nieadekwatne cytowanie jest po prostu częstsze niż zmyślone. I dodam: to nie jest problem z istoty „AI-owy”. Ludzie robili to latami — akademicy czytali abstrakty i cytowali prace podług tytułu i streszczenia, nie wnikając w niuanse. Skutki widać w każdym profilu Google Scholar: otwieram przypadkowe cytowanie moich prac i moje szacunki są takie, że co najmniej 20–30 procent cytujących mnie nie oddaje mojego argumentu. To jest większy problem. Zapewne istnieje zautomatyzowane rozwiązanie — i widzę, jak dobrze zbudowane i odpowiedzialne systemy AI mogą być w tym lepsze od ludzi.

Aniket Panjwani: Spodziewam się, że Refine w swoim pakiecie narzędzi dla akademików w końcu coś takiego zaproponuje. Aha — dopowiem i zaraz cofnę: barierą jest to, że prace nie są w otwartym dostępie. Żeby system sprawdził, czy cytujesz adekwatnie, musiałbyś sam wgrać te prace. Wykonalne, ale brak open access to komplikuje.

Alexander Kustov: To zresztą kolejny argument, żeby trzymać prace lokalnie — masz pewność, że system do nich dotrze. I niekoniecznie jako PDF-y: warto przerabiać je na pliki TeX albo Markdown, żeby były bardziej czytelne dla maszyn.

Aniket Panjwani: Idealnie byłoby, gdyby każda praca ekonomiczna leżała w arXivie. Niestety nie leży.

Reakcje środowiska: skandal publicznie, pytania prywatnie

Aniket Panjwani: Chciałem jeszcze zapytać o Twoje eseje. Przeczytałem tę trzyczęściową serię „Academics Need to Wake Up on AI” — bardzo mi się podobała i w chwili publikacji zgadzałem się praktycznie ze wszystkim. Jak przyjęło się to w Twoim środowisku? Zauważyłeś, że ludzie przez to sięgają po AI?

Alexander Kustov: Mogę wskazać konkretne przypadki, choć trudno mi o liczby. Zachęciłem do wypróbowania tych narzędzi chyba setki osób. Ale wiesz, jak to działa: rozmawiasz z kimś o Codexie i Claude Code, ten przytakuje — a potem okazuje się, że w głowie wciąż ma zwykłego czatbota. Trzeba po prostu pójść do kolegi do gabinetu, zainstalować mu to, otworzyć aplikację i przy nim coś zrobić. Ludzie dziwnie niechętnie wypróbowują nowe narzędzia, kiedy już mają swój utarty tryb pracy. Ale o tyle, o ile próbują — rzadko spotykam kogoś, kto wypróbował i nie był pod wrażeniem. Refine Ink to dobry przykład. Osobiście uważam, że pewnie zawyżają cenę — to nie powinno kosztować pięćdziesięciu dolarów, skoro w tokenach to kilka, i istnieje mnóstwo systemów open source robiących podobne rzeczy. Ale widziałem ludzi nawróconych z dnia na dzień: wrzucili swoją pracę — pierwsza jest za darmo — dostali najlepszą recenzję w życiu i już. Albo sprawa, o której dużo mówi Scott: narzędzia robią piękne prezentacje — a prezentacje to chleb powszedni konferencji. Ludzie są zauroczeni i opór jest niewielki. Niektórzy wciąż argumentują, że slajdy trzeba robić samemu, bo dopiero wtedy myśli się o pracy — bywają to dobre argumenty, ale jeśli robisz coś po raz setny i tylko dostosowujesz slajdy do nowej publiczności, użycie dużego modelu to dla mnie oczywistość.

Ale krytyki też było mnóstwo. Co ciekawe, na Bluesky — gdzie skupia się większość publiczności niechętnej AI — wszystko, co napisałem, było dla kogoś skandaliczne. I właśnie tam dostaję mnóstwo prywatnych wiadomości z pytaniem o moją konfigurację. Ludzie nie wystąpią publicznie w mojej obronie — większość unika konfliktu, nie każdy ma etat, nie chcę nikogo zawstydzać — ale zdarza się, że dokładnie ci sami ludzie, którzy publicznie piszą o mnie przykrości albo żądają mojej dymisji, odsyłają mi wiadomość: „a pokażesz swoje prompty?”.

Aniket Panjwani: Zabawne, że w politologii i humanistyce istnieje piętno, a w ekonomii nie. Choć szczerze — nie wiem, jaka część ekonomistów używa narzędzi agentowych. Moje spostrzeżenia są pewnie przekrzywione, bo zarażam tym przyjaciół, a z ich wydziałów słyszę, że młodzi praktycznie wszyscy — każdy, kto robi pracę empiryczną — już ich używa. Ale nigdy nie było mowy o żadnym piętnie.

Alexander Kustov: Widziałeś może to badanie Anthropic z marca? Trzeba je przyjmować z ostrożnością, ale ekonomiści rzeczywiście wyprzedzali — około 30 procent wobec 20 procent średniej; politologia tuż za nimi. Moim zdaniem największy problem politologii polega na tym, że jesteśmy „pomiędzy”. Mamy podspecjalność teorii politycznej, która jest w istocie filozofią — szanuję tych ludzi, ale nie rozumiem, czemu instytucjonalnie siedzą w politologii. I te podziały wokół AI nakładają się na dawne podziały na badania ilościowe i jakościowe. W Europie — w politologii i socjologii, w ekonomii już mniej — od zawsze istnieje podział na pozytywistów i niepozytywistów. Ci drudzy nie wierzą, że zbierając i analizując dane, można cokolwiek sensownego poznać o świecie. Dla mnie to niewyobrażalne, ale tak jest — i oczywiście ci ludzie nie będą dbać o wyrafinowane protokoły weryfikacji w Codexie, bo w ich oczach cała ta działalność nie ma sensu. Ci akurat gromadzą się na Bluesky. Dochodzi jeszcze jedno: mimo ogromnych różnic w tym, czym ludzie się zajmują, instytucjonalnie wszyscy nosimy ten sam tytuł i mamy z grubsza to samo stanowisko. Dlatego rozmijamy się w dialogu. Ktoś od literatury porównawczej, mówiąc, że pisanie z AI powinno być zakazane, może mieć rację — w swoim kontekście. Ale to nie ma nic wspólnego z tym, co robimy my. A ponieważ wszyscy funkcjonujemy w tym samym ekosystemie, a uczelnie muszą ustanawiać reguły dla całej szkoły, robi się bardzo skomplikowanie.

Notre Dame: postdok z AI w wymaganiach i katolicki kontekst

Aniket Panjwani: To logiczne. Dwa pytania o Notre Dame: jak u Was wygląda adaptacja tych narzędzi na wydziale? I drugie — doktoranci: używają narzędzi agentowych? Uczysz ich tego?

Alexander Kustov: Zacznę od tego, że w Notre Dame jestem dopiero od stycznia, więc doktorantów jeszcze nie prowadzę. Właśnie zatrudniłem pierwszego postdoka i będę zatrudniał kolejnych — i byłem chyba jednym z pierwszych politologów, którzy wpisali biegłość w narzędziach agentowych wprost do wymagań na postdok. Dla wielu ludzi to był skandal. Ciekawostka: w otrzymanych zgłoszeniach — a dostałem ich mnóstwo — zaledwie około 30 procent wspomniało cokolwiek o AI. Winne jest właśnie piętno: część osób nie była pewna, czy w ogóle wspominać. Rozumiem to — kiedy na studiach doktoranckich jedni profesorowie mówią ci „używaj”, a inni „nie waż się”, łatwo o paraliż. Gdy wrócę na kampus, będę na pewno pracował z postdokami i doktorantami tymi narzędziami — wszyscy będziemy używać ich odpowiedzialnie i innych zachęcać. Z moich kampusowych spotkań widzę, że ludzie powoli po nie sięgają; być może fakt, że jestem w Notre Dame, trochę pomaga. A Notre Dame to zresztą osobna historia: duża uczelnia katolicka, a Kościół katolicki robi teraz bardzo dużo w obszarze AI. Czytałeś nową encyklikę papieża? Ja ją przebrnąłem — fragment o AI jest gdzieś w środku — i uważam ją za niezwykłą i całkiem postępową, jak na przywódcę rzekomo jednej z najbardziej konserwatywnych instytucji świata.

(Informacja dodatkowa: papież Franciszek poświęcił sztucznej inteligencji encyklikę „Antiqua et nova” ze stycznia 2025 r.)

Kościół robi teraz dużo zarówno w kwestii migracji, jak i AI — a ja zajmuję się jednym i drugim, więc jestem zadowolony. Z rozmów z kolegami wynika jeszcze coś ciekawego: studenci w Notre Dame, może przez tę katolicką tkankę, są bardziej skorzy do trzymania się reguł i częściej powstrzymaliby się od ściągania z AI, niż bywa na sąsiednich uczelniach. Sam jeszcze nie prowadziłem tam zajęć, więc nie wiem, ale mam nadzieję, że to prawda — nie chce mi się z tym walczyć.

Normy i tak się zmienią — warto przyspieszyć

Alexander Kustov: Adaptacja idzie powoli, ale nieuchronnie. To kwestia norm społecznych: widzisz, że koledze narzędzie się sprawdza, ktoś pokaże ci „magiczną sztuczkę” — prezentację albo coś, co wcześniej było niewykonalne — i sam się przekonujesz. To kwestia czasu i układu zachęt. Jeśli coś da się zrobić dużo szybciej — dobrze czy źle — ludzie będą to robić, nawet jeśli tego zakaziesz. Dlatego rozmaite wysiłki, żeby ścigać używanie AI, także w czasopismach — nawet podejmowane w dobrej wierze — i tak się nie powiodą. Ja chcę po prostu przyspieszyć ten okres przejściowy, w którym normy są niejasne. Bo tak czy inaczej za parę lat będziemy ich używać wszyscy. Za parę lat większość prac w ilościowych naukach społecznych powstanie z jakimś udziałem AI — i nikt nawet nie zada sobie pytania, żeby przepuszczać je przez Pangram. Dziś niektórzy to robią i jest to moim zdaniem błąd.

Aniket Panjwani: Bardzo mnie ciekawi, jak nauki społeczne będą wyglądały za trzy, pięć lat. Nie mam dobrej odpowiedzi.

Alexander Kustov: Niejasne, jak cały świat będzie wyglądał. I jeszcze jedno, o czym dużo myślę: wiele z tych obaw jest bardzo zaściankowych. Ludzie martwią się, co będzie z postępowaniami o etat — a przecież etatu może w ogóle nie być za dwadzieścia lat. Piszę o AI w akademii tylko dlatego, że tu jestem i mam coś wartościowego do powiedzenia, ale próbuję pamiętać, że świat istnieje też poza uczelnią. Produktywna debata powinna dotyczyć tego, co robić ze studentami: Tyler Cowen i inni uważają, że trzeba uczyć ich posługiwania się AI, bo właśnie tego będą używać; ja myślę, że jest wartość w nauczaniu podstaw. Trzeba to rozstrzygnąć — pewnie różnie w różnych dziedzinach i kontekstach — i nie będzie łatwo. Ale o tym powinniśmy rozmawiać, nie o tym, czy wprowadzać Pangram. To destrukcyjne i bezowocne. Taki mój pogląd.

Aniket Panjwani: Rozmawiałem z jednym ekonomistą, który miał zdolnego, bystrego studenta jako asystenta badawczego. Problem w tym, że chłopak regularnie przynosił efekty wygenerowane przez AI zgodnie z ustaleniami — ale było widać, że sam nie zweryfikował pracy: niektóre błędy standardowe wyglądały podejrzanie, a on najwyraźniej nie rozumiał, co zostało zrobione. I tu szersza kwestia: wiedza ludzka narasta warstwami, a niektórych poziomów abstrakcji po prostu przestajemy przemyśliwać. Większość osób używających Staty czy R nie umie udowodnić centralnego twierdzenia granicznego, na którym opierają się błędy standardowe; ja nie wiem nic o asemblerze — wiem, że istnieje i że kompilatory mają do niego jakiś stosunek. I żeby dać Tylerowi jego należność: nie wiadomo, czy rzeczy, które dziś uważamy za wymagające głębokiego zrozumienia, nie są oddalone o jeden–dwa modele od przejścia na kolejny poziom abstrakcji.

Alexander Kustov: Nie oczekuję, żeby moi studenci potrafili wyprowadzić centralne twierdzenie graniczne — chcę, żeby wiedzieli, że istnieje, i rozumieli jego intuicję. Zwłaszcza przy badaniach sondażowych, którymi się zajmuję, to kluczowe. I nie jest to wybór „albo–albo”. Kiedyś zmuszano do odwracania macierzy ręcznie przy regresji — dziś nikt tego nie robi i nic się nie stało. Ale zrozumieć koncepcyjnie, jak działa regresja, trzeba — zanim użyje się funkcji lm albo poprosi agenta. I nie u każdego w tym samym stopniu: na wstępnym kursie statystyki dla licencjatów nie oczekuję, że ktokolwiek w życiu przeprowadzi własną analizę danych. Chodzi o narzędzia do oddzielania faktów od fikcji: żeby patrząc na wykres w „Washington Post” — albo prosząc dziś agenta o wykres — umieli ocenić, czy wygląda wiarygodnie. Czasem się pomylą, ale powinni nabrać doświadczenia w wyłapywaniu sygnałów ostrzegawczych: że oś wygląda dziwnie, że w danych jest wzór, który nie ma sensu. Kto zna te narzędzia, przesiedział na zajęciach i zrobił coś samodzielnie — „samodzielnie” znaczy: wpisał komendy w R własnoręcznie, a nie zlecił agentowi — ten ma umiejętność wartościową. Może za dziesięć lat przestanie być. Na razie jest coś, co warto studentom dać.

Aniket Panjwani: Choć czyszczenie danych to niewdzięczne zajęcie, którego automatyzacja cieszy — pisząc kod ręcznie, myślało się o danych i pytaniu badawczym, i do momentu uzyskania czystego zbioru trzeba było włożyć odpowiednią porcję myślenia. Dziś dostaje się efekt tanio, bez myślenia. Trudny dylemat: dostajesz idealnie czysty zbiór i musisz jakoś nadrobić myślenie wstecz.

Zasada podpisu: odpowiedzialność za wszystko, co nosi twoje nazwisko

Alexander Kustov: To wszystko sprowadza się do weryfikacji. I doszedłem do jednej ogólnej zasady etycznego używania AI: skoro podpisujesz się pod czymś swoim nazwiskiem, ponosisz pełną odpowiedzialność za wszystko, co ta rzecz robi i mówi. Nie wyłapałeś halucynacji, nie zauważyłeś błędu, który agent popełnił w analizie — to Twoja sprawa. Dokładnie tak samo jak z asystentami badawczymi dawniej: student pisze dla ciebie analizę, może być dobra albo zła, i twoim obowiązkiem jest ją sprawdzić. Z AI jest identycznie. Prawda, że pokusa jest stała i wisi nad nami wszystkimi: klikasz przycisk, dostajesz coś wiarygodnie wyglądającego — i możesz na tym poprzestać, wysłać do czasopisma. Niektórzy podobno tak robią i jest to złe. Ale odpowiedzialność ponosisz ty. Mamy też prymarną ludzką instytucję reputacji: ludziom, którzy robią tak masowo, należy się wykluczenie ze wspólnoty. Z tego samego powodu zrobiłem coś, co wielu zaskoczyło: powiedziałem, że polityka arXivu, który blokuje konta za zmyślone cytowania, była potencjalnie dobrym pomysłem. Wszystko zależy od implementacji. Był też taki niuans: choć mówiono o blokadzie rocznej, z lektury regulaminu wychodziło niemal dożywotnia. Ale jakieś konsekwencje być powinny. Bo nie chodzi o to, czy coś napisała maszyna — chodzi o brak weryfikacji. Identycznie byłoby z asystentem: on może nie halucynować przypisów na sposób modeli, ale narobić mnóstwa innych błędów — a jeśli ty wysyłasz taką pracę na arXiv, odpowiadasz ty. Ta sama zasada powinna obowiązywać wszędzie.

(Informacja dodatkowa: arXiv, największe repozytorium preprintów, zaczęło zawieszać konta autorów przesyłających prace z nieistniejącymi cytowaniami.)

Aniket Panjwani: Słusznie, w zasadzie się zgadzam.

Substack: pisanie publiczne jako paliwo dla badań

Aniket Panjwani: Ostatni temat: Twoje publiczne pisanie na Substacku. Ten rok urlopu spędziłeś w dużej mierze właśnie na nim — a platforma stała się wpływowa także wśród ekonomistów. Wielu z nich zainteresowanych AI czyta regularnie publikacje Alexa Eamosa, a jego esej „What Will Be Scarce?” mocno nastawił debatę o ekonomii AGI. Dwa lata temu taki tekst by nie powstał — proces publikacyjny w czasopiśmie i formalności wokół formalnego modelu wszystko spowolniłyby. Jak oceniasz wartość Substacku dla kariery? Poleciłbyś go młodym badaczom, czy to ryzyko rozjazdu z akademickimi bodźcami?

Alexander Kustov: Teksty Alexa bardzo cenię — jest zresztą spora konkurencja różnych Alexów piszących o AI i poprzeczka jest wysoko. A tak poza tym: właśnie dostałem etat z tenure, więc zawodowe bodźce przestały mnie już obchodzić — robię, co lubię. Ale napisałem kiedyś wpis, w którym argumentowałem, że pisanie publiczne i dobra praca badawcza oceniana pod kątem awansu mogą się wzajemnie zasilać. W tym, czym się zajmuję — opiniach publicznych i polityce — trzeba naprawdę rozumieć poglądy ludzi, z którymi się nie zgadzasz. Jeżdżenie po konferencjach i powtarzanie tych samych tez — nawet opatrzonych regresjami — wiele ci nie da. Zaangażowanie publiczne pomogło mi ogromnie, bo dostaję informację zwrotną od ludzi, od których normalnie bym jej nie dostał. Najbardziej treściwym wystąpieniem w mojej karierze okazał się odczyt w centrum seniorów w Charlotte. Zwykle, gdy opowiadam o swoich badaniach nad zwiększaniem poparcia dla imigracji, nikt nie kwestionuje samego założenia. Tam pierwsza reakcja była jak na seminarium ekonomicznym — dyskusja z samym tytułem slajdu. Starsza pani, około osiemdziesięcioletnia, z aparatem słuchowym, pyta: „A czemu mielibyśmy zrobić imigrację popularną? To bez sensu. Powinniśmy ich wszystkich deportować”. Dla mnie szok. Ale musiałem z tą osobą rozmawiać, wyjaśniać, szukać wspólnego gruntu. Pytam: „A uważa pani, że powinniśmy deportować też tych niemieckich inżynierów?”. „No… nie, może nie”. Nie przeciągnąłem jej w całości na swoją stronę, ale ta rozmowa zmusiła mnie do przemyślenia części mojej pracy. I to się uogólnia: gdy piszesz publicznie i dzielisz się ideami z szerszym gronem — wciąż wąskim: ludźmi aktywnymi w sieciach, nie klientami przydrożnych barów w Wisconsin — bardzo ci to pomaga.

Poza tym dla niektórych formatów Substack to po prostu dobre miejsce publikacji. Teksty publicystyczne, prace koncepcyjne o małej treści empirycznej — czasopisma naukowe ich nie przyjmą albo przyjmą chłodno — a na Substacku mogą być użyteczne. Tak w ogóle zacząłem rok temu: przyjaciel, Alex Nowrasteh z Instytutu Cato, poprosił o gościnny wpis o termostatycznej opinii publicznej — idei, że wyborcy i rząd na zmianę korygują i przekorygowują swój kurs; moim zdaniem bardzo przenikliwej. Zamierzałem ten sam tekst wysłać do czasopisma naukowego: rygorystyczne recenzje, rok–dwa do druku, a gdyby wyszedł, już by nikt nie pamiętał — rozmawialibyśmy wtedy o czymś zupełnie innym. Napisałem dla Alexa, wysłałem, wprowadził kilka poprawek, tekst wyszedł — a następnego dnia zadzwoniła do mnie redakcja „The Atlantic”. Wpływ był natychmiastowy. To uzależnia. Można powiedzieć: „to mniej rygorystyczne, każdy może opublikować cokolwiek” — ale to sytuacja rynkowa: napisz coś słabo i nikt tego nie przeczyta, nikt nie zacytuje, nikt nie zacznie obserwować. Nie widzę tu pułapek — jeśli masz coś wartościowego do powiedzenia, zwłaszcza gdy masz zaplecze w postaci akademickiej renomy. Trudno byłoby mi otworzyć Substacka o fizyce jądrowej — nie jestem fizykiem jądrowym. Choć, jak widać, o AI pisać mogłem, z jakiegoś powodu. Mam już rozpoznawalność w badaniach nad imigracją — chciałem ją poszerzyć i dotrzeć do szerszych kręgów. Zdecydowanie polecam. Nie musisz mieć etatu. Nie musisz nawet Substacka — są inne platformy; Substack jest dziś największy, znam ludzi na Medium. I powiem szczerze: skoro jest się w akademii po to, żeby wpływać na świat idei i świat poprawiać, to dziwi mnie, że tak mało osób próbuje. Bryan Caplan zwrócił kiedyś uwagę, że jego wrażeniu mniej niż dziesięć procent ekonomistów w ogóle interesuje się sferą publiczną. A nawet jeśli odniesiesz sukces, publikujesz w „Econometricy” i wywierasz wpływ na dziesięciu czołowych ludzi w swojej dziedzinie — dobrze, ale dla większości to mało satysfakcjonujące. Może akademicy po prostu sami selekcjonują się do bańki; wielu z nas nie jest ekstrawertykami, a to wymaga umiejętności. I tu dochodzimy do mojego najważniejszego punktu: AI ma szansę radykalnie obniżyć koszt zaangażowania publicznego — tego, którego komisje awansowe nie liczą. Kiedyś spędzałeś tydzień nad propozycją tekstu do gazety; dziś możesz ją mieć z pomocą AI w pięć minut, dopracować i sprawdzić, czy działa — a jak nie, zająć się czymś innym. Wad nie widzę. I to może być naprawdę przełomowe.

Aniket Panjwani: To, że pisanie publiczne może uzupełniać badania, warto podkreślić — bo młodzi ludzie na zegarze etatu muszą publikować, publikować, publikować; gdyby Substack miał być substytutem publikacji naukowej, przynajmniej dla nich byłby szkodliwy.

Alexander Kustov: I dodam jedno: ludzie są — jak na razie — od AI lepsi w jednej rzeczy: w wymyślaniu dobrych, ciekawych pytań badawczych. A zaangażowanie publiczne to jeden ze sposobów, by takie pytania zdobywać. Dostałem od ludzi mnóstwo informacji zwrotnej i zacząłem myśleć o problemach, o których wcześniej bym nie pomyślał — i teraz mogę, mam nadzieję, badać je rygorystycznie z postdokiem i laboratorium, które buduję w Notre Dame. To nie jest „albo–albo”. To się może pięknie uzupełniać.

Aniket Panjwani: Świetnie. Alex, dziękuję Ci bardzo za rozmowę — szanuję Twój czas.

Alexander Kustov: Dziękuję za zaproszenie. To była przyjemność.