Harry Potter e l'analisi di rete in Python (2023)

Conosciamo tutti le reti. Che si tratti di social network come Facebook e Twitter, reti S-Bahn o reti elettriche. Puoi scoprire come visualizzarli in questo articolo.

nodi e spigoli

Se tuquesta serie di postseguito, allora conosci già molte possibilità di visualizzazione dei dati, come grafici a dispersione, boxplot o istogrammi. A seconda della domanda, questi diagrammi sono strumenti eccellenti per scoprire di più sulle relazioni in un set di dati. Ma quali metodi ci sono per rappresentare le interazioni o le relazioni sociali? La risposta sono i grafici! Secondo Wikipedia, aGraficouna struttura astratta che rappresenta un insieme di oggetti insieme alle connessioni che esistono tra quegli oggetti. Gli oggetti sono rappresentati come punti (nodi), mentre le loro relazioni reciproche sono identificate da linee (bordi).

I nodi possono essere cose molto diverse. Amici di Facebook, stazioni ferroviarie, luoghi di produzione o personaggi di un romanzo. Il che ci porta a Harry Potter. Utilizzando la serie di libri su un giovane mago, diamo un'occhiata a come visualizzare il social network di questi personaggi immaginari.

L'obiettivo dell'analisi

Il nostro obiettivo dovrebbe essere quello di visualizzare le relazioni tra i singoli personaggi, in modo tale che sia facile vedere quali personaggi compaiono insieme molto spesso nel romanzo e quali raramente. Per fare questo, guardiamo il testo ed esaminiamo per ogni carattere A quante volte il carattere B viene menzionato entro una distanza massima di X parole dal carattere A. Più spesso i personaggi A e B vengono menzionati insieme, più forte è il loro rapporto reciproco. Esprimiamo la forza del rapporto in una partitura, che indica quante volte i due personaggi compaiono insieme. Il grafico viene quindi distorto dal punteggio in modo tale che i bordi con un punteggio più alto siano più spessi e i nodi con un bordo più spesso siano più vicini tra loro.

Ottieni i dati

Come sempre, abbiamo bisogno prima dei dati grezzi, naturalmente. In questo caso, ciò significa che dobbiamo procurarci i libri (preferibilmente come file di testo) da qualche parte. Niente di più facile di cosìquesta partepuoi scaricare tutti i libri della collana nel formato appropriato. Per semplicità, per ora ci occuperemo solo della Parte 1. Ciò di cui abbiamo bisogno è anche un elenco di personaggi che vogliamo esaminare. Ho creato questo elenco manualmente utilizzando i caratteri fromQuiin un file Excel (e il tedesco Hermione all'inglese Hermionon l'ha fatto). Quindi ora abbiamo sia un file di testo del primo volume di Harry Potter che un foglio di calcolo Excel con tutti i personaggi.

Prepara i dati

Per prima cosa leggiamo entrambi i file nel nostro ambiente di programmazione. Sebbene il libro sia un file di testo, è costituito da codice HTML. Quindi importo il file usando il moduloBella zuppaed estrarre il testo tra ilpre-Tag. È lì che si trova il testo vero e proprio del romanzo.

from bs4 import BeautifulSoupimport pandas as pdwith open(".../Book 1.txt","r",encoding="utf-8") as file: hp1 = bs.BeautifulSoup(file,"lxml")hp1 = str (hp1.find_all("pre")).replace("\n"," ")fig = pd.ExcelFile(".../charaktere.xlsx").parse(0)

L'oggettohp1è costituito da un'unica lunga stringa. I primi 1.000 caratteri del testo hanno questo aspetto.

hp1[:1000]

Diamo un'occhiata ad alcuni dei personaggi.

fico[:25]

Nella colonna Soprannome, ho inserito il nome di ogni personaggio che viene citato più frequentemente (secondo il mio istinto). Abbiamo bisogno di un elenco di parole da cercare nel testo. Ha poco senso usare sempre il nome completo, solo il nome o solo il cognome. Naturalmente, neanche questo approccio è accurato al 100%. Ad esempio, Ron viene spesso chiamato dagli insegnanti come il signor Weasley, ma questi casi verranno ignorati dal nostro programma. Tuttavia, abbiamo una buona approssimazione con l'elenco. E ora faremo quella lista.

char_list = lista(fig.Rufname.str.lower())

Dobbiamo anche formattare il testo del libro in modo da non avere una singola stringa lunga, ma un elenco di singole parole. Per i nostri scopi, ha anche senso rimuovere dal testo tutti i caratteri non alfabetici. Per questo usiamo il moduloRifper le espressioni regolari e quindi dividere la stringa in ogni spazio.

hp1_str_split = re.sub(pattern='\W+', string=hp1.lower(), repl=" ").split(" ")

Il risultato del comando è ora un elenco con 84.449 voci. Diamo un'occhiata alle prime 50 voci.

print(hp1_str_split[:50])

Allo stesso tempo, abbiamo convertito il testo, come l'elenco dei nomi sopra, in lettere minuscole per essere assolutamente sicuri che tutti i nomi vengano rilevati durante l'iterazione sul testo.

Il copione

Per una sceneggiatura funzionante, abbiamo prima bisogno delle coppie di personaggi di cui vogliamo esaminare le relazioni. Ma quante e quali diverse coppie ci sono comunque per la lista dei personaggi? C'è un bel pacchetto Python per questo problemaitertools. Questo ci consente di iterare su tutte le combinazioni di cifre all'interno dello script e quindi calcolare i punteggi. Lo script ha quindi questo aspetto.

from itertools import combinationschar=[]score=[]umkreis=50for paar in combinations(char_list,2): zw_summe = 0 for i in range(len(hp1_str_split)): if hp1_str_split[i]==paar[0]: for k in [x for x in hp1_str_split[i-umkreis:i+umkreis]]: if k == paar[1]: zw_summe+=1 char.append(paar) score.append(zw_summe)df = pd.DataFrame({ "char":char, "score":score})

Per prima cosa definiamo le due listecharEpunto, in cui vengono successivamente scritti la coppia di caratteri e la relativa partitura. Quindi iteriamo sull'elenco delle combinazioni di cifre. Prendiamo come esempio la combinazione Harry e Ron. La sceneggiatura cerca Harry nel testo del libro. Per ogni voce chiamata Harry, cerca entro 50 parole prima e dopo la voce la frequenza con cui viene nominato anche Ron. Per ogni hit, il subtotale (tra_somma) per 1. Infine, l'elencocharuno di tupel(Harry, Ron)espanso e l'elencopuntoper il corrispondente numero di colpi. Infine scriviamo entrambe le liste nel DataFramedf. Diamo un'occhiata alle 10 combinazioni più comuni.

df.sort_values(by="punteggio",ascending=False)[:10]

Harry e Ron sembrano avere il legame più forte tra loro. Inoltre, come personaggio principale del libro, Harry appare in ciascuna delle 10 combinazioni più comuni.

Con ciò, la preparazione dei dati è alle nostre spalle. Con DataFrame ora abbiamo i bordi e i pesi richiesti, di cui abbiamo bisogno per creare un grafico.

Costruisci il grafico

Usiamo il pacchetto per creare e visualizzare il graficoReteX. Per prima cosa generiamo un grafico non orientato vuotoG.

importa retex come nxG = nx.Graph()

Quindi generiamo due liste. Uno con spigoli e uno con pesi. Tuttavia, prendiamo solo combinazioni di cifre che appaiono insieme almeno una volta, cioè hanno un punteggio maggiore di 0.

spigoli = lista(df.loc[(df.score>0)].char)pesi = lista(df.loc[(df.score>0)].score)

Ora possiamo aggiungere gli spigoli al graficoGaggiungere a.

G.add_edges_from(bordi)

E il grafico è fatto. Ora possiamo visualizzarlo, per cui i pesi vengono trasferiti solo all'oggetto qui.

import matplotlib.pyplot as pltnx.draw(G, width=[(weight/2)**0.5 for weight in weights], with_labels=True,edge_color="green", node_size=[(weight*15000)**0.5 for peso in pesi], node_color="grigio chiaro", node_shape="o", font_size=10, font_color="nero", alpha=0.9)plt.show()

Con gli argomenti didisegno()funzione che puoi giocare come preferisci. Spesso devi regolarli manualmente e perfezionarli per rendere il grafico visivamente accattivante.Quitroverai tutti gli argomenti mutabili per la funzione. Il risultato è simile a questo.

È chiaro che Harry è il protagonista del libro, con forti legami con Ron e Hagrid, ma fondamentalmente connesso a tutti gli altri personaggi. In basso a destra l'intera famiglia Dursley (figlio Dudley, padre Vernon, madre Petunia) si riunisce e a sinistra vediamo gran parte della famiglia Weasley (Fred, Percy, George, Charlie) vicini. Anche i caratteri correlati in termini di contenuto nel libro vengono visualizzati raggruppati nel grafico. D'altra parte, puoi vedere quali personaggi non hanno nulla a che fare l'uno con l'altro, come Ginny Weasley e Lily Potter. Tuttavia, non ci potrebbe essere alcuna connessione tra i due se l'intervallo di ricerca sopra definito dovesse essere aumentato da 50 a 250 parole. Al di sopra di una certa dimensione, tutte le figure verrebbero collegate in rete tra loro, ma ciò toglierebbe parte del significato all'analisi dei grafici.

Conclusione

La maggior parte del lavoro per l'analisi della rete in questo caso è stata la preparazione dei dati. Una volta completata la struttura di base, puoi utilizzare NetworkX e poche righe di codice per creare e visualizzare un grafico. Hai un sacco di opzioni per adattare il grafico alle tue esigenze.

In alternativa all'analisi di cui sopra, potresti esaminare le relazioni tra maghi e incantesimi. Quale personaggio usa quale incantesimo particolarmente spesso? Oppure analizzi un altro testo a tua scelta. Le possibilità sono aperte a te. Divertiti a imitare!