2
Progetto di Sistemi ad Agenti
2012/2013 Peoples:• Michele Carillo• Benedetto Cosentino• Francesco Milone• Sebastiano Porciello• Francesco Raia• Flavio Serrapica• Carmine Spagnuolo
3
Overview
• Architettura e Problematiche progettuali
• TF-IDF
• JUNG
4
Architettura
5
ESNA: Architettura
Obiettivi:• Disaccoppiamento tra Engine di ESNA e la componente di
Visualization• Consentire l’esecuzione da linea di comando e da GUI
permettendo in entrambi i casi di avviare la visualizzazione• Utilizzo della programmazione multi-thread per realizzare il
modello basato su agenti
6
ESNA: Architettura
G
A
A
AA
A
Visualization
• SNA• Util• GUI• AgentBased
Model
ExecutionEngine
SNA
7
ESNA: Architettura-GUI
8
ESNA: Architettura-GUI
9
ESNA: Architettura
Focus su AgentBasedModel e Util• AgentBasedModel:
o Definizione: un sistema di calcolo che utilizza unità specializzate chiamate agenti. Un agente ha uno stato, possiede una competenza, ed è in grado di avviare e reagire agli eventi. A volte tali agenti possono essere anche chiamati oggetti. Un oggetto è un termine generico che comprende un elemento di calcolo e uno stato locale. Esso può essere visto come un concetto o come la struttura tecnica che è alla base del paradigma di programmazione orientato agli oggetti.
o Nella swarm intelligence gli agenti rappresentano singoli individui di un gruppo capace di interagire.
10
ESNA: Architettura
• Focus su AgentBasedModel e Util.
AgentBasedModel:
• Intuizione: dato che gli agenti per i nostri scopi hanno un certo obiettivo e comportano un elevato carico computazionale possiamo mappare ogni agente ad un singolo Thread e mantenere la struttura AgentBased.
• Agent(Interface)o GoogleAgento ForwardAgent
• StateModel
11
ESNA: Architettura
GoogleAgent:
• Thread
• Obiettivo: dato un insieme S di keywords trova k link “utili” da google.com e genera altrettanti ForwardAgent, 0 < k ≤ DELTA_LINKS
• Consideriamo un link “utile” quando non compare in un insieme di link non analizzabili: facebook, twitter, gmail, google, bing, etco GoogleAgent per la verifica sui link utili, utilizza CheckSites presente
nel package Util- CheckSites è una struttura dati che carica N siti web da un file
esponendo il metodo check(url) che in O(1) verifica la presenza del link
12
ESNA: Architettura
ForwardAgent:• Thread - Obiettivo: valutazione della positività e il sentimento del sito
associato alla URL per cui viene creato
• Behaviour:o Calcola X come l’insieme dei link della pagina e T come l’insieme delle
frasi della paginao Se |X|>DELTA_LINKS, calcola X’ come un sottoinsieme random di X tale
che |X’| = DELTA_LINKS, X=X’o Se |T|<DELTA_SENTENCES e |X|>0, sceglie a caso una nuova URL e ripete
il procedimento altrimenti terminao Calcola il valore p=(|X|+|T|*2)/(DELTA_LINKS+2*DELTA_SENTENCES)o Calcola gli insiemi Y risultante dalla sentiment analysis e P dall’analisi
della positivitào Eventualmente aggiunge se stesso alla componente graficao Memorizza I valori di Y e Po Valuta p per ogni link trovato nella pagina al fine di decidere se generare
nuovi agenti per ogni link
13
Search Util
La costruzione del Network prevede che ogni nodo deve eseguire una richiesta all’engine di Google per ottenere dei link.
È possibile procedere in due modi:• Request: eseguire richieste HTTP utilizzando il metodo GET a
www.google.com/search?q=keywords e parsare il risultato al fine di estrapolare i link della pagina. (Negli ultimi mesi Google ha cambiato il layout di recupero dei link rendendolo del tutto dinamico, quindi è necessario valutare tutte le ancore della pagina.)
• API: utilizzare le API fornite dall’engine Google per eseguire le richieste, tali API consentono di ottenere risposta in JSON. (Anche se sono disponibili delle librerie per i più conosciuti linguaggi, tutte in versione beta e alpha.)
14
Search Util
Problemi riscontrati:• Request: presenta, al di fuori di un elevato costo
computazionale, il problema sul limite di richieste eseguibili da un programma. Dopo un certo numero di richieste, anche se intervallate da pause che simulano l’interazione reale di un utente, non è più possibile eseguire richieste dato che si viene inseriti in una black list che non dipende solo da ip e useragent.
• API: presenta un vincolo imposto da google sul numero di richieste che è possibile effettuare in un giorno da un programma che viene identificato da una key-app generata su un account google.
15
Search Util
Once you have enabled billing, you will continue to receive 100 free queries per day. However, you will be billed for all additional requests at the rate of $5 per 1000 queries, for up to 10,000 queries per day.
Soluzioni:• Utilizzare Bing. È stata subito scartata a causa di problemi riscontrati
in entrambe le metodologie:o Request: i nodi devono eseguire una particolare query che
consente di prelevare tutti i link che puntano ad una pagina, se con Google ciò funziona egregiamente, con Bing da risultati sperimentali si nota che non é possibile garantire la correttezza dei risultati.
o API: sono presenti gli stessi problemi di google.
16
Search Util
Soluzioni:• Modificare la semantica delle richieste eseguendo su ogni nodo
normali richieste HTTP per una URL ed estrarre i link dalla pagina che costituiranno i link entranti nel nodo della semantica originale (ATTUALE SOLUZIONE):
o Per eseguire le richieste si utilizza una libreria chiamata Jsoup che utilizzando un semplice client HTTP (ApacheHTTPClient), una volta eseguita una richiesta per una URL, produce un oggetto Document che consente la navigazione della pagina utilizzando la struttura DOM, in questo modo non viene solo semplificata l’estrazione dei link ma anche delle frasi
17
TF-IDF
18
TF-IDF: Term Frequency–Inverse Document Frequency
Term Frequency–Inverse Document Frequency è una statistica numerica che riflette quanto una parola sia importante in un documento:
• La classe che implementava TF-IDF è stata riscritta in Java:o Riutilizzare lo script già esistente in Python implicava creare una
ulteriore classe (sempre in Python) che istanziasse ed utilizzasse la classe TFIDF
o Per poter eseguire uno script Python in Java è necessaria l’aggiunta di numerose classi che offrivano solo un interprete Python per Java.
19
In Python• Costruttore con parametri opzionali:
__init__(self, corpus_filename = None, stopword_filename = None, DEFAULT_IDF = 1.5)
In Java• Costruttore Java:
public TFIDF() public TFIDF(String corpus_filename, String stopword_filename, float idf_default)
• Si introduce una variabile public final static double DEFAULT_IDF = 1.5 ;
TF-IDF: Term Frequency–Inverse Document Frequency
20
In Python• Corpo del costruttore (inizializzazione variabili):
self.term_num_docs = {}self.stopwords = []
In Java• Corpo del costruttore:
term_num_docs = new HashMap<String, Integer>();stopwords = new ArrayList<String>();
TF-IDF: Term Frequency–Inverse Document Frequency
21
In Python• Metodo get_tokens
return re.findall(r"<a.*?/a>|<[^\>]*>|[\w'@#]+", str.lower())
In Java• Metodo get_tokens
Pattern pat = Pattern.compile("<a.*?/a>|<[^\\\\>]*>|[\\w'@#]+");Matcher match = pat.matcher(line.toLowerCase());while(match.find()){
// tmp è un ArrayList<String>();if(tmp.contains(match.group()))
Continue;Else
tmp.add(match.group());}
TF-IDF: Term Frequency–Inverse Document Frequency
22
In Python• Ordinamento decrescente di una lista[Key,element]
sorted(tfidf.items(), key=itemgetter(1), reverse=True)
In Java• Ordinamento decrescente di una lista[Key,element]
TreeMap<String, Double> sortedMap = new TreeMap<String, Double>(tfidf);
con tfidf: HashMap<String,Integer>
TF-IDF: Term Frequency–Inverse Document Frequency
23
In Python• Creazione di un set
tokens_set = set(tokens) #tokens è una lista di Stringhe
In Java• Creazione di un set
HashSet<String> set_words = new HashSet<String>();
TF-IDF: Term Frequency–Inverse Document Frequency
24
In Java• Metodo:
add_input_document
num_docs += 1;String[] words = get_tokens(input_line);int frequency = 0;for(String w : words){
if(term_num_docs.containsKey(w))frequency = term_num_docs.get(w) + 1;
Elsefrequency = 1;
term_num_docs.put(w, frequency);}
In Python• Metodo:
add_input_document
self.num_docs += 1words = set(self.get_tokens(input))for word in words: if word in self.term_num_docs: self.term_num_docs[word] += 1 else: self.term_num_docs[word] = 1
TF-IDF: Term Frequency–Inverse Document Frequency
25
In Python• Metodo
save_corpus_to_file(self, idf_filename, stopword_filename, STOPWORD_PERCENTAGE_THRESHOLD = 0.01)
In Java• Metodo
public void save_corpus_to_file(String destination_corpus_file, String destinatio_stopword_filename, double STOPW_THRESHOLD)
public void save_corpus_to_file(String destination_corpus_file, String destinatio_stopword_filename)
• Introduzione di una variabile:public final static double STOPWORD_PERCENTAGE_THRESHOLD = 0.01;
TF-IDF: Term Frequency–Inverse Document Frequency
26
JUNG:Java Universal
Network Framework
27
JUNG: Java Universal Network/Graph Framework
Framework per la modellazione, l’analisi, e la visualizzazione di grafi:
• Framework object-oriented per ogni tipo di grafo• Open source (Licenza BSD)• Scritto in java • Grafici dinamici
Facilities offerte dal framework:• Vari Layout che permettono di visualizzare il grafo senza
preoccuparsi delle coordinate (x,y) dei vertici• Implementazione di molti algoritmi su grafo, tra cui: Clustering,
Massimo Flusso, Distanza tra due vertici, Page Rank, etc.
28
Visualizzazione Network
• La classe ViewNetwork.java si occupa della visualizzazione del network costruito dalla parte engine. Le scelte architetturali prevedono una netta separazione tra engine e visualization quindi ViewNetwork realmente è un wrapper per la visualizzazione utilizzabile in engine
• Metodi: Init(): inizializza la classe e tutte le componenti. Start(): fa partire il processo di visualizzazione addVert(id): inserisce un nodo da visualizzare addEdge(u, v): inserisce un arco tra il nodo u ed il nodo v stopVisualization(): ferma il processo di visualizzazione Process(): aggiorna la visualizzazione del grafo
29
Visualizzazione Network
Classe ViewNetwork• La classe espone un unico metodo che astrae l’inserimento di
un nodo nella visualizzazione: addGraphicComponent(Agent agent)
• Il metodo prende in input un’istanza della classe Agent e provvede alla creazione di un nuovo nodo e un nuovo arco dal nodo stesso verso il padre
30
Costruzione di un Network
31
Costruzione di un Network
32
Prossimi passi…
Top Related