Moteurs de recherche libres et decentralisés Seeks, Yacy, seeks-project

download Moteurs de recherche libres et decentralisés Seeks, Yacy, seeks-project

If you can't read please download the document

description

Moteurs de recherche alternatifs, libres et décentralisés : yacy, nutch and seeks Hackpéro GwadaLUG du 7 décembre 2011 by fwix and hnourel (seeks enthusiasts)

Transcript of Moteurs de recherche libres et decentralisés Seeks, Yacy, seeks-project

  • 1.
    • Moteurs de recherche alternatifs, libres et dcentraliss
    • Hackpro Gwadalug 7 dcembre 2011
  • Byfwixandhnourel(seeks enthusiasts)

2.

  • Quel(s) moteur(s) utilisez-vous?

3. Enjeux trouver tous types de ressources :

    • pages web ,
  • 4. forums Usenet , images ,

5. vido , 6. fichiers, 7. etc... Profiler, surveiller, influencer

    • 1 personne
  • 8. 1 organisation

9. 1 pays 10. ... 11. 12. To be or not to be (on google) Google leader toutes catgories: Les risques:

    • Vie prive
  • 13. Censure

14. Profilage des utilisateurs: publicit... La loi amricaine oblige Google transmettre aux services secrets amricains toutes les donnes de leurs utilisateurs quel que soit leur emplacement gographique... 15. Des moteurs libres Yacy

    • Crawler
  • 16. Proxy

17. Java Seeks

    • Mta-moteur de recherche
  • 18. proxy web

19. C+++ scripts python et PHPYacy, Seeks:des moteurs de recherche libres et dcentraliss Ht://Dig, mnogoSearch, Nutch:moteurs de recherche libres, mais non dcentraliss 20.

  • Yacy : par le peuple, pour le peuple
  • Un crawler dcentralis pour la libert d'information
    • pas d'organe central,
  • 21. pas de censure,

22. pas de profiling ou d'enregistrements des donnes utilisateur

  • Le rseauFree World
    • 1,4 milliards de documents
  • 23. + de 600 peer-oprateurs par mois

24. environ 130 000 rsultats par jour.

  • mais aussi : ScienceNet(Institut de Technologie de Karlsruhe), services TOR cachs, rseaux WIFI...

25.

  • Le rseauFree World

26.

  • Les points forts :)
  • Trs simple installer / utiliser
      • multi plateforme (java) : Windows / Mac OS X / GNU Linux...
    • 27. version packag pour Debian, Ubuntu, ...
  • 28. pas besoin de serveur web ni de DB externe

29. interface web de configuration sexy

  • Dcentralis, communautaire et libre
      • pas de chef
    • 30. pas de censure
  • 31. pas de publicit

32. vie prive respecte 33.

  • Les points faibles :(
  • Faible pertinence des rsultats
  • On the Feasibility of Peer-to-Peer Web Indexing and Search(MIT 2003) relative inadquation de l'indexation via P2P (BP, espace disque, index documents / mots cls...)
      • crawler
    • 34. ranking
  • demanderait plus de ressources que disponible
  • http://db.cs.berkeley.edu/papers/iptps03-feasibility.ps

35.

  • Et Seeks facta est...
  • Seeks would not exist if we could believe in Yacy BENIZ
  • http://www.seeks-project.info/site/2011/12/03/what-freedom-in-websearch-truely-means/

36.

  • Seeks, Yacy, des orientations diffrentes...
  • Seeks :
    • filtres collaboratifs
  • Yacy:
    • crawler collaboratif

37.

  • Un mta moteur de recherche libre
  • Seeksagit comme un proxy et adresse ses requtes sur de nombreuses sources :
    • Moteur de recherche :Google, Bing, Blekko, Yahoo, Yauba, Exalead,...
    • Sites spcialiss:Youtube, Dailymotion, Google images, Bing Images, Yahoo Images, Flickr,...
    • Plate-forme de microblogging : Twitter ,Identi.ca,...
  • 38. Plate-forme gnrique Mediawiki, Dokuwiki, WordPress, Redmine,...

39. Formats standards(OpenSearch, RSS, ATOM)

  • puis les rordonne

40.

  • Un moteur de Social search
    • Collaborativering search
    • DHTpour stockage des rsultats (query = key)
    • Curation: amlioration des rsultats selon les liens cliqus (+reject...)

41.

  • Collaboration, confidentialit et libert
    • Privacy: be served anonymously;
    • Freedom to control the results : edit, reject, share, rank ;
    • Freedom to trustwho you search with, who influences your results, .
  • http://www.seeks-project.info/site/2011/12/03/what-freedom-in-websearch-truely-means/

42.

  • Seeks: fonctionnalits utilisateur
  • Dmonstration: https://seeks.avaland.org
    • Types de recherches
    • Rsultats tendus
    • Regroupement par type
    • Mode cluster
    • Recherche Redmine(*)
  • (*)Redmine : gestionnaire web based libre de projets et de code source

43.

  • Seeks: Installation
  • Seekss'installe sur unposte de travailou sur unserveurGNU/Linux Il est packag pour les distributions suivantes :
    • Debian
  • 44. Arch linux

45. Gentoo 46. Ubuntu

  • Sinon pour les autres distributions, il faut rcuprer les sources sur :http://seeks-project.info/wiki/index.php/Download ou faire l'installation l'aide de ce script :
  • http://www.seeks-project.info/seeks/install_seeks.sh

47.

  • Seeks: outils admin. et dv.
  • 2 mthodes d'utilisation de la recherche collaborative :
    • Passive : utiliser seeks comme simple moteur de recherche.
  • 48. Active: utiliser l'API pour enrichir ses requtes et rsultats
  • CurlouSeeks CLI

49.

  • Seeks dmo 2
  • Fichiers de configuration
  • Ajout d'une source Seeks

50. search-engine 51.

  • Seeks: QQ points (trs) forts
    • Open Search compliant
    • Collaborationetconfidentialit
    • Partage des rsultats mme en mode desktop parcross posting
    • soutenu par une entreprise

52.

  • Seeks: QQ points faibles
    • Dispo uniquement pour Unix (point faible ? ;-))
    • Lenteur relative induite par le P2P si bcp de sources
      • (cf Nutch)
    • Ajout de nombreuses sources relativement fastidieux
      • ide : script d'ajout de sources partir d'un fichier OPML

53.

  • Goodies : mycroft.mozdev.org/submitos.html

54.

  • Bilan et perspectives
  • Merci pour votre attention,

55. vous pouvez

  • utilisez nos nodes

56. nous demanderon koudmenpour installer / configurer le votre Gwadalug.org : groupe des utilisateurs de logiciels libres (de|en) Guadeloupe...