this post was submitted on 24 May 2025
6 points (100.0% liked)

Forum Libre

1007 readers
82 users here now

Communautés principales de l'instance

Nous rejoindre sur Matrix: https://matrix.to/#/#jlai.lu:matrix.org

Une communauté pour discuter de tout et de rien:

Les mots d'ordre sont : respect et bienveillance.

Les discussions politiques sont déconseillées, et ont davantage leur place sur

Les règles de l'instance sont bien entendu d'application.

Fils hebdomadaires"

"Demandez-moi n'importe quoi"

Communautés détendues

Communautés liées:

Loisirs:

Vie Pratique:

Communautés d'actualité

Société:

Pays:

Communauté de secours:

founded 2 years ago
MODERATORS
[email protected]
[email protected]
[email protected]
[email protected]
6
[Fil quotidien] Discussions du jour (2025-05-24) (jlai.lu)
submitted 1 week ago by [email protected] to c/[email protected]
10 comments fedilink hide all child comments
 

Discutons et de rien :)

you are viewing a single comment's thread
view the rest of the comments
[–] [email protected] 5 points 1 week ago* (last edited 1 week ago) (1 children)

J'ai demandé à chatgpt via duck.ai de me rappeler la formule wget pour télécharger tous les documents pdf proposés sur une page internet.

Il m'a proposé ça :

C'est normal la commande pour ignorer robots.txt ?

Ps : je trouve ça dingue déjà

  1. qu'il le propose
  2. et en plus par défaut (je ne lui avais aucunement spécifié que les documents concernés étaient visés par le fichier robot.txt ; ce n'était d'ailleurs pas le cas)
[–] [email protected] 2 points 1 week ago (1 children)

Assurez-vous d’avoir l’autorisation de télécharger le contenu de la page web en question.

Je ne m’y connais pas du tout, mais n’est-ce pas contradictoire avec le fait d’ignorer robots.txt ?

[–] [email protected] 3 points 1 week ago* (last edited 1 week ago) (1 children)

Pareil que toi, mais ça me semble bien contradictoire. Si je dis pas de bêtises, le document robots.txt est un document non contraignant, c'est plutôt une convention.

Le protocole d'exclusion des robots, plus connu sous le nom de robots.txt, est une convention visant à empêcher les robots d'exploration (web crawlers) d'accéder à tout ou une partie d'un site web.

Les robots peuvent ignorer votre fichier robots.txt, en particulier les robots malveillants qui crawlent les sites à la recherches de vulnérabilités ou d'adresses email

Le fichier robots.txt est un fichier accessible au public, ce qui signifie que n'importe qui peut voir ce que vous souhaitez ne pas faire indexer par les moteurs

https://robots-txt.com/

Ah voilà, j'ai retrouvé le post d'@[email protected] (coucou!) à ce sujet : https://jlai.lu/post/16807807

According to Drew, LLM crawlers don't respect robots.txt requirements and include expensive endpoints like git blame, every page of every git log, and every commit in your repository. They do so using random User-Agents from tens of thousands of IP addresses, each one making no more than one HTTP request, trying to blend in with user traffic.

[–] [email protected] 3 points 1 week ago

Coucou !