Interroger par pages de 25, pas ligne par ligne
Le registre hors ligne ne donne le nom du dirigeant que pour 4,5 % du périmètre. L'API officielle le fournit pour environ 75 % — mais une requête par entreprise, c'est 130 000 appels. En interrogeant par pages de 25, il en faut 5 500. Vingt-quatre fois moins, pour la même donnée.
N’appeler la source surveillée qu’en dernier recours
Google n'est sollicité que lorsque les sources ouvertes échouent, ou pour arbitrer un doute. Le budget par adresse IP passe de 2 000 à 5 000 lignes par jour — la France entière en trois semaines, sur une seule adresse.
La règle qui gouverne tout le reste
La vitesse s’achète en adresses IP, pas en processus
Le mur du passage à l'échelle n'est pas Google : c'est le nombre d'adresses IP disponibles. Chaque IP tient un volume donné par jour, quel que soit le nombre de processus lancés dessus. Mettre seize processus sur une seule adresse ne va pas cinq fois plus vite — ça se fait bannir cinq fois plus vite.
Le dimensionnement machine découle de l'IP, il ne la précède pas : 2 000 lignes par jour, c'est environ trois sessions de navigateur simultanées, soit un petit serveur à deux cœurs par adresse. Le reste est du gaspillage.