pull- en get-programma's maken nieuwe verbinding voor elk verzoek

[wandernauta]

De verschillende tkconv-onderdelen die documenten binnenhalen van het internet (tkpull, tkgetxml, ooget, oopull, ocpull, icget) maken voor elke operatie een nieuwe TLS-verbinding.

Beter zou zijn om (aan de server aan te bieden om) de verbinding open te houden, door cli.set_keep_alive(true); aan te roepen en de httplib Client te hergebruiken.

Dit scheelt tijd, bandbreedte, en werk aan zowel de client- als serverzijde.

[berthubert]

Heb je ook gemeten of het uitmaakt en of het ook goed werkt? Heb dit ook overwogen maar weet het niet zo zeker..

[wandernauta]

Het is niet heel makkelijk te zien omdat de meeste lussen ook een sleep-call hebben, en hoeveel het uitmaakt is natuurlijk afhankelijk van allerlei factoren (hoeveel requests totaal, zijn dat kleine of grote requests, hoe druk het is aan de andere kant, wat is de afstand hemelsbreed tot Groningen, hoe is de stand van Saturnus ten opzichte van Pluto, enz enz).

Op dit moment, met mijn dataset, op mijn machine, met mijn netwerkverbinding, voor oppull specifiek, duurt de versie zonder aanpassing:

: ~/Code/tkconv ; time ./build/oppull
Got 67519 external identifiers to look at
Already had 67512 external documents, 7 left to look at
...
Retrieved 0 documents, 0 were present already, 7 errors

real	0m6.667s
user	0m0.334s
sys	0m0.713s

Aangepast met set_keep_alive(true) en hergebruik van httplib Client:

: ~/Code/tkconv ; time ./build/oppull
Got 67519 external identifiers to look at
Already had 67512 external documents, 7 left to look at
...
Retrieved 0 documents, 0 were present already, 7 errors

real	0m1.770s
user	0m0.227s
sys	0m0.277s

[berthubert]

nou dat lijkt de moeite!