pipeline/env-example at master · DataRetrieval/pipeline · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
### General ###################################################################

TIMEZONE=UTC

### PROXY #####################################################################

HTTP_PROXY=http://privoxy:8118
HTTPS_PROXY=http://privoxy:8118

NO_PROXY=

### AWS #######################################################################

AWS_ACCESS_KEY_ID=
AWS_SECRET_ACCESS_KEY=

### SPIDERKEEPER ##############################################################

SPIDERKEEPER_HOST=spiderkeeper
SPIDERKEEPER_PORT=5000
SPIDERKEEPER_USERNAME=admin
SPIDERKEEPER_PASSWORD=admin
SCRAPYD_SERVER=http://scrapyd:6800

### SCRAPYD ###################################################################

SCRAPYD_HOST=scrapyd
SCRAPYD_PORT=6800
SCRAPYD_MAX_PROC=0
SCRAPYD_MAX_PROC_PER_CPU=4
SCRAPYD_POLL_INTERVAL=5
SCRAPYD_KEEP_JOBS=5
SCRAPYD_KEEP_FINISHED=100

### SCRAPY ####################################################################

SCRAPY_FEED_URI=s3://provendatas3/%(name)s/%(time)s.jl
SCRAPY_FEED_FORMAT=jsonlines
SCRAPY_CONCURRENT_REQUESTS=16
SCRAPY_CONCURRENT_REQUESTS_PER_DOMAIN=8
SCRAPY_CONCURRENT_REQUESTS_PER_IP=0
SCRAPY_CONCURRENT_ITEMS=100
SCRAPY_DOWNLOAD_DELAY=0
SCRAPY_DOWNLOAD_TIMEOUT=180
SCRAPY_DNS_TIMEOUT=60
SCRAPY_RETRY_TIMES=100

### PRIVOXY ###################################################################

PRIVOXY_HOST=privoxy
PRIVOXY_PORT=8118
#PRIVOXY_FORWARD_SOCKS=socks5://haproxy:5566
PRIVOXY_FORWARD_SOCKS=
PRIVOXY_FORWARD_HTTP=haproxy:5566

### HAPROXY ###################################################################

HAPROXY_HOST=privoxy
HAPROXY_PORT=5566
HAPROXY_MONITOR_PORT=2090
HAPROXY_MONITOR_USERNAME=admin
HAPROXY_MONITOR_PASSWORD=admin
HAPROXY_BALANCE_ALGORITHM=static-rr

### TOR #######################################################################

TOR_HOST=tor
TOR_PORT_RANGE=1000-1025
TOR_NEW_CIRCUIT_PERIOD=120
TOR_MAX_CIRCUIT_DIRTINESS=600
TOR_CIRCUIT_BUILD_TIMEOUT=60
TOR_HEALTHCHECK_TIMOUT=60

### END ########################################################################