goodbyegangsterのブログ

SquidのProxyサーバを何年ぶりくらいに構築することになったので、その時の内容をメモしておきます。

環境
インストール
デフォルト設定の確認
キャッシュ機能の無効化
- 1.以下をsquid.confに書く
- 2.squid.confからcache_dirタグをコメントアウト
Squidへの認証処理の追加
接続確認
ログファイル関連
作成されたsquid.conf

環境

Amazon Linux 2
Squid 3.5.20

インストール

何はともあれ、squidをインストールしてこないと始まらないので、インストールします。

$ sudo yum -y install squid
$ sudo systemctl start squid
$ sudo systemctl enable　squid
$ sudo systemctl list-unit-files -t service | grep squid
squid.service                                 enabled

デフォルト設定の確認

squidのコンフィグファイルである /etc/squid/squid.conf を編集して、設定します。まずは、デフォルトファイルの記載の参考に、設定内容を確認していきます。

#
# Recommended minimum configuration:
#

# Example rule allowing access from your local networks.
# Adapt to list your (internal) IP networks from where browsing
# should be allowed
acl localnet src 10.0.0.0/8 # RFC1918 possible internal network
acl localnet src 172.16.0.0/12  # RFC1918 possible internal network
acl localnet src 192.168.0.0/16 # RFC1918 possible internal network
acl localnet src fc00::/7       # RFC 4193 local private network range
acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines

acl SSL_ports port 443
acl Safe_ports port 80      # http
acl Safe_ports port 21      # ftp
acl Safe_ports port 443     # https
acl Safe_ports port 70      # gopher
acl Safe_ports port 210     # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280     # http-mgmt
acl Safe_ports port 488     # gss-http
acl Safe_ports port 591     # filemaker
acl Safe_ports port 777     # multiling http
acl CONNECT method CONNECT

#
# Recommended minimum Access Permission configuration:
#
# Deny requests to certain unsafe ports
http_access deny !Safe_ports

# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports

# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager

# We strongly recommend the following be uncommented to protect innocent
# web applications running on the proxy server who think the only
# one who can access services on "localhost" is a local user
#http_access deny to_localhost

#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
#

# Example rule allowing access from your local networks.
# Adapt localnet in the ACL section to list your (internal) IP networks
# from where browsing should be allowed
http_access allow localnet
http_access allow localhost

# And finally deny all other access to this proxy
http_access deny all

# Squid normally listens to port 3128
http_port 3128

# Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /var/spool/squid 100 16 256

# Leave coredumps in the first cache dir
coredump_dir /var/spool/squid

#
# Add any of your own refresh_pattern entries above these.
#
refresh_pattern ^ftp:       1440    20% 10080
refresh_pattern ^gopher:    1440    0%  1440
refresh_pattern -i (/cgi-bin/|\?) 0 0%  0
refresh_pattern .       0   20% 4320

設定内容を上から順に確認しつつ、必要項目を変更しています。

ACLタグ

通信が発生するIPアドレス、プロトコルをアクセスリストとして定義する箇所ってことでしょうか。

Squid 3.5.19 Configuration File: acl

acl CONNECT method CONNECT の箇所が、何を定義しているか分からなかったので、調べてみました。これはhttps通信時に利用されるconnectメソッドを定義している場所になります。そもそもProxyサーバを利用したWEBアクセスとは、以下の図のようなものとなります。Proxyサーバが代理でDNS名前解決を行い、実際にアクセスしたいWEBサーバとセッションを貼っている訳です。

f:id:goodbyegangster:20181111203225p:plain

Lesson4：HTTPのやりとりを仲介するプロキシを使った流れを知ろう | 日経 xTECH（クロステック）

Proxyサーバが代理として働くために、大元のClientから送られてきたhttp request header内のGET Methodの内容を、Proxyサーバは読むことになります。しかしHTTPS通信の場合、http request header内も暗号化されているため、Proxyサーバは宛先を知ることができません。そこでConnectというMethodを利用します。Connectを利用した場合の通信の流れは、以下の図となります。

f:id:goodbyegangster:20181111203300p:plain

【図解】httpプロキシサーバの仕組み(http GET/https CONNECTメソッド)や必要性・役割・メリットデメリット・DNSの名前解決の順序 | SEの道標

ConnectのMethodは、その名の通りコネクションを貼るだけとなり、実際のデータをやり取りすることはありません。このConnectによりコネクションされたセッションを用いて、大元のClinetとWEBサーバは暗号化されたデータをやり取りすることになります。Proxyサーバは、(当然暗号化されたデータは見れないので、)与えられたデータを横に流すだけとなります。

http_accessタグ

ACLで定義した接続情報に、接続権限（allow/deny）を与える箇所となります。

Squid 3.5.19 Configuration File: http_access

http_access deny to_localhost て何だろと思いましたが、以下とのことです。なるなる。

In other words this blocks attempts to request http://localhost/... on the proxy server via the proxy.

Re: [squid-users] http_access deny to_localhost from Henrik Nordstrom on 2005-01-26 (squid-users)

http_portタグ

Squidが利用するポート番号ですね。

Squid 3.5.19 Configuration File: http_port

cache_dirタグ

Squidでキャッシュされたデータを、ディスクにも保存する場合、利用されることになるディレクトリパスを指定します。ちなみに今回は、キャッシュ機能を利用しないため、コメントアウトしておきます。

Squid 3.5.19 Configuration File: cache_dir

coredump_dirタグ

Squidのコアダンプを、ちゃんと管理したい場合は指定しましょう、って感じでしょうか。

By default Squid leaves core files in the directory from where it was started. If you set 'coredump_dir' to a directory that exists, Squid will chdir() to that directory at startup and coredump files will be left there.

Squid 3.5.19 Configuration File: coredump_dir

refresh_patternタグ

キャッシュに間する設定項目ですね。今回はキャッシュ機能は利用しないので、デフォルトままです。

Squid 3.5.19 Configuration File: refresh_pattern

キャッシュ機能の無効化

今回キャッシュ機能は利用しないので無効化しておきます。手順は公式のwikiに記載されている通りです。バージョンによって異なるようですが、今回のバージョン 3.5.20 では、以下の手順となります。

1.以下をsquid.confに書く

# Squid never cache any response
cache deny all

2.squid.confからcache_dirタグをコメントアウト

デフォルトでコメントアウトされています。

SquidFaq/ConfiguringSquid - Squid Web Proxy Wiki

Squidへの認証処理の追加

Proxyサーバアクセス時にパスワード認証を行いたいので、認証機能を追加しておきます。今回はDigest認証での認証処理を設定します。

1.httpd-toolsのインストール

Digest認証で利用するユーザファイルを作成するために、htdigestコマンドを利用します。htdigestコマンドはhttpd-toolsの中に入っているそうなので、httpd-toolsをインストール。

$ sudo yum install httpd-tools
$ which htdigest
/usr/bin/htdigest

2. htdigestコマンドにて、ユーザファイルの作成

htdigestコマンドのフォーマットは以下となります。

htdigest passwdfile realm username

realmって何だろとググったら、StackOverflowが教えてくれました。パスワードをhashするために利用される名前空間て感じでしょうか。

Anyway, realm denotes authentication domain for chalenge-response. In the case of digest authentication realm value participates in the password hash, that why it is required when storing password files. See http://tools.ietf.org/html/rfc2617#section-3.2.1 for details.

apache - What is realm in htdigest? - Stack Overflow

実際の手順がこちら。ちゃんとハッシュ化してファイルを保存してくれていますね。

$ sudo htdigest -c /etc/squid/password 'MyRealm' 'proxy'
Adding password for proxy in realm MyRealm.
New password:
Re-type new password:

$ sudo cat /etc/squid/password
proxy:MyRealm:19ccdb75564c555fe23d872cd605edcf

3."squid.conf"の編集

作成した認証情報を、squid.confに設定してあげます。設定には、 auth_parmタグ を利用します。

Squid 3.5.19 Configuration File: auth_param

実際にコンフィグに記載した内容はこちらですね。

auth_param digest program /usr/lib64/squid/digest_file_auth -c /etc/squid/password
auth_param digest children 20 startup=0 idle=1
auth_param digest realm MyRealm
auth_param digest nonce_garbage_interval 5 minutes
auth_param digest nonce_max_duration 30 minutes
auth_param digest nonce_max_count 50

それそれのパラメータの意味はこんな感じです。

auth_param digest program
- 認証処理で利用するモジュールと、パスワードファイルのパスを指定
- -cオプションを付与してあげることで、hash化されたパスワードで利用できるようになります
auth_param digest children
- 認証処理のプロセスの最大起動数を設定
auth_param digest realm
- 前段で指定したrealm名を指定
auth_param digest nonce_garbage_interval
- 暗号処理で利用されるノンスの値の、有効性を確認する間隔
auth_param digest nonce_max_duration
- ノンスの値の、最大有効時間
auth_param digest nonce_max_count
- 一度に利用できる最大ノンス値

その他、aclタグとhttp_accessタグで、認証ファイルで指定したユーザを利用できるようにしておきます。

acl digest_ncsa proxy_auth REQUIRED
http_access allow digest_ncsa

proxy_auth REQUIRED とすることで、認証ファイルに登録されている全てのユーザが指定されることになります。

接続確認

最後に接続確認して終了です。パスワード認証の有無にてProxy経由でyahooにアクセスしてみます。今回ProxyサーバをAWS上に作成しているので、Proxyサーバは ip-172-31-46-240.ap-northeast-1.compute.internal となっています。

まずはパスワード無しバージョン。接続できていないですね。

$ curl -I -x http://ip-172-31-46-240.ap-northeast-1.compute.internal:3128 -L https://www.yahoo.co.jp/　 --proxy-digest
HTTP/1.1 407 Proxy Authentication Required
Server: squid/3.5.20
Mime-Version: 1.0
Date: Sun, 11 Nov 2018 07:16:46 GMT
Content-Type: text/html;charset=utf-8
Content-Length: 3618
X-Squid-Error: ERR_CACHE_ACCESS_DENIED 0
Vary: Accept-Language
Content-Language: en
Proxy-Authenticate: Digest realm="MyRealm", nonce="XtfnWwAAAAAwgqqfnVUAADbgkmYAAAAA", qop="auth", stale=false
X-Cache: MISS from ip-172-31-46-240.ap-northeast-1.compute.internal
X-Cache-Lookup: NONE from ip-172-31-46-240.ap-northeast-1.compute.internal:3128
Via: 1.1 ip-172-31-46-240.ap-northeast-1.compute.internal (squid/3.5.20)
Connection: keep-alive

curl: (56) Received HTTP code 407 from proxy after CONNECT

パスワード有りバージョン。ちゃんと接続できますね。

$ curl -I -U proxy:Passw0rd -x http://ip-172-31-46-240.ap-northeast-1.compute.internal:3128 -L https://www.yahoo.co.jp/ --proxy-digest
HTTP/1.1 407 Proxy Authentication Required
Server: squid/3.5.20
Mime-Version: 1.0
Date: Sun, 11 Nov 2018 07:17:36 GMT
Content-Type: text/html;charset=utf-8
Content-Length: 3618
X-Squid-Error: ERR_CACHE_ACCESS_DENIED 0
Vary: Accept-Language
Content-Language: en
Proxy-Authenticate: Digest realm="MyRealm", nonce="kNfnWwAAAAAQ12+fnVUAAAiicQwAAAAA", qop="auth", stale=false
X-Cache: MISS from ip-172-31-46-240.ap-northeast-1.compute.internal
X-Cache-Lookup: NONE from ip-172-31-46-240.ap-northeast-1.compute.internal:3128
Via: 1.1 ip-172-31-46-240.ap-northeast-1.compute.internal (squid/3.5.20)
Connection: keep-alive

HTTP/1.1 200 Connection established

HTTP/2 200
date: Sun, 11 Nov 2018 07:17:36 GMT
p3p: policyref="http://privacy.yahoo.co.jp/w3c/p3p_jp.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"
x-content-type-options: nosniff
x-xss-protection: 1; mode=block
x-frame-options: SAMEORIGIN
expires: -1
pragma: no-cache
cache-control: private, no-cache, no-store, must-revalidate
x-xrds-location: https://open.login.yahooapis.jp/openid20/www.yahoo.co.jp/xrds
content-type: text/html; charset=UTF-8
age: 0
via: http/1.1 edge2561.img.umd.yahoo.co.jp (ApacheTrafficServer [c sSf ])
server: ATS
set-cookie: TLS=v=1.2&r=1; path=/; domain=.yahoo.co.jp; Secure

ログファイル関連

Squidのアクセスログは /var/log/squid/access.log に吐かれます。今回の方法でSquidをインストールした場合(パッケージから入れた場合)、logrotateの設定が自動で入るので、特に考慮は不要となります。以下は、デフォルトのlogrotateの設定です。

$ sudo cat /etc/logrotate.d/squid
/var/log/squid/*.log {
    weekly
    rotate 5
    compress
    notifempty
    missingok
    nocreate
    sharedscripts
    postrotate
      # Asks squid to reopen its logs. (logfile_rotate 0 is set in squid.conf)
      # errors redirected to make it silent if squid is not running
      /usr/sbin/squid -k rotate 2>/dev/null
      # Wait a little to allow Squid to catch up before the logs is compressed
      sleep 1
    endscript
}

作成されたsquid.conf

最終的に出来上がったsuid.confファイルを貼っておきます。

#
# Recommended minimum configuration:
#

# Example rule allowing access from your local networks.
# Adapt to list your (internal) IP networks from where browsing
# should be allowed
acl localnet src 10.0.0.0/8     # RFC1918 possible internal network
acl localnet src 172.16.0.0/12  # RFC1918 possible internal network
acl localnet src 192.168.0.0/16 # RFC1918 possible internal network
acl localnet src fc00::/7       # RFC 4193 local private network range
acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines

acl SSL_ports port 443
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl CONNECT method CONNECT

#
# Recommended minimum Access Permission configuration:
#
# Deny requests to certain unsafe ports
http_access deny !Safe_ports

# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports

# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager

# We strongly recommend the following be uncommented to protect innocent
# web applications running on the proxy server who think the only
# one who can access services on "localhost" is a local user
#http_access deny to_localhost

#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
#

auth_param digest program /usr/lib64/squid/digest_file_auth -c /etc/squid/password
auth_param digest children 20 startup=0 idle=1
auth_param digest realm MyRealm
auth_param digest nonce_garbage_interval 5 minutes
auth_param digest nonce_max_duration 30 minutes
auth_param digest nonce_max_count 50

acl digest_ncsa proxy_auth REQUIRED

http_access allow digest_ncsa

# Example rule allowing access from your local networks.
# Adapt localnet in the ACL section to list your (internal) IP networks
# from where browsing should be allowed
http_access allow localnet
http_access allow localhost

# And finally deny all other access to this proxy
http_access deny all

# Squid normally listens to port 3128
http_port 3128

# Uncomment and adjust the following to add a disk cache directory.
#cache_dir ufs /var/spool/squid 100 16 256

# Leave coredumps in the first cache dir
coredump_dir /var/spool/squid

#
# Add any of your own refresh_pattern entries above these.
#
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320

# Squid never cache any response
cache deny all