pandasとApache Arrowを利用して、ローカル環境でcsvファイルをparquetファイルに変換する方法を記載します。ファイルサイズの小さいものであれば、今回の方法で対応できます。 そもそもparquetとは、 Apache Parquet is a columnar storage format availabl…

windowsのクライアント環境で、Docker Toolboxを利用して、docker環境を作成したときのメモです。 環境情報 Windows 10 Pro Docker Toolbox 18.03.0 Docker Toolbox vs Docker for Windows WindowsでDocker環境を作成するものに、 Docker Toolbox と Docker …

xfsのファイルシステムでは、利用可能なinode数が可変になっています。これ、知りませんでした。ファイルシステムのクラスターサイズ(アロケーションユニットサイズ)内で、inode領域として確保されるサイズ・領域を変更することが可能となっており、これによ…