[[📒Articles]] > [[📒2021 Articles]] ![[2021-08-15.jpg|cover-picture]] [[JFrog Artifactory]]でプライベートな[[PyPI]]リポジトリを作り、パッケージをpublishしたりInstallしたりしてみました。 ## はじめに 本記事で登場するターミナルの結果は[[Windows]]と[[PowerShell]]を使っています。別のOSを利用している場合はコマンドを置き換えてください。 また、筆者はこの記事を執筆するとき、はじめて[[JFrog Platform]]を使いました。実践経験はなく、間違った情報を書いているかもしれません。その場合は[Twitter]などでフィードバックいただけると大変助かります😄 [Twitter]: https://twitter.com/tadashi_maman ## [[JFrog Artifactory]]とは [[JFrog Artifactory]]とは[[JFrog Platform]]におけるユニバーサルリポジトリマネージャのサービスです。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://speedmedia.jfrog.com/08612fe1-9391-4cf3-ac1a-6dd49c36b276/media.jfrog.com/wp-content/uploads/2019/04/20131046/Jfrog16-1.png" /> <span class="link-card-v2-site-name">JFrog</span> </div> <div class="link-card-v2-title"> Artifactory - ユニバーサルアーティファクト管理 </div> <div class="link-card-v2-content"> 世界初のユニバーサルリポジトリとして、JFrog ArtifactoryはJFrog Platformのミッションクリティカルな中心部であり、DevOpsパイプライン全体を移動するすべてのパッケージの信頼できる単一のソースと ... </div> <img src="https://media.jfrog.com/wp-content/uploads/2018/06/20132021/JFROG.png" class="link-card-v2-image"/> <a href="https://jfrog.com/ja/artifactory/"></a> </div> 主な特徴は以下の通りです。 - プライベートなパッケージリポジトリを作成/管理できる - パブリックなパッケージリポジトリへのプロキシも作成/管理できる - 単一の[[URL]]で上記2つを制御できる 具体的には、[[Python]]の[[PyPI]]、[[Node.js]]の[[npm]]、[[Rust]]の[[Cargo]]みたいなリポジトリの自分版を作ることができます。仕事などでPublicなパッケージリポジトリを使えないときに便利です。 以下ではパッケージリポジトリのことをリポジトリと呼びます。[[Git]]のリポジトリではありませんのでご注意ください。 ## リポジトリの作成 右上のドロップダウンメニューから`Quick Setup`を選びます。 ![[Pasted image 20210815121859.png]] [[Python]]なので[[PyPI]]を選びます。 ![[Pasted image 20210815122022.png]] 次にリポジトリの名前を決めます。`Quick Setup`では`Repositories prefix`を入力すると以下3つのリポジトリ名を自動で決定し作成してくれます。 - [[Localリポジトリ]] - [[Remoteリポジトリ]] - [[Virtualリポジトリ]] これは[[Best practices for structuring and naming Artifactory repositories]]で紹介されている命名のベストプラクティスに沿っています。若干異なる部分はありますが概ね同じです。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://speedmedia.jfrog.com/08612fe1-9391-4cf3-ac1a-6dd49c36b276/media.jfrog.com/wp-content/uploads/2019/04/20131046/Jfrog16-1.png" /> <span class="link-card-v2-site-name">JFrog</span> </div> <div class="link-card-v2-title"> Best Practices for Structuring and Naming Artifactory Repositories </div> <div class="link-card-v2-content"> Implement naming convensions for Artifactory repository types. Scale Artifactory across global topologies and su ... </div> <img class="link-card-v2-image" src="https://speedmedia.jfrog.com/08612fe1-9391-4cf3-ac1a-6dd49c36b276/media.jfrog.com/wp-content/uploads/2018/03/20132231/White_Paper.png" /> <a href="https://jfrog.com/whitepaper/best-practices-structuring-naming-artifactory-repositories/"></a> </div> ![[Pasted image 20210815123712.png]] これでリポジトリが作成されました。 ## パッケージ用の[[Python]]プロジェクト 作成したリポジトリにパッケージをアップロードするため、その元になる[[Python]]プロジェクトを作成しpackagingします。[[Poetry]]を使います。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://python-poetry.org/images/favicon-origami-32.png" /> <span class="link-card-v2-site-name">python-poetry.org</span> </div> <div class="link-card-v2-title"> Poetry - Python dependency management and packaging made easy </div> <div class="link-card-v2-content"> Python dependency management and packaging made easy </div> <a href="https://python-poetry.org/"></a> </div> ### プロジェクト作成 ```console:poetryのバージョン確認 $ poetry --version Poetry version 1.1.7 ``` ```console:プロジェクト作成 $ poetry new library Created package library in library $ tree -a .\library\  ./library ├──  library │ └──  __init__.py ├──  pyproject.toml ├──  README.rst └──  tests ├──  __init__.py └──  test_library.py ``` ### 実装 適当な`hello()`という関数を実装します。 ```python:library/__init__.py __version__ = '0.1.0' def hello(): print("Helooooooooooooooooooooooooooooooooooooowh!!") ``` 動作確認をします。 ```python $ poetry run python Creating virtualenv library-fI7uw2HO-py3.9 in C:\Users\tadashi-aikawa\AppData\Local\pypoetry\Cache\virtualenvs Python 3.9.5 (tags/v3.9.5:0a7dcbd, May 3 2021, 17:27:52) [MSC v.1928 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from library import hello >>> hello() Helooooooooooooooooooooooooooooooooooooowh!! ``` ### パッケージング [[JFrog Artifactory]]にアップロードするためのパッケージをビルドします。 ```console $ poetry build Building library (0.1.0) - Building sdist - Built library-0.1.0.tar.gz - Building wheel - Built library-0.1.0-py3-none-any.whl ``` これでライブラリの準備ができました。 ## [[JFrog Artifactory]]にPublish ### プライベートリポジトリの登録 Publishの前に[[Poetryでプライベートリポジトリを登録]]する必要があります。ドキュメントに[[Poetry]]の例はありませんが、リポジトリURLさえ分かれば問題ありません。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://jfrog.com/favicon.ico" /> <span class="link-card-v2-site-name">jfrog.com</span> </div> <div class="link-card-v2-title"> PyPI Repositories </div> <div class="link-card-v2-content"> The JFrog Artifactory integration with the Python Package Index (PyPI) allows you to manage PyPI packages in Art ... </div> <a href="https://jfrog.com/help/r/jfrog-artifactory-documentation/pypi-repositories"></a> </div> `xxxxx`の[[JFrog Platform]]のサブドメインによって変わります。 ```console poetry config --local repositories.mamansoft https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi ``` `--local`を外せばグローバルに設定できますが、開発者の環境によって差異を出したくないため、このリポジトリのみに設定しました。`poetry.toml`が作成されていれば成功です。 ```toml:poetry.toml [repositories] [repositories.mamansoft] url = "https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi" ``` ドキュメントでは[[Localリポジトリ]](`mamansoft-pypi-local`)を指定していますが、ここでは[[Virtualリポジトリ]]を設定しています。その理由はあとで説明します。 ### 認証情報の設定 あわせて認証情報も登録しておきましょう。以下のコマンドを実行します。 ```console poetry config http-basic.mamansoft ユーザー名 暗号化されたパスワード ``` ==⚠️ [[JFrog Platform]]のログインパスワードをそのまま使用しないでください。==漏洩時の被害が大きくなるためです。代わりに`Set Me Up`から暗号化された認証情報を取得し、それを使ってください。 ![[Pasted image 20210815135127.png]] ![[Pasted image 20210815135231.png]] ![[Pasted image 20210815172138.png]] ### プライベートリポジトリにpublish リポジトリ名を指定して`publish`します。 ```console $ poetry publish -r mamansoft Publishing library (0.1.0) to mamansoft - Uploading library-0.1.0-py3-none-any.whl 0% - Uploading library-0.1.0-py3-none-any.whl 100% - Uploading library-0.1.0-py3-none-any.whl 100% - Uploading library-0.1.0.tar.gz 0% - Uploading library-0.1.0.tar.gz 100% - Uploading library-0.1.0.tar.gz 100% ``` こんな風に表示されていれば成功です。 ![[Pasted image 20210815133223.png]] ## [[JFrog Artifactory]]からインストール Publishしたライブラリをインストールして使ってみましょう。主にライブラリ開発に用いる[[Poetry]]プロジェクトと、プロダクション環境で用いる[[Pip]]プロジェクト、それぞれで試します。 ### [[Poetry]]プロジェクトで使う プロジェクトを作成します。 ```console:プロジェクト作成 $ poetry new use-poetry Created package use_poetry in use-poetry $ tree -a .\use-poetry\  ./use-poetry ├──  pyproject.toml ├──  README.rst ├──  tests │ ├──  __init__.py │ └──  test_use_poetry.py └──  use_poetry └──  __init__.py ``` インストールします。 ```console:libraryをインストール $ poetry add library Creating virtualenv use-poetry-BM2Yz1-r-py3.9 in C:\Users\tadashi-aikawa\AppData\Local\pypoetry\Cache\virtualenvs Using version ^0.0.0 for Library Updating dependencies Resolving dependencies... Writing lock file Package operations: 11 installs, 0 updates, 0 removals • Installing pyparsing (2.4.7) • Installing atomicwrites (1.4.0) • Installing attrs (21.2.0) • Installing colorama (0.4.4) • Installing more-itertools (8.8.0) • Installing packaging (21.0) • Installing pluggy (0.13.1) • Installing py (1.10.0) • Installing wcwidth (0.2.5) • Installing library (0.0.0) • Installing pytest (5.4.3) ``` 一見成功しているように見えますがそうではありません。これはパブリック[[PyPI]]にpublishされている同名の異なるライブラリです。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://pypi.org/favicon.ico" /> <span class="link-card-v2-site-name">pypi.org</span> </div> <div class="link-card-v2-title"> Client Challenge </div> <a href="https://pypi.org/project/Library/"></a> </div> つまり、今回作成したプライベートリポジトリを参照していなかったということです。[[Poetryでプライベートリポジトリから新しいpackageをインストール]]するには`pyproject.toml`に設定が必要です。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://python-poetry.org/images/favicon-origami-32.png" /> <span class="link-card-v2-site-name">python-poetry.org</span> </div> <div class="link-card-v2-title"> Repositories | Documentation | Poetry - Python dependency management and packaging made easy </div> <div class="link-card-v2-content"> RepositoriesPoetry supports the use of PyPI and private repositories for discovery ofpackages as well as for pub ... </div> <a href="https://python-poetry.org/docs/repositories/#install-dependencies-from-a-private-repository"></a> </div> まずは先ほどインストールしたものを削除します。 ```console:libraryの削除 $ poetry remove library Updating dependencies Resolving dependencies... Writing lock file Package operations: 0 installs, 0 updates, 1 removal • Removing library (0.0.0) ``` 以下の設定を追加します。 ```toml:pyproject.toml [[tool.poetry.source]] name = "mamansoft" url = "https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/simple" ``` もう一度インストールしてみましょう。 ```console:libraryをインストール $ poetry add library Using version ^0.1.0 for library Updating dependencies Resolving dependencies... Writing lock file Package operations: 1 install, 0 updates, 0 removals • Installing library (0.1.0) ``` 今度はちゃんとインストールされました。ちゃんと動作します。 ```python $ poetry run python Python 3.9.5 (tags/v3.9.5:0a7dcbd, May 3 2021, 17:27:52) [MSC v.1928 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> from library import hello >>> hello() Helooooooooooooooooooooooooooooooooooooowh!! ``` もちろんプライベートリポジトリに存在しなければ、パブリック[[PyPI]]のパッケージをインストールできます。 ```console $ poetry add owlmixin Using version ^5.6.1 for owlmixin Updating dependencies Resolving dependencies... Writing lock file Package operations: 2 installs, 0 updates, 0 removals • Installing pyyaml (5.4.1) • Installing owlmixin (5.6.1) ``` ### [[Pip]]プロジェクトで使う 先ほど作成した[[Poetry]]のプロジェクトにて、[[Poetryでrequirements.txtを作成]]します。 ```console poetry export -f requirements.txt -o requirements.txt ``` [[requirements.txt]]ができます。後半の`--hash`は省略しています。 ```txt:requirements.txt --extra-index-url https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/simple library==0.1.0; python_version >= "3.9" and python_version < "4.0" \ --hash=sha256:20d2738a62309c429252014a49c246969b4e3c407a4b72f374b8853ab903c854 \ --hash=sha256:76042c9a2092832ee0f353ce389c120357eaac2a397597032978c753eef281e2 owlmixin==5.6.1; python_version >= "3.6" and python_version < "4.0" \ --hash=sha256:3379cbc8215040ac45e30534c8d83626b560500c94521cfcd2eab5eea7c12f88 pyyaml==5.4.1; python_version >= "3.6" and python_full_version < "3.0.0" and python_version < "4.0" or python_version >= "3.6" and python_version < "4.0" and python_full_version >= "3.6.0" \ --hash=sha256:3b2b1824fe7112845700f815ff6a489360226a5609b96ec2190a45e62a9fc922 \ --hash=sha256:129def1b7c1bf22faffd67b8f3724645203b79d8f4cc81f674654d9902cb4393 \ . . ``` 一式を別の場所にコピーします。 ```console:プロジェクトのコピー cp -r use-poetry use-pip ``` [[仮想環境を作成 (Python)|仮想環境を作成]]し、Activateします。 ```console $ cd use-pip $ python3 -m venv venv $ .\venv\Scripts\activate ``` [[Pip]]では[[pyproject.toml]]を参照しないため、このままインストールコマンドを実行すると認証情報を尋ねられます。手元の操作には問題ありませんが、CIなどを行うときに不便です。 [[JFrog Platform]]の`Set Me Up`を見ると`~/.pip/pip.conf`に設定する方法が紹介されています。 ![[Pasted image 20210815172257.png]] [[Windows]]の場合は`%APPDATA%\pip\pip.ini`[^2]になります。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://pip.pypa.io/favicon.ico" /> <span class="link-card-v2-site-name">pip.pypa.io</span> </div> <div class="link-card-v2-title"> Configuration - pip documentation v25.1.1 </div> <a href="https://pip.pypa.io/en/stable/topics/configuration/"></a> </div> ```ini:%APPDATA%\pip\pip.ini [global] index-url = https://tadashi-aikawa:暗号化されたパスワード@xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/simple ``` これでインストールします。 ```console $ pip install -r requirements.txt pip install -r .\requirements.txt Looking in indexes: https://tadashi-aikawa:****@xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/simple, https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/simple Collecting library==0.1.0 Downloading https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/library/0.1.0/library-0.1.0-py3-none-any.whl (1.1 kB) Collecting owlmixin==5.6.1 Downloading https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/packages/packages/35/c2/ffb7514eb16745089896b5a83777686cd5470dd229db89a57ce1bd8d9bef/owlmixin-5.6.1-py3-none-any.whl (20 kB) Collecting pyyaml==5.4.1 Downloading https://xxxxx.jfrog.io/artifactory/api/pypi/mamansoft-pypi/packages/packages/bd/cb/9a65a8a852868ebfb7f6e631c2c0bf7e39c9f7a757ee329078a35534fc5b/PyYAML-5.4.1-cp39-cp39-win_amd64.whl (213 kB) |████████████████████████████████| 213 kB 819 kB/s Installing collected packages: pyyaml, owlmixin, library Successfully installed library-0.1.0 owlmixin-5.6.1 pyyaml-5.4.1 ``` ## 3つのリポジトリと[[Virtualリポジトリ]] これでやりたかったことは全てできました。しかし、以下の点で腑に落ちない部分があるのではないでしょうか。 - [[Virtualリポジトリ]]のリポジトリURLしか使っていない - パブリックとプライベートのリポジトリをどう制御しているのか 冒頭でもリストアップした以下3つのリポジトリの関係性をもう一度整理してみましょう。 | リポジトリの種類 | 概要 | | --------------------- | ---------------------------------- | | [[Localリポジトリ]] | プライベートリポジトリの実体 | | [[Remoteリポジトリ]] | 別リポジトリへのキャッシュプロキシ | | [[Virtualリポジトリ]] | [[リバースプロキシ]]のようなもの | 今回の記事に関係する登場人物とフロー[^1]は以下の通りです。今回リモートリポジトリはパブリック[[PyPI]]を参照しているためそのようになっていますが、設定によってはその限りではありません。 ![[jfrog-3repositories.png]] ### [[Virtualリポジトリ]]の設定 まずは[[Virtualリポジトリ]]の設定を確認します。 ![[Pasted image 20210815183108.png]] `Set Me Up`から設定すると[[Virtualリポジトリ]]にデフォルトで気の利く設定がされているわけです。凄いですね！ ![[Pasted image 20210815183616.png]] ### Publishのフロー 先ほどの図と照らし合わると、Publishの場合は ==⑥ → ② → ①== というフローで[[Localリポジトリ]]に登録されます。 ![[jfrog-3repositories.png]] ### インストールのフロー インストールの場合は少し複雑です。 1. ==⑥ → ②== のフローで[[Localリポジトリ]]に対象パッケージがあるか確認 - ある場合は2へ - ない場合は3へ 2. ==① → ② → ⑥== のフローで対象パッケージを返却して 🔚**終了**🔚 3. ==③ → ④== のフローで[[Remoteリポジトリ]]のキャッシュに対象パッケージがあるか確認 - ある場合は4へ - ない場合は5へ 4. ==④ → ③ → ⑥== のフローでキャッシュから対象パッケージを返却して 🔚**終了**🔚 5. ==⑤ → ④== のフローで対象パッケージを取得してキャッシュに保存 6. ==④ → ③ → ⑥== のフローで対象パッケージを返却して🔚**終了**🔚 簡単に言うと以下の順番に探しにいっているだけです。 1. [[Localリポジトリ]] 2. [[Remoteリポジトリ]] (キャッシュ) 3. [[Remoteリポジトリ]] (ノーキャッシュ) ### [[Virtualリポジトリ]]だけを使うワケ 以上のフローから、クライアントは==⑥==とのやりとり==だけ==で目的(Publish/インストール)を果たせていることが分かりました。これは**[[Virtualリポジトリ]]とのやりとり==だけ==で目的を果たせる**ということです。 もちろん、[[Localリポジトリ]]や[[Remoteリポジトリ]]を直接指定してやりとりすることも可能です。しかし、[[Best practices for structuring and naming Artifactory repositories]]でも言及されているとおり、特別な理由がなければ[[Virtualリポジトリ]]==だけ==とのやりとりを行ったほうがいいでしょう。 > In general, its best practice that all consumption and writes are done through virtual repositories, as opposed to local/remote repositories. This is so that as many implementation details as possible can be omitted, letting the users work with a single, well-known URL. Additionally, while for local repositories maturity is strictly about artifact stages, for virtual repositories you may consider the audience more. すべてのやりとりを単一のエンドポイントで行うことにより、複雑な実装を健全な形で隠蔽しシンプルなインタフェースを提供できるからです。そのような考えにどのようなメリットがあるか..はここで説明するまでもないでしょう。 ## まとめ [[JFrog Artifactory]]でプライベートな[[PyPI]]リポジトリを作り、パッケージをpublish/インストールしてみました。また、[[Virtualリポジトリ]]の使い方や[[JFrog]]で提唱されているベストプラクティスについても触れました。 OSSで利用する分にはパブリックなリポジトリで十分なため、必要になることは少ないでしょう。しかし、仕事のようにクローズドな環境でライブラリの開発/管理が必要になった場合だと話は変わります。 [[Git]]を使ったり、独自[[パッケージマネージャー]]を開発したり、手順書やスクリプトで乗り切ることができるかもしれません。しかし、品質の要となるパッケージ管理を蔑ろにすると、プロダクトの品質低下や管理コストの破綻といった大きなリスクを背負うことになります。 [[JFrog Artifactory]]によるプライベートリポジトリを使ったパッケージ管理はこれらの問題を解消できます。クラウド版であればサーバーの管理コストすらなくなります。本格的な利用はもちろん有料になりますが、適切に使えばコストをペイできるのではないでしょうか。 <div class="link-card-v2"> <div class="link-card-v2-site"> <img class="link-card-v2-site-icon" src="https://speedmedia.jfrog.com/08612fe1-9391-4cf3-ac1a-6dd49c36b276/media.jfrog.com/wp-content/uploads/2019/04/20131046/Jfrog16-1.png" /> <span class="link-card-v2-site-name">JFrog</span> </div> <div class="link-card-v2-title"> 価格（2025年） </div> <div class="link-card-v2-content"> JFrogソフトウェアサプライチェーンプラットフォームの価格の詳細をご覧ください。プランとホスティングオプションの詳細。 ... </div> <img class="link-card-v2-image" src="https://speedmedia.jfrog.com/08612fe1-9391-4cf3-ac1a-6dd49c36b276/media.jfrog.com/wp-content/uploads/2018/06/20132021/JFROG.png" /> <a href="https://jfrog.com/ja/pricing/"></a> </div> ページの最後に記載されている利用企業も錚々たる顔ぶれです。 ![[Pasted image 20210815191718.png]] 優れた開発体験を生み出し、そこから価値あるプロダクトを提供するため、[[JFrog Platform]]の導入を検討してみてはいかがでしょうか。 [^1]: あくまでイメージであり厳密な構成ではありません [^2]: globalの場合は`C:\ProgramData\pip\pip.ini`です --- **💽Change log** - `📅2021-10-06` - global時における`pip.ini`の場所を追加