setuptools: paket veri klasörü konumu

Python paketimi dağıtmak için setuptools kullanıyorum. Şimdi ek veri dosyaları dağıtmam gerekiyor.

Setuptools belgelerinden topladığım kadarıyla, veri dosyalarımı paket dizininin içinde bulundurmam gerekiyor. Ancak, veri dosyalarımın kök dizindeki bir alt dizinde olmasını tercih ederim.

Kaçınmak istediğim şey:

/ #root
|- src/
|  |- mypackage/
|  |  |- data/
|  |  |  |- resource1
|  |  |  |- [...]
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

Bunun yerine sahip olmak istediğim şey:

/ #root
|- data/
|  |- resource1
|  |- [...]
|- src/
|  |- mypackage/
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

Gerekli değilse, bu kadar çok alt dizine sahip olmak konusunda kendimi rahat hissetmiyorum. Bir neden bulamıyorum, neden dosyaları paket dizini içine koymam / koymam gerekiyor. Ayrıca bu kadar çok sayıda iç içe geçmiş alt dizin IMHO ile çalışmak zahmetlidir. Yoksa bu kısıtlamayı haklı çıkaracak iyi bir neden var mı?

Seçenek 1: Paket verisi olarak yükleyin

Veri dosyalarını Python paketinizin köküne yerleştirmenin ana avantajı, dosyaların bir kullanıcının sisteminde (Windows, Mac, Linux, bazı mobil platformlar veya bir Yumurta içinde) nerede yaşayacağı konusunda endişelenmekten kaçınmanıza olanak vermesidir. dataNerede ve nasıl kurulursa kurulsun , dizini her zaman Python paket kökünüze göre bulabilirsiniz .

Örneğin, böyle bir proje düzenim varsa:

project/
    foo/
        __init__.py
        data/
            resource1/
                foo.txt

__init__.pyBir veri dosyasına mutlak bir yol bulmak için bir işlev ekleyebilirsiniz :

import os

_ROOT = os.path.abspath(os.path.dirname(__file__))
def get_data(path):
    return os.path.join(_ROOT, 'data', path)

print get_data('resource1/foo.txt')

Çıktılar:

/Users/pat/project/foo/data/resource1/foo.txt

Proje Egg olarak kurulduktan sonra, giden yol datadeğişecek, ancak kodun değişmesi gerekmiyor:

/Users/pat/virtenv/foo/lib/python2.6/site-packages/foo-0.0.0-py2.6.egg/foo/data/resource1/foo.txt

Seçenek 2: Sabit konuma yükleyin

Alternatif, verilerinizi Python paketinin dışına yerleştirmek ve ardından şunlardan birini yapmak olabilir:

1. Konumunu var databir yapılandırma dosyası üzerinden geçirilen, komut satırı argümanları veya
2. Konumu Python kodunuza gömün.

Projenizi dağıtmayı planlıyorsanız, bu çok daha az istenir. Bunu gerçekten yapmak istiyorsanız, dataher dosya grubu için hedef belirleyerek, bir tuple listesi göndererek hedef sistemde istediğiniz yere kurabilirsiniz :

from setuptools import setup
setup(
    ...
    data_files=[
        ('/var/data1', ['data/foo.txt']),
        ('/var/data2', ['data/bar.txt'])
        ]
    )

Güncellendi : Python dosyalarını yinelemeli olarak grep etmek için bir kabuk işlevi örneği:

atlas% function grep_py { find . -name '*.py' -exec grep -Hn $* {} \; }
atlas% grep_py ": \["
./setup.py:9:    package_data={'foo': ['data/resource1/foo.txt']}

Aşağıdaki yapıyı korumanıza izin verecek iyi bir uzlaşma bulduğumu düşünüyorum:

/ #root
|- data/
|  |- resource1
|  |- [...]
|- src/
|  |- mypackage/
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

Örnekler yanıtında açıklanan sorunlardan kaçınmak için verileri paket_verisi olarak yüklemelisiniz, ancak dosya yapısını korumak için setup.py dosyanıza eklemelisiniz:

try:
    os.symlink('../../data', 'src/mypackage/data')
    setup(
        ...
        package_data = {'mypackage': ['data/*']}
        ...
    )
finally:
    os.unlink('src/mypackage/data')

Bu şekilde uygun yapıyı "tam zamanında" oluştururuz ve kaynak ağacımızı organize ederiz.

Bu tür veri dosyalarına kodunuz içinde erişmek için, 'basitçe' şunu kullanmalısınız:

data = resource_filename(Requirement.parse("main_package"), 'mypackage/data')

Verilerin bu modülle zorunlu olarak hiçbir ilgisi olmadığı için kodda 'mypackage' belirtmek zorunda kalmayı hala sevmiyorum, ancak sanırım bu iyi bir uzlaşma.

Kurulum () için temelde bir argüman * data_files * olarak herhangi bir şey verebileceğinizi düşünüyorum .