Python kullanarak CPU sayısı nasıl bulunur?

Python kullanarak yerel makinedeki CPU sayısını bilmek istiyorum. Sonuç, en iyi şekilde ölçeklendirilen bir kullanıcı-alanı programı ile çağrıldığında user/realçıktı olarak alınmalıdır time(1).

> = 2.6 sürümüne sahip bir pitonunuz varsa,

import multiprocessing

multiprocessing.cpu_count()

http://docs.python.org/library/multiprocessing.html#multiprocessing.cpu_count

Mevcut işleminizde kullanabileceğiniz işlemci sayısı ile ilgileniyorsanız , önce cpuset'i kontrol etmeniz gerekir . Aksi takdirde (veya cpuset kullanılmıyorsa), multiprocessing.cpu_count()Python 2.6 ve daha yenisine gitmenin yoludur. Aşağıdaki yöntem, Python'un eski sürümlerinde birkaç alternatif yönteme geri döner:

import os
import re
import subprocess


def available_cpu_count():
    """ Number of available virtual or physical CPUs on this system, i.e.
    user/real as output by time(1) when called with an optimally scaling
    userspace-only program"""

    # cpuset
    # cpuset may restrict the number of *available* processors
    try:
        m = re.search(r'(?m)^Cpus_allowed:\s*(.*)$',
                      open('/proc/self/status').read())
        if m:
            res = bin(int(m.group(1).replace(',', ''), 16)).count('1')
            if res > 0:
                return res
    except IOError:
        pass

    # Python 2.6+
    try:
        import multiprocessing
        return multiprocessing.cpu_count()
    except (ImportError, NotImplementedError):
        pass

    # https://github.com/giampaolo/psutil
    try:
        import psutil
        return psutil.cpu_count()   # psutil.NUM_CPUS on old versions
    except (ImportError, AttributeError):
        pass

    # POSIX
    try:
        res = int(os.sysconf('SC_NPROCESSORS_ONLN'))

        if res > 0:
            return res
    except (AttributeError, ValueError):
        pass

    # Windows
    try:
        res = int(os.environ['NUMBER_OF_PROCESSORS'])

        if res > 0:
            return res
    except (KeyError, ValueError):
        pass

    # jython
    try:
        from java.lang import Runtime
        runtime = Runtime.getRuntime()
        res = runtime.availableProcessors()
        if res > 0:
            return res
    except ImportError:
        pass

    # BSD
    try:
        sysctl = subprocess.Popen(['sysctl', '-n', 'hw.ncpu'],
                                  stdout=subprocess.PIPE)
        scStdout = sysctl.communicate()[0]
        res = int(scStdout)

        if res > 0:
            return res
    except (OSError, ValueError):
        pass

    # Linux
    try:
        res = open('/proc/cpuinfo').read().count('processor\t:')

        if res > 0:
            return res
    except IOError:
        pass

    # Solaris
    try:
        pseudoDevices = os.listdir('/devices/pseudo/')
        res = 0
        for pd in pseudoDevices:
            if re.match(r'^cpuid@[0-9]+$', pd):
                res += 1

        if res > 0:
            return res
    except OSError:
        pass

    # Other UNIXes (heuristic)
    try:
        try:
            dmesg = open('/var/run/dmesg.boot').read()
        except IOError:
            dmesgProcess = subprocess.Popen(['dmesg'], stdout=subprocess.PIPE)
            dmesg = dmesgProcess.communicate()[0]

        res = 0
        while '\ncpu' + str(res) + ':' in dmesg:
            res += 1

        if res > 0:
            return res
    except OSError:
        pass

    raise Exception('Can not determine number of CPUs on this system')

Başka bir seçenek de psutil, bu durumlarda her zaman yararlı olan kütüphaneyi kullanmaktır :

>>> import psutil
>>> psutil.cpu_count()
2

Bu, psutil(Unix ve Windows) tarafından desteklenen tüm platformlarda çalışmalıdır .

Not Bazı durumlarda bu multiprocessing.cpu_countbir zam olabilir NotImplementedErrorsüre psutilCPU sayısını elde etmek mümkün olacaktır. Bunun nedeni, psutililk olarak kullanılan tekniklerin aynısını kullanmaya çalışmaktır multiprocessingve eğer başarısız olursa başka teknikler de kullanır.

Python 3.4+ sürümünde: os.cpu_count () .

multiprocessing.cpu_count()Bu fonksiyon açısından uygulanan ancak yükseltir edilir NotImplementedErroreğer os.cpu_count()döner None( "CPU sayısını belirleyemiyor").

len(os.sched_getaffinity(0)) genellikle istediğin şey

https://docs.python.org/3/library/os.html#os.sched_getaffinity

os.sched_getaffinity(0)(Python 3'e eklenmiştir), sched_setaffinityLinux sistem çağrısı göz önüne alındığında mevcut bir işlemci setini döndürür .

0mevcut işlem için değer elde etmek anlamına gelir. İşlev set(), izin verilen CPU'lardan birini döndürür , bu nedenle buna ihtiyaç duyulur len().

multiprocessing.cpu_count() Öte yandan, toplam fiziksel CPU sayısını döndürür.

Fark özellikle önemlidir çünkü Platform LSF gibi bazı küme yönetim sistemleri ile iş CPU kullanımını sınırlar sched_getaffinity.

Bu nedenle, kullanırsanız multiprocessing.cpu_count(), komut dosyanız kullanılabilir olandan daha fazla çekirdek kullanmaya çalışabilir ve bu da aşırı yüklenmeye ve zaman aşımlarına neden olabilir.

Farkı, tasksetfayda ile olan yakınlığı kısıtlayarak somut olarak görebiliriz .

Örneğin, Python'u 16 çekirdek sistemimde sadece 1 çekirdek (çekirdek 0) ile kısıtlarsam:

taskset -c 0 ./main.py

test komut dosyası ile:

main.py

#!/usr/bin/env python3

import multiprocessing
import os

print(multiprocessing.cpu_count())
print(len(os.sched_getaffinity(0)))

o zaman çıktı:

16
1

nproc ancak, varsayılan olarak yakınlığa saygı duyar ve:

taskset -c 0 nproc

çıktılar:

1

ve man nprocbunu açıkça ortaya koyuyor:

kullanılabilir işlem birimi sayısını yazdırın

nprocvardır --allFiziksel CPU sayısı almak istiyorum daha az yaygın durum için bayrak:

taskset -c 0 nproc --all

Bu yöntemin tek dezavantajı, bunun yalnızca UNIX gibi görünmesidir. Windows'un benzer bir benzeşim API'sına sahip olması gerekiyordu SetProcessAffinityMask, bu yüzden neden taşınmamış olduğunu merak ediyorum. Ama Windows hakkında hiçbir şey bilmiyorum.

Ubuntu 16.04, Python 3.5.2'de test edilmiştir.

platform bağımsız:

psutil.cpu_count (mantıksal = False)

https://github.com/giampaolo/psutil/blob/master/INSTALL.rst

Bunlar hiper iş parçacıklı CPU sayısını verir

1. multiprocessing.cpu_count()
2. os.cpu_count()

Bunlar size sanal makine CPU sayısını verir

1. psutil.cpu_count()
2. numexpr.detect_number_of_cores()

Yalnızca VM'lerde çalışıyorsanız önemlidir.

multiprocessing.cpu_count()mantıksal CPU sayısını döndürür, bu nedenle hiper iş parçacıklı dört çekirdekli bir CPU'nuz varsa, geri döner 8. Fiziksel CPU sayısını istiyorsanız, hwloc için python bağlarını kullanın:

#!/usr/bin/env python
import hwloc
topology = hwloc.Topology()
topology.load()
print topology.get_nbobjs_by_type(hwloc.OBJ_CORE)

hwloc, işletim sistemleri ve mimariler arasında taşınabilir olacak şekilde tasarlanmıştır.

Kodu nasıl ekleyeceğinizi veya mesajı nasıl yanıtlayacağınızı anlayamıyorum, ancak vazgeçmeden önce takabileceğiniz jython desteği:

# jython
try:
    from java.lang import Runtime
    runtime = Runtime.getRuntime()
    res = runtime.availableProcessors()
    if res > 0:
        return res
except ImportError:
    pass

Bu, farklı işletim sistemleri / sistemler kullanan, ancak tüm dünyalardan en iyi şekilde yararlanmak isteyenler için işe yarayabilir:

import os
workers = os.cpu_count()
if 'sched_getaffinity' in dir(os):
    workers = len(os.sched_getaffinity(0))

Bu amaçla "joblib" kullanabilirsiniz.

import joblib
print joblib.cpu_count()

Bu yöntem size sistemdeki cpus sayısını verecektir. joblib olsa kurulmalıdır. Joblib hakkında daha fazla bilgiyi burada bulabilirsiniz https://pythonhosted.org/joblib/parallel.html

Alternatif olarak, numexpr python paketini kullanabilirsiniz. Sistem cpu hakkında bilgi almak için yararlı birçok basit işlevi vardır.

import numexpr as ne
print ne.detect_number_of_cores()

Python 2.6'nız yoksa başka bir seçenek:

import commands
n = commands.getoutput("grep -c processor /proc/cpuinfo")