Як отримати використання пам'яті під час виконання за допомогою C ++?

90

Мені потрібно отримати пам’ять VIRT та RES під час роботи моєї програми та відобразити їх.

Що я намагався до цього часу:

getrusage ( http://linux.die.net/man/2/getrusage )

int who = RUSAGE_SELF; 
struct rusage usage; 
int ret; 

ret=getrusage(who,&usage);

cout<<usage.ru_maxrss;

але я завжди отримую 0.

c++  linux  memory-management 
— jww
джерело
3
Це залежить від системи - здається, ваша система не підтримує звітування maxrss через getrusage - чи можете ви сказати нам, який дистрибутив ви використовуєте?
— tvanfosson

Відповіді:

79

У Linux я ніколи не знаходив рішення ioctl () . Для наших додатків ми закодували загальну утиліту на основі читання файлів у / proc / pid . Існує ряд цих файлів, які дають різні результати. Ось той, на якому ми зупинились (питання було позначено тегом C ++, і ми обробляли введення-виведення за допомогою конструкцій C ++, але його потрібно легко адаптувати до процедур вводу-виводу C, якщо вам потрібно):

#include <unistd.h>
#include <ios>
#include <iostream>
#include <fstream>
#include <string>

//////////////////////////////////////////////////////////////////////////////
//
// process_mem_usage(double &, double &) - takes two doubles by reference,
// attempts to read the system-dependent data for a process' virtual memory
// size and resident set size, and return the results in KB.
//
// On failure, returns 0.0, 0.0

void process_mem_usage(double& vm_usage, double& resident_set)
{
   using std::ios_base;
   using std::ifstream;
   using std::string;

   vm_usage     = 0.0;
   resident_set = 0.0;

   // 'file' stat seems to give the most reliable results
   //
   ifstream stat_stream("/proc/self/stat",ios_base::in);

   // dummy vars for leading entries in stat that we don't care about
   //
   string pid, comm, state, ppid, pgrp, session, tty_nr;
   string tpgid, flags, minflt, cminflt, majflt, cmajflt;
   string utime, stime, cutime, cstime, priority, nice;
   string O, itrealvalue, starttime;

   // the two fields we want
   //
   unsigned long vsize;
   long rss;

   stat_stream >> pid >> comm >> state >> ppid >> pgrp >> session >> tty_nr
               >> tpgid >> flags >> minflt >> cminflt >> majflt >> cmajflt
               >> utime >> stime >> cutime >> cstime >> priority >> nice
               >> O >> itrealvalue >> starttime >> vsize >> rss; // don't care about the rest

   stat_stream.close();

   long page_size_kb = sysconf(_SC_PAGE_SIZE) / 1024; // in case x86-64 is configured to use 2MB pages
   vm_usage     = vsize / 1024.0;
   resident_set = rss * page_size_kb;
}

int main()
{
   using std::cout;
   using std::endl;

   double vm, rss;
   process_mem_usage(vm, rss);
   cout << "VM: " << vm << "; RSS: " << rss << endl;
}
— Дон Вейкфілд
джерело
чи є у вас якісь гарантії щодо / proc / self / stat структури на різних платформах * nix? ... Я не впевнений, але якщо так - це буде приємно.
— bayda
Ну, за ці роки я переважно використовував Solaris, HP-UX та Linux. / proc / self / stat, схоже, є Linux-ізмом. Оригінальна версія програми мала #if блоки для Solaris, оскільки вона відрізнялася.
— Дон Вейкфілд,
Я припускаю, що операційна система піклується лише про Linux на основі позначення запитань. Читання / proc буде приблизно таким же гарним, як і ви. На Solaris ви також можете отримати інформацію про всілякі речі через kstat (хоча він часто повторює те, що ви можете отримати іншими засобами).
— stsquad
Я запізнився на вечірку лише на 10 років, але чи не могли б ви сказати мені, чому ви ділите всіхе на 1024,0, а не на 1024?
— a_river_in_canada
1
re: why 1024.0?- Це вказує компілятору перетворити на подвійний ПЕРШИЙ, а потім здійснити ділення, щоб отримати подвійний результат. Інший вибір: vm_usage = vsize / 1024;спочатку зробить поділ (втрачаючи точність, коли @DonWakefield інтумував), а потім перетворить на подвійне.
— Джессі Чисхолм,
52

Девід Роберт Надо застосував хорошу автономну мультиплатформенну функцію C, щоб отримати розмір набору резидентів процесу (використання фізичної пам'яті) на своєму веб-сайті:

/*
 * Author:  David Robert Nadeau
 * Site:    http://NadeauSoftware.com/
 * License: Creative Commons Attribution 3.0 Unported License
 *          http://creativecommons.org/licenses/by/3.0/deed.en_US
 */

#if defined(_WIN32)
#include <windows.h>
#include <psapi.h>

#elif defined(__unix__) || defined(__unix) || defined(unix) || (defined(__APPLE__) && defined(__MACH__))
#include <unistd.h>
#include <sys/resource.h>

#if defined(__APPLE__) && defined(__MACH__)
#include <mach/mach.h>

#elif (defined(_AIX) || defined(__TOS__AIX__)) || (defined(__sun__) || defined(__sun) || defined(sun) && (defined(__SVR4) || defined(__svr4__)))
#include <fcntl.h>
#include <procfs.h>

#elif defined(__linux__) || defined(__linux) || defined(linux) || defined(__gnu_linux__)
#include <stdio.h>

#endif

#else
#error "Cannot define getPeakRSS( ) or getCurrentRSS( ) for an unknown OS."
#endif





/**
 * Returns the peak (maximum so far) resident set size (physical
 * memory use) measured in bytes, or zero if the value cannot be
 * determined on this OS.
 */
size_t getPeakRSS( )
{
#if defined(_WIN32)
    /* Windows -------------------------------------------------- */
    PROCESS_MEMORY_COUNTERS info;
    GetProcessMemoryInfo( GetCurrentProcess( ), &info, sizeof(info) );
    return (size_t)info.PeakWorkingSetSize;

#elif (defined(_AIX) || defined(__TOS__AIX__)) || (defined(__sun__) || defined(__sun) || defined(sun) && (defined(__SVR4) || defined(__svr4__)))
    /* AIX and Solaris ------------------------------------------ */
    struct psinfo psinfo;
    int fd = -1;
    if ( (fd = open( "/proc/self/psinfo", O_RDONLY )) == -1 )
        return (size_t)0L;      /* Can't open? */
    if ( read( fd, &psinfo, sizeof(psinfo) ) != sizeof(psinfo) )
    {
        close( fd );
        return (size_t)0L;      /* Can't read? */
    }
    close( fd );
    return (size_t)(psinfo.pr_rssize * 1024L);

#elif defined(__unix__) || defined(__unix) || defined(unix) || (defined(__APPLE__) && defined(__MACH__))
    /* BSD, Linux, and OSX -------------------------------------- */
    struct rusage rusage;
    getrusage( RUSAGE_SELF, &rusage );
#if defined(__APPLE__) && defined(__MACH__)
    return (size_t)rusage.ru_maxrss;
#else
    return (size_t)(rusage.ru_maxrss * 1024L);
#endif

#else
    /* Unknown OS ----------------------------------------------- */
    return (size_t)0L;          /* Unsupported. */
#endif
}





/**
 * Returns the current resident set size (physical memory use) measured
 * in bytes, or zero if the value cannot be determined on this OS.
 */
size_t getCurrentRSS( )
{
#if defined(_WIN32)
    /* Windows -------------------------------------------------- */
    PROCESS_MEMORY_COUNTERS info;
    GetProcessMemoryInfo( GetCurrentProcess( ), &info, sizeof(info) );
    return (size_t)info.WorkingSetSize;

#elif defined(__APPLE__) && defined(__MACH__)
    /* OSX ------------------------------------------------------ */
    struct mach_task_basic_info info;
    mach_msg_type_number_t infoCount = MACH_TASK_BASIC_INFO_COUNT;
    if ( task_info( mach_task_self( ), MACH_TASK_BASIC_INFO,
        (task_info_t)&info, &infoCount ) != KERN_SUCCESS )
        return (size_t)0L;      /* Can't access? */
    return (size_t)info.resident_size;

#elif defined(__linux__) || defined(__linux) || defined(linux) || defined(__gnu_linux__)
    /* Linux ---------------------------------------------------- */
    long rss = 0L;
    FILE* fp = NULL;
    if ( (fp = fopen( "/proc/self/statm", "r" )) == NULL )
        return (size_t)0L;      /* Can't open? */
    if ( fscanf( fp, "%*s%ld", &rss ) != 1 )
    {
        fclose( fp );
        return (size_t)0L;      /* Can't read? */
    }
    fclose( fp );
    return (size_t)rss * (size_t)sysconf( _SC_PAGESIZE);

#else
    /* AIX, BSD, Solaris, and Unknown OS ------------------------ */
    return (size_t)0L;          /* Unsupported. */
#endif
}

Використання

size_t currentSize = getCurrentRSS( );
size_t peakSize    = getPeakRSS( );

Для подальшого обговорення перевірте веб-сайт, він також надає функцію отримання фізичного обсягу пам'яті системи .

— перець_чико
джерело
2
краще додати #pragma comment(lib, "psapi.lib")до #if defined(_WIN32)сфери.
— Bloodmoon
1
@Bloodmon що, якщо хтось використовує Windows, але не компілятор Microsoft? Ця прагма призвела б до невдачі компілятора.
— Адріан,
Цей код використовує rusage :: ru_maxrss з getrusage, про що OP повідомив, що не працює для неї.
— facetus
21

Старий:

maxrss визначає максимально доступну пам’ять для процесу. 0 означає, що процес не обмежується. Напевно, ви хочете використовувати спільний доступ до даних ru_idrss.

Нове: Здається, вищесказане насправді не працює, оскільки ядро ​​не заповнює більшість значень. Що працює, це отримати інформацію від proc. Замість того, щоб аналізувати його самостійно, простіше використовувати libproc (частина procps) наступним чином:

// getrusage.c
#include <stdio.h>
#include <proc/readproc.h>

int main() {
  struct proc_t usage;
  look_up_our_self(&usage);
  printf("usage: %lu\n", usage.vsize);
}

Скласти з " gcc -o getrusage getrusage.c -lproc"

— Поль де Врієз
джерело
1
За винятком того, що жодне поле недоступне в Linux.
— jmanning2k
2
Це неправильно. maxrss - це максимальне використання пам'яті процесом, а не максимально доступне - це буде getrlimit (RLIMIT_DATA, & rl).
— jmanning2k
1
#include <proc/readproc.h>Рішення працювала велика для мене під Ubuntu. Мені довелося встановити пакет libproc-dev. usage.vm_dataє досить близьким наближенням до того, що мені потрібно. Тут вибрано статистику вашого вибору пам’яті: усі, /usr/include/proc/readproc.hякі я спробував, здаються в байтах, а не на сторінках. Я не думаю, що в моєму процесі було використано 46 мільйонів сторінок. Коментарі про те, що це рішення не працює під Linux, здаються помилковими.
— Аллан Стокс,
2
Правильним лінкером є: -lprocps
— Sembiance
Чудово працює, це має бути прийнятою відповіддю!
— Пеков 22.03.18
8

Більш елегантний спосіб для методу Дона Вейкфілда:

#include <iostream>
#include <fstream>

using namespace std;

int main(){

    int tSize = 0, resident = 0, share = 0;
    ifstream buffer("/proc/self/statm");
    buffer >> tSize >> resident >> share;
    buffer.close();

    long page_size_kb = sysconf(_SC_PAGE_SIZE) / 1024; // in case x86-64 is configured to use 2MB pages
    double rss = resident * page_size_kb;
    cout << "RSS - " << rss << " kB\n";

    double shared_mem = share * page_size_kb;
    cout << "Shared Memory - " << shared_mem << " kB\n";

    cout << "Private Memory - " << rss - shared_mem << "kB\n";
    return 0;
}
— Ксіріс
джерело
7

Існуючі відповіді краще, як отримати правильне значення, але я можу принаймні пояснити, чому getrusage не працює для вас.

людина 2 getrusage:

Вищезазначена структура [rusage] взята з BSD 4.3 Reno. Не всі поля значущі під Linux. Зараз (Linux 2.4, 2.6) підтримуються лише поля ru_utime, ru_stime, ru_minflt, ru_majflt та ru_nswap.

— jmanning2k
джерело
3

на додаток до вашого способу
ви можете зателефонувати команді system ps і отримати використання пам'яті з її виводу.
або прочитати інформацію з / proc / pid (див. структуру PIOCPSINFO)

— байда
джерело
PIOCPSINFO насправді не доступний в жодному Linux, яким я користувався. Читання з / proc / pid досить поширене. Я відповім на приклад коду для Linux ...
— Дон Уейкфілд,
так / proc / pid структури можуть відрізнятися на різних платформах * nix, але якщо у вас є PIOCPSINFO, це не має значення. У мене була ситуація, коли ця структура не була визначена в якійсь версії solaris .. У цьому випадку я використовував вивід ps.
— bayda
2

У вашій системі є файл із іменем /proc/self/statm . Файлова система proc - це псевдо-файлова система, яка забезпечує інтерфейс до структур даних ядра. Цей файл містить необхідну інформацію у стовпцях із цілими числами, розділеними пробілом.

Колонка №:

  1. = загальний розмір програми (VmSize in / proc / [pid] / status)

  2. = розмір встановленого резидента (VmRSS в / proc / [pid] / status)

Для отримання додаткової інформації див. ПОСИЛАННЯ .

— Якуб Кравчук
джерело
1

Я використовую інший спосіб зробити це, і це звучить реалістично. Що я роблю, це отримую PID процесу за допомогою функції getpid (), а потім використовую файл / proc / pid / stat. Я вважаю, що 23-м стовпцем файлу статистики є vmsize (подивіться на донську публікацію). Ви можете прочитати файл vmsize з файлу, де б вам не було потрібно в коді. Якщо вам цікаво, наскільки фрагмент коду може використовувати пам'ять, ви можете прочитати цей файл один раз перед цим фрагментом і один раз після, і ви можете відняти їх один від одного.

1

На основі рішення Дона W, з меншою кількістю змінних.

void process_mem_usage(double& vm_usage, double& resident_set)
{
    vm_usage     = 0.0;
    resident_set = 0.0;

    // the two fields we want
    unsigned long vsize;
    long rss;
    {
        std::string ignore;
        std::ifstream ifs("/proc/self/stat", std::ios_base::in);
        ifs >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore
                >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore >> ignore
                >> ignore >> ignore >> vsize >> rss;
    }

    long page_size_kb = sysconf(_SC_PAGE_SIZE) / 1024; // in case x86-64 is configured to use 2MB pages
    vm_usage = vsize / 1024.0;
    resident_set = rss * page_size_kb;
}
— ϹοδεMεδιϲ
джерело
0

Я шукав додаток для Linux для вимірювання максимально використаної пам’яті. valgrind - чудовий інструмент, але давав мені більше інформації, ніж я хотів. tstime здавався найкращим інструментом, який я міг знайти. Він вимірює використання пам'яті "високої води" (RSS та віртуальна). Дивіться цю відповідь .

— jtpereyda
джерело
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.