УДК 001.891.572

Сравнение численных методов аппроксимации теплоемкостей простых веществ

Федоренков Федор Александрович – студент, магистр Национального исследовательского технологического университета МИСИС.

Аннотация: Целью статьи является сравнение численных методов аппроксимации теплоемкостей простых веществ. Автор рассматривает такие методы, как метод Монте–Карло в Марковских цепях и вариационный байесовский вывод. Применение конкретного метода зависит от множества условий: экспериментальных данных, рассматриваемого вещества, физических моделей описания теплоемкости и т.д.

Ключевые слова: теплоемкость, физические модели, аппроксимация теплоемкости.

Введение

Теплоемкость – это физическая величина, определяемая как отношение количества теплоты δQ, поглощаемой/выделяемой термодинамической системой при бесконечно малом изменении ее температуры T, к величине этого изменения dT[1] (формула (1)):

Screenshot 1

Существуют различные физические модели, описывающие зависимость теплоемкости от температуры, такие как уравнение Шомате (формула (2)), уравнение Майера-Келли (формула (3)), модель Эйнштейна (формула (3)), модель Эйнштейна-Планка (формула (4)), а также расширенная модель Эйнштейна (формула (5)) [2] – [6].

Screenshot 4

Для того чтобы понять какой метод и способ оценивания параметров модели правильный, необходимо в первую очередь отталкиваться от вида исходной модели. Изначально задача аппроксимации теплоемкости простых веществ – это задача нелинейной регрессии и помимо теплоемкости влияние могут оказывать другие параметры, например: энтальпия, энтропия и энергия Гиббса. Каждая из приведенных выше физических моделей описания теплоемкости является нелинейной либо по включенным объ­ясняющим переменным (уравнение Шомата (формула (2)), уравнение Майера-Келли (формула (3))), либо по оцениваемым параметрам (модели Эйнштейна (формулы (4)-(6)).

Задача нелинейной регрессии может решаться разными методами аппроксимации, например, методом наименьших квадратов (далее – МНК), если рассматриваемая функция линейна по параметрам, или байесовскими методами, такими как метод Монте–Карло в марковских цепях (далее – МСМС) и вариационный байесовский вывод. Поскольку МНК в случае нелинейной регрессии применим ограниченно, основной выбор осуществляется между методом МСМС и вариационным выводом.

Метод Монте–Карло в Марковских цепях

В статистике методы MCMC – это класс алгоритмов для семплирования, моделирующих некоторое распределение вероятностей. Построив марковскую цепь, которая имеет целевое распределение в качестве своего равновесного, можно получить выборку с тем же распределением путем записи состояний цепи. Чем больше шагов будет использовано, тем ближе распределение выборки будет к целевому [7].

На практике обычно строится ансамбль цепей, начиная с множества произвольных точек, достаточно удаленных друг от друга. Эти цепи являются стохастическими процессами «блужданий», в которых перемещения происходят случайным образом, в соответствии с алгоритмом. Этот алгоритм ищет области с наибольшим значением интеграла и присваивает им наибольшие вероятности [7].

Методы случайного блуждания Монте–Карло – один из типов случайного моделирования. При этом случайные выборки подынтегральной функции, используемые в методах Монте–Карло, являются статистически независимыми, здесь они автокоррелированы. Корреляция выборок приводит к необходимости использования Центральной предельной теоремы для марковских цепей при оценке ошибки средних значений [7].

С помощью этих алгоритмов создаются марковские цепи, равновесное распределение которых является пропорциональным заданной функции. К примеру, есть марковская цепь с априорным распределением p0(T) и вероятностями перехода qn(Tn+1|Tn) в момент времени n, тогда генерация выборки происходит следующим образом: T1 ∼ p0(T), T2 ∼ q1(T2|T1), ..., TN ∼ qN−1(TN |TN−1).

При таком подходе генерируемая выборка не является набором независимой случайной величины. Однако она подходит для оценки вероятностных интегралов или оценки моды распределения.

Построив цепь Маркова, которая имеет желаемое распределение в качестве стационарного, можно получить выборку желаемого распределения путем записи состояний из цепочки. Чем больше шагов включено, тем точнее распределение выборки соответствует фактическому желаемому распределению. После этого осуществляется аппроксимация методом Монте–Карло [8].

Вариационный байесовский метод

Для того чтобы далее погрузиться более детально в вариационный байесовский вывод, необходимо разобраться, что из себя представляют вариационные байесовские методы.

Вариационные байесовские методы – это семейство методов аппроксимации трудноразрешимых интегралов, возникающих при байесовском выводе [9]. Они обычно используются в сложных статистических моделях, состоящих из наблюдаемых переменных (обычно называемых "данными"), а также неизвестных параметров и скрытых переменных, с различными видами взаимосвязей между тремя типами случайных величин, которые могут быть описаны графической моделью. Как обычно в байесовском логическом выводе, параметры и скрытые переменные группируются вместе как "ненаблюдаемые переменные". Вариационные байесовские методы в основном используются для двух целей:

– обеспечить аналитическую аппроксимацию апостериорной вероятности ненаблюдаемых переменных, чтобы сделать статистический вывод по этим переменным;

– вывести нижнюю границу для предельной вероятности (иногда называемой доказательствами) наблюдаемых данных (т.е. предельной вероятности данных, заданных моделью, с маргинализацией, выполненной по ненаблюдаемым переменным). Обычно это используется для выбора модели: общая идея заключается в том, что более высокая предельная вероятность для данной модели указывает на лучшее соответствие данных этой модели и, следовательно, на большую вероятность того, что рассматриваемая модель была той, которая сгенерировала данные [9].

Однако существуют проблемы, для решения которых мы не можем легко использовать этот подход. Они возникают, в частности, когда нам требуется приблизительное условное выражение быстро или когда наборы данных велики, а модели очень сложны. В этих условиях необходим хороший альтернативный подход к приближенному байесовскому методу, этот подход – вариационный байесовский вывод.

Вариационный байесовский вывод

Основная идея вариационного вывода заключается в использовании оптимизации вместо использования выборки [10].

Сначала нам необходимо установить семейство приближенных плотностей Q – это набор плотностей со скрытыми переменными. Далее по формуле (7) найти член этого семейства, который минимизирует расхождение Кульбака-Лейблера (KL) до точного заданного значения:

Screenshot 6

Далее мы аппроксимируем апостериорное значение оптимизированным членом семейства q.

Таким образом, вариационный вывод превращает задачу логического вывода в задачу оптимизации, а охват семейства Q управляет сложностью этой оптимизации. Одна из ключевых идей, лежащих в основе вариационного вывода, заключается в том, чтобы выбрать Q достаточно гибким для получения плотности, близкой к p(z|x), но достаточно простым для эффективной оптимизации [10].

Важно отметить, что метод MCMC, и вариационный вывод – это разные подходы к решению проблемы. Алгоритмы MCMC выполняют выборку цепи Маркова, а вариационные алгоритмы решают задачу оптимизации. Алгоритмы MCMC аппроксимируют апостериорную функцию выборками из цепочки, а вариационные алгоритмы аппроксимируют апостериорную функцию результатом оптимизации.

Заключение

Метод MCMC, как правило, требует больших вычислительных затрат, чем вариационный вывод, но он также обеспечивают гарантии получения точных выборок из целевой плотности. Вариационный вывод не дает таких гарантий – он может найти плотность, только близкую к целевой, но, как правило, намного быстрее, чем MCMC. Поскольку вариационный вывод основан на оптимизации, он легко использует преимущества таких методов, как стохастическая оптимизация и распределенная оптимизация, чего лишен подход МСМС. Таким образом, вариационный вывод подходит для больших наборов данных и сценариев, где мы хотим быстро изучить множество моделей, а MCMC подходит для небольших наборов данных и сценариев, где мы потратим больше времени и вычислительных затрат, но получим более точные выборки [10].

Если рассмотреть сферу материаловедения и ее потребности, то MCMC больше подойдет для исследования, где у нас изначально есть точная подходящая модель и мы готовы потратить несколько лет на сбор небольшого, но дорогостоящего набора данных, благодаря этому мы получим точные выводы. Вариационный вывод можно использовать там, где возможно применить распределенные вычисления и стохастическую оптимизацию для масштабирования и ускорения вывода, благодаря чему можно будет легко исследовать множество различных моделей данных в короткие сроки, что соответствует цели текущего исследования.

Список литературы

  1. The Great Russian Encyclopedia. – The Great Russian Encyclopedia, 2016. — Part 32. – p. 54.
  2. A Guide to the NIST Chemistry WebBook [Электронный ресурс]. URL: https://webbook.nist.gov/chemistry/guide/ (дата обращения: 03.12.2022).
  3. Ǻgren, J. Group 2: extrapolation of the heat capacity in liquid and amorphous phases / J. Agren, B. Cheynet, M.T. Clavaguera-Mora [и др.] // Calphad, 19. – 1995. – p. 449-480.
  4. Hom, B. K. The thermodynamics of formation, molar heat capacity, and thermodynamic functions of ZrTiO4(cr) / R. Stevens, J. Woodfield // The Journal of Chemical Thermodynamics, 33. – 2001. – p.165−178.
  5. Voronin, G. F. Universal Method for Approximating the Standard Thermodynamic Functions of Solids / G. F. Voronin, I. B. Kutsenok // Journal of Chemical and Engineering Data. – American Chemical Society, 2013. – c.2083–2094.
  6. Chase, M. Group 1: heat capacity models for crystalline phases from 0 K to 6000 K / M. Chase, I. Ansara, A. Dinsdale [и др.] // Calphad, 19. - 1995. - p. 437–447.
  7. Andrieu C. An Introduction to MCMC for Machine Learning / C. Andrieu, N. D. Freitas, A. Doucet [и др.]. - Kluwer Academic Publishers, 2003. – p. 39.
  8. Berg B. A. Markov Chain Monte Carlo Simulations and Their Statistical Analysis. — World Scientific, 2004. – p. 54.
  9. Blei D. M. Variational Inference: A Review for Statisticians // Journal of the American Statistical Association. – 2016. – р. 41.
  10. Gelman A. Bayesian Data Analysis / A. Gelman, J. Carlin, H. Stern [и др.]. – CRC Press, 2013. – 656 c.