\documentclass[]{RevComEst} \labelpaper[year = 2015, month = 1, Volume = 1, number = 1, firstpage = 1] \RequirePackage{mathrsfs} %\RequirePackage{float} \begin{document} \title[maintitle = Una propuesta metodológica para elicitar el vector de parámetros $\pi$ de la distribución Multinomial, secondtitle =Una propuesta metodológica para elicitar el vector de parámetros $\pi$ de la distribución Multinomial, shorttitle = Elicitación de Expertos ] \begin{authors} \author[firstname = Andrés Felipe, surname = Flórez Rivera, affiliation = {Estudiante de Maestría, Escuela de Estadística, Universidad Nacional de Colombia, Sede Medellín }, Email = afflorezr@unal.edu.co] \author[firstname = Juan Carlos, surname = Correa Morales, affiliation = {Profesor Asociado, Escuela de Estadística, Universidad Nacional de Colombia, Sede Medellín}, Email = jccorrea@unal.edu.co] \end{authors} \begin{mainabstract} Cuando no existe información previa o es muy costosa obtenerla, las distribuciones a priori informativas brindan una opción práctica y ``económica'' que sirven de base para el inicio de un proyecto o un estudio en particular. En este trabajo presentamos una propuesta metodológica para llevar a cabo un proceso de elicitación que permite extraer el conocimiento de un experto e incorporarlo como una distribución a priori del vector de parámetros $\pi$ de la distribución Multinomial. Aquí presentamos la metodología propuesta acompañada de una ilustración y finalizamos con algunas conclusiones y recomendaciones. % \keywords{Distribución Dirichlet; Probabilidad Subjetiva; Distribución A priori; Estadística Bayesiana} \end{mainabstract} \begin{secondaryabstract} When there is no preliminary information or is too costly to obtain it, the informative priors provide a practical option and `` economic '' that serving as a basis for initiating a project or a particular study. In this paper we present a methodology for carrying out elicitation process that allow derives from an expert knowledge and incorporate it as a prior distribution of the parameter vector $\pi$ of the Multinomial distribution. Here we present the proposed methodology accompanied by an illustration and end with some conclusions and recommendations. \keywords{Dirichlet Distribution; Subjective Probability; Prior Distribution; Bayesian Statistics} \end{secondaryabstract} \section{Introducción} El paradigma bayesiano es un medio natural de implementar el método científico donde se aprovecha tanto la información que nos proporcionan los datos muestrales así como la información extra-muestral disponible. Una distribución de probabilidad elicitada es comúnmente usada como distribución a priori en el análisis bayesiano donde ésta representa las creencias iniciales acerca de los parámetros de un modelo; una vez las creencias iniciales son mezcladas con los datos muestrales a través de teorema de Bayes se obtiene la distribución posterior, la cual representa las creencias actualizadas después de ver los datos. La elicitación de expertos puede ser vista como la ingeniería del conocimiento, utilizada ampliamente en contextos donde la distribución elicitada no se combina con la evidencia de los datos, ya que la opinión de los expertos es esencialmente todo el conocimiento disponible. Lamentablemente la literatura sobre elicitación de expertos es sorprendentemente pequeña en comparación con la extensa y amplia literatura sobre estadística bayesiana en general (O'Hagan, 1998 y 2005). Algunos años atrás los desarrollos en elicitación de expertos se concentraban, unos para una clase de problemas en general y otros en problemas específicos que son útiles una sola vez (Kadane y Wolfson, 1998), centrando los esfuerzos en la construcción de métodos para los modelos más populares y en la comparación de éstos (Umesh, 1988). En la actualidad los estadísticos, y en especial los estadísticos bayesianos, están construyendo modelos cada vez más complejos para aplicaciones reales (O'Hagan, 2005).\\ La elicitación de juicios de expertos y el consenso de grupos de expertos ha sido un tema de estudio en áreas como meteorología y gestión de riesgos (Budnitz et al., 1995). En contextos médicos se ha restringido en gran medida a las creencias a priori sobre los efectos de un tratamiento donde, las opiniones a priori se aplican al parámetro de interacción (White et al., 2005). En ciencias políticas Gill y Walker (2005) muestran una útil aplicación de la elicitación de expertos para analizar la confianza de los ciudadanos nicaragüenses en el sistema judicial. Fox (1966), Gross (1971) y van Noortwijk et al., (1992) ponen la elicitación de expertos en el contexto de la confiabilidad. En ecología encontramos a Gilless y Fried (2000) quienes usan la elicitación para determinar los tiempos requeridos para producir una línea de fuego cuando se producen incendios forestales y Kynn (2006) quien desarrolla un modelo que permite elicitar distribuciones normales a priori para un modelo de regresión logística. En muestreo Hughes y Madden (2002) usan una técnica de elicitación para encontrar la distribución de $p$, la cual es usada posteriormente en la fórmula para el cálculo del tamaño muestral. En control estadístico de calidad Weiler (1965) analiza la distribución de la proporción $p$ de unidades defectuosas que pueden haber en un lote de artículos. Adicionalmente en Jenkinson (2005) podemos encontrar un resumen de una serie de estudios en Medicina, ensayos clínicos, análisis de supervivencia, Psicología, industria nuclear, Veterinaria, Agricultura, Meteorología, Economía, Ecología, Ingeniería, Deportes, Arqueología y teoría de juegos.\\ \noindent Cuando la opinión del experto se busca en dos o más variables desconocidas, el resultado de la elicitación debe ser la distribución de probabilidad conjunta del experto de esas variables. La tarea es ahora más compleja que cuando se elicita una distribución de una sola variable y, el facilitador debe hacer inevitablemente preguntas más complejas. En los casos en que las variables son dependientes, es difícil que el facilitador escape de la complejidad de la elicitación multivariante, donde generalmente se elicitan resúmenes de las distribuciones marginales del experto o se aplican transformaciones que den como resultado una nueva variable independiente (Garthwaite et al., 2005). Un ejemplo de una tarea de elicitación multivariada donde se correlacionan necesariamente las cantidades, es elicitar el conocimiento del experto sobre un conjunto de proporciones que deben sumar 1, como es el caso de la distribución Multinomial.\\ La distribución Multinomial, atrae considerablemente la atención de numerosos investigadores teóricos y aplicados en el área de las distribuciones multivariantes discretas. Generalmente se usa en las mismas situaciones en las que se podría utilizar una distribución Binomial, cuando hay múltiples categorías de eventos en lugar de una simple dicotomía (Johnson et al., 1997). Considere una serie de $n$ ensayos independientes, en donde tan sólo uno de los $k$ eventos mutuamente excluyentes de $E_{l}, E_{2}, \cdots, E_{k}$ debe ser observado, y en el cual la probabilidad de ocurrencia del evento $E$, en cualquier ensayo es igual a $\pi$ (con $\pi_{1}+\pi_{2}+\cdots +\pi_{k}=1$). Dejemos que $n_{1},n_{2}, \cdots, n_{k}$ denoten una variable aleatoria del número de ocurrencias de los eventos $E_{l}, E_{2}, \cdots, E_{k}$ respectivamente en esos $n$ ensayos, con $\sum_{i=1}^{k}n_{i}=n$. Entonces la función de masa de probabilidad de $n_{1},n_{2}, \cdots, n_{k}$ está dada por: \begin{equation}\label{eq:disMasaMultino} \small{f(n_{1}, n_{2}, \cdots, n_{k}; n, p_{1}, p_{2}, \cdots, p_{k})=} \begin{cases} \frac{n!}{n_{1}! n_{2}! \cdots n_{k}!}\pi_{1}^{n_{1}}\pi_{2}^{n_{2}}\cdots +\pi_{k}^{n_{k}} & \mbox{cuando}\hspace{0.25cm} \sum_{i=1}^{k}n_{i}=n,\\ 0 & \mbox{en otro caso}. \end{cases} \end{equation} El número esperado de veces que la categoría $i$ es observada en $n$ ensayos y su varianza son: \begin{equation}\label{eq:EsperadoMultino} E(n_{i})=n\pi_{i}; \hspace{0.5cm} Var(n_{i})=n\pi_{i}(1-\pi_{i}); \hspace{0.5cm} Cov(n_{i},n_{j})=-n\pi_{i}\pi_{j} \hspace{0.5cm} \forall i\neq j. \end{equation} En la sección 2 damos una breve introducción sobre la elicitación del vector de parámetros de la distribución Multinomial. En la sección 3 presentamos una nueva metodología de elicitación para la distribución Multinomial y finalmente en la sección 4 desarrollamos una ilustración sobre la metodología propuesta. \section{Elicitación del vector de parámetros de la distribución Multinomial} \noindent La distribución Multinomial es una generalización de la distribución Binomial, y por esto, gran parte de los trabajos que se han desarrollado sobre la elicitación del vector de parámetros de la distribución Multinomial han tenido su origen en metodologías originalmente construidas para su caso univariado, la distribución Binomial. Dado que la conjugada natural de la distribución Binomial es la distribución Beta, generalmente se asume que la distribución del parámetro $p$ de la distribución Binomial sigue una distribución Beta con parámetros $\alpha$ y $\beta$, de ahí que las metodologías hasta ahora propuestas se hayan centrado en elicitar los parámetros de esta distribución. Algunas de las principales propuestas para elicitar los parámetros de la distribución Beta se pueden encontrar en Weiler (1965), Fox (1966), Gross (1971), Waterman (1976), Chaloner y Duncan (1983), Duran y Booker (1988), Umesh (1988), Gilless y Fried (2000), León et al., (2003) y Elfadaly y Garthwaite (2012).\vspace{0.2cm} \noindent Cuando se elicita la distribución del vector de parámetros $\underline{\pi}$ de la distribución Multinomial, un enfoque habitual es asumir que el conocimiento del experto puede ser representado adecuadamente por una distribución Dirichlet, ya que ésta es una distribución multivariable muy simple que es apropiada para dicho conjunto de proporciones. La elección de una a priori Dirichlet tiene algunas ventajas con respecto tanto a la tratabilidad matemática como a la representación de una rica clase de creencias. Las a prioris Dirichlet también permiten evaluaciones analíticas de la distribución predictiva y de las distribuciones de características numéricas estadísticamente relevantes de una medida de probabilidad aleatoria (Regazzini, 1999), adicional a lo anterior, esta distribución es la más conveniente cuando el conocimiento a priori del experto es combinado con una muestra Multinomial, ya que la Dirichlet es su distribución conjugada natural (DeGroot, 2004; Zapata et al., 2012).\vspace{0.2cm} \noindent \textit{\textbf{Teorema}}: Suponga que $Y=(Y_{1}, Y_{2}\ldots Y_{k})$ tiene una distribución Multinomial con parámetro $n$ (fijo) y $\pi=(\pi_{1}, \pi_{2}, \cdots ,\pi_{k})$ desconocido. Suponga también que la distribución a priori de $\pi$ es una Dirichlet con vector de parámetros $\alpha=(\alpha_{1}, \alpha_{2} \cdots \alpha_{k})$ con $\alpha_{i}>0$ y $i=1, 2, \cdots k$. Entonces la distribución posterior de $\pi$ cuando $Y_{i}=y_{i}$ para $i=1, 2, \cdots k$, es una distribución Dirichlet con vector de parámetros $\alpha^{*}=(\alpha_{1}+y_{1}, \alpha_{2}+y_{2} \cdots \alpha_{k}+y_{k})$ (DeGroot, 2004).\vspace{0.2cm} \noindent Considere el caso de elicitar las creencias del experto sobre un conjunto de cantidades inciertas $\underline{\pi}=\left(\pi_{1}, \pi_{2},\cdots, \pi_{k}\right)$ las cuales están restringidas a caer en la categoría $(k-1)$, es decir, $\pi_{i}\geq0$ para $i=1,\ldots,k$ y $\sum_{i=1}^{k}\pi_{i}=1$. Entonces podemos decir que $\pi$ tiene una distribución Dirichlet con parámetros $\alpha=(\alpha_{1}, \ldots,\alpha_{k})$, denotada por $\pi\sim Di(\alpha)$ si su función de densidad está dada por: \begin{equation}\label{eq:dir1} f(\pi|\alpha)=c(\alpha)\prod_{i=1}^{k}\pi_{i}^{\alpha_{i}-1} \end{equation} donde $c(\alpha)=\Gamma\left(\sum_{i=1}^{k}\alpha_{i}\right)/\prod_{i=1}^{k}\Gamma(\alpha_{i})$, la media y la varianza de $\pi$ vienen dados por: \begin{equation}\label{eq:dir2} E(\pi_{i}|\alpha_{i})=\frac{\alpha_{i}}{n}; \hspace{0.2cm} Var(\pi_{i}|\alpha_{i})=\frac{\alpha_{i}(n-\alpha_{i})}{n^{2}(n+1)}; \hspace{0.1cm} Cov(\pi_{i},\pi_{j}|\alpha_{i})=\frac{-\alpha_{i}\alpha_{j}}{n^{2}(n+1)}\hspace{0.2cm} \forall i \neq j. \end{equation} donde $n=\sum_{i=1}^{k}\alpha_{i}$. La restricción de que la $\sum_{i=1}^{k}\pi_{i}=1$, hace que los $\pi_{i}$'s sean inevitablemente correlacionados.\vspace{0.2cm} \noindent Hasta ahora el número de intentos para introducir métodos de elicitación para los parámetros de la distribución Dirichlet ha sido limitado; Dickey et al., (1983) presentan un método para elicitar los parámetros de la distribución Dirichlet usando muestras hipotéticas futuras. Elfadaly y Garthwaite (2012) presentan dos métodos, uno usando la distribución marginal y otro usando la distribución condicional, ambos métodos piden al experto estimar tres cuartiles los cuales son usados para estimar $\alpha$ y $\beta$ por medio de una aproximación a la distribución normal. Zapata et al., (2012) presentan un método de elicitación basado en una metodología de sobre-ajuste donde se elicita la distribución Beta para cada $\pi_{i}$ por medio del SHELF (SHELF es un paquete de documentos, plantillas y software que proporcionan protocolos elicitación estructurados). En dichas propuestas metodológicas encontramos que los autores hacen uso de la relación directa entre la distribución Dirichlet y su caso especial univariado, la distribución Beta. Ellos inician elicitando las distribuciones marginales y condicionales de la distribución Dirichlet, las cuales en ambos casos siguen una distribución Beta. El hecho de elicitar ya sea la distribución marginal o condicional pueden llevar al proceso de elicitación a obtener estimaciones incoherentes de $N$, lo cual implica que el proceso esté obligado a buscar opciones para reconciliar o promediar las estimaciones realizadas hasta que todos los valores de $n_{i}=\alpha_{i}^{*}+e_{i}^{*}$ sean iguales, adicionalmente observamos que los métodos presentados piden al experto hacer estimaciones sobre cuartiles y probabilidades lo que implica que el analista deba hacer un mayor trabajo entrenando al experto en teoría de probabilidad, ya que sin un buen entendimiento de la teoría estadística el experto podría hacer estimaciones que no corresponden con sus verdaderos juicios. \section{Metodología Propuesta} \noindent El método propuesto es un método indirecto, consiste de una mezcla entre las técnicas de elicitación HFS (muestras hipotéticas futuras) y método de la ruleta. Se eligieron estas dos metodologías ya que son cognitivamente más fácil de entender permitiendo al experto la posibilidad de grabar y procesar de forma intuitiva la información con mayor precisión sin importar si la experticia del experto es de tipo normativa o sustantiva, adicionalmente éstas metodologías se adaptan fácilmente a la distribución Multinomial. Oakley et al., (2010) mencionan la falta de precisión en las estimaciones hechas por el experto cuando se usa el método de la ruleta, ya que si el experto distribuye un total de $N$ fichas, entonces sus probabilidades implícitas están forzadas a ser múltiplos de $1/N$. Sin duda cuando se elicitan parámetros de una distribución continua la falta de precisión del método de la ruleta existe, pero para el caso de la distribución Multinomial el método de la ruleta se adapta fácilmente sin pérdida de precisión gracias a que la Multinomial es de tipo discreta. Ahora, utilizar diferentes muestras hipotéticas de $N$ le permitirá al facilitador validar la coherencia en la respuestas que entrega el experto.\\ \noindent El proceso de pedir al experto que distribuya una muestra hipotética en las diferentes categorías de la variable que estamos elicitando es una tarea relativamente sencilla y basta con elicitar una sola muestra para obtener una aproximación a la distribución del parámetro $\pi$ de la distribución Multinomial, sin embargo, los resultados obtenidos son sensibles al valor del $n$-equivalente por lo cual se recomienda al analista realizar la tarea de estimación del $n$-equivalente cuidadosamente.\\ \noindent Cuando el analista ya ha elicitado los juicios del experto y ha estimado el valor del $n$-equivalente, el método propuesto hace uso de la simulación estadística. La simulación estadística se han convertido en una importante herramienta de investigación en muchos campos científicos, donde se han identificado diferentes funciones epistémicas en las cuales los modelos de simulación pueden apoyar. La simulación simplemente puede ser vista como una formalización de las teorías aplicadas a situaciones particulares (por ejemplo, la distribución de un parámetro bajo unos híper-parámetros iniciales). El estudio de modelos de simulación puede ser extremadamente útil en la comprensión y la teoría de la revisión, ya que proporcionan una manera explícita y sistemática de deducir las implicaciones de una teoría, ya que opera bajo circunstancias particulares para hacer predicciones acerca de los resultados (Wendy S, 2008; Hanneman R, 1995). El análisis de simulación produce ``resultados previstos'' que pueden ser validados por el experto contra el conocimiento que él tiene, y así a través de retroalimentación continua, la simulación puede llevar al experto a tener un mayor entendimiento del problema en estudio y por ende resultados más acertados en el proceso de elicitación, adicionalmente, la simulación estadística le permite al método propuesto la posibilidad de estimar de manera inmediata la media y varianza de la distribución Dirichlet, las cuales son despejadas para estimar los valores del vector de parámetros $\alpha$.\\ \noindent Finalmente, la unión de las muestras hipotéticas, el método de la ruleta y la simulación estadística forman un método sencillo de aplicar que no requiere que el experto se enfrente con grandes esfuerzos para hacer estimaciones y que acompañado de retroalimentación continua para el experto podría arrojar mejores estimaciones.\\ \noindent La propuesta para elicitar la distribución del vector de parámetros $\pi$ de la distribución Multinomial se basa en tres componentes. La primera componente busca estimar el $n$ equivalente del experto, es decir, se busca estimar un tamaño muestral $n$ de manera que la opinión del experto sea equivalente a dicho tamaño muestral. La segunda componente aplica el método de la Ruleta (propuesto por Oakley et al, 2010) que le permite al analista estimar el vector de probabilidades de ocurrencia de cada categoría. La tercera componente es un método de simulación estadística que permite que los parámetros de su distribución conjugada Dirichlet sean estimados por medio del $n$ equivalente estimado en la componente 1 y el vector de probabilidades estimado en la componente 2. Si $x$ es una variable aleatoria la cual sigue una distribución Multinomial con parámetros $(n; \pi_{1}, \pi_{2}, \cdots, \pi_{k})$ y considerando los resultados obtenidos de su distribución marginal y condicional el método puede ser aplicado mediante los siguientes pasos: \begin{enumerate} \item \textbf{Estimación del $n$ equivalente:} En esta etapa se estima el tamaño muestral $n$ que representa la opinión del experto, es decir, se estima un valor de $n$ de manera que la opinión del experto sea equivalente a sacar una muestra aleatoria de la población de tamaño $n$. La idea principal es que el facilitador califique el nivel de experticia que tiene el experto y estime el valor de $n$ según la calificación asignada. Por ejemplo, si el facilitador asigna la calificación más baja al experto, entonces el valor equivalente de $n$ sería igual o muy cercano al número de categorías de la variable que se desea elicitar, contrario a esto, si el facilitador asigna una calificación alta al experto, entonces la opinión de ese experto es equivalente a sacar una muestra aleatoria representativa de la población como se hace generalmente con el uso de la estadística clásica.\\ Sea $n_{mc}$ el tamaño muestral para estimar un parámetro de una proporción que sigue una distribución Multinomial calculado a través de algún método de la estadística clásica y $k$ es el número de categorías que tiene dicha proporción, entonces el $n$ equivalente de la opinión del experto debe estar en $k\leq n \leq n_{mc}$. Bromaghin (1993) presenta un método que permite calcular el valor de $n_{mc}$, este método está basado en el enfoque propuesto por Tortora (1978). El valor de $n_{mc}$ puede ser calculado como: \begin{equation}\label{eq:tamanomuestra1} n_{mc}=\left(\frac{z_{(1-(\alpha_{i}/2))}^{2}}{2d_{i}^{2}}\right)\left[\pi_{i}(1-\pi_{i})-2d_{i}^{2}+\sqrt{\pi_{i}^{2}(1-\pi_{i})^{2}-d_{i}^{2}\left[4\pi_{i}(1-\pi_{i})-1\right]}\right] \end{equation} Si no se cuenta con información a priori sobre la probabilidad de cada categoría, la muestra puede ser estimada como: \begin{equation}\label{eq:tamanomuestra2} n_{mc}=1+int\left(\underbrace{max}_{i\in{\left\{1, 2, \cdots, k\right\}}}\left[\frac{0.25z_{(1-(\alpha_{i}/2))}^{2}}{2d_{i}^{2}}-z_{(1-(\alpha_{i}/2))}^{2}\right]\right) \end{equation} %Como se muestra en la tabla 2, Bromaghin (1993) basado en (\ref{eq:tamanomuestra1}) y (\ref{eq:tamanomuestra2}) presenta un tamaño de muestra para diferentes combinaciones de $d$, %$\tau$ y $k$: Ahora si el facilitador tuvo en cuenta los criterios para la selección del experto mencionados en la sección 2.3, se espera que el valor del $n$ equivalente en la mayoría de los casos sea muy aproximado al valor de $n_{mc}$, entonces una forma práctica de estimar el valor de $n$ haciendo uso del enfoque propuesto por Bromaghin (1993) podría ser fijando un valor de $d$ y asignar un valor de $\alpha=0.20$ si el facilitador considera que el nivel de experticia del experto es alto, asignar un valor de $\alpha=0.40$ si el facilitador considera que el nivel de experticia del experto es medio o asignar un valor de $\alpha=0.60$ si el facilitador considera que el nivel de experticia del experto bajo. Así utilizando (\ref{eq:tamanomuestra2}) tendríamos los siguientes valores para $n_{mc}$: \begin{center} \scriptsize{ \begin{tabular}{rccccccccccc} \hline &\multicolumn{11}{c}{$\alpha$} \\ \cline{2-12} &\multicolumn{3}{c}{0.20}&&\multicolumn{3}{c}{0.40}&&\multicolumn{3}{c}{0.60}\\ &\multicolumn{3}{c}{$d$}&&\multicolumn{3}{c}{$d$}&&\multicolumn{3}{c}{$d$}\\ \cmidrule{2-4} \cmidrule{6-8} \cmidrule{10-12} k&0.05&0.075&0.10&&0.05&0.075&0.10&&0.05& 0.075 & 0.10\\ \hline 2 &268&118&65&&163&72&40&&107&47&26\\ 3 &333&147&81&&224&98&55&&163&72&40\\ 4 &381&167&93&&268&118&65&&206&91&50\\ 5 &418&184&102&&304&134&74&&240&106&59\\ 6 &449&197&109&&333&147&81&&268&118&65\\ 7 &475&209&116&&359&158&87&&293&129&71\\ 8 &498&219&121&&381&167&93&&314&138&77\\ 9 &518&228&126&&400&176&97&&333&147&81\\ 10&536&236&130&&418&184&102&&351&154&85\\ 11&553&243&134&&434&191&106&&366&161&89\\ 12&568&249&138&&449&197&109&&381&167&93\\ 13&582&256&141&&462&203&112&&394&173&96\\ 14&595&261&145&&475&209&116&&407&179&99 \\ 15&607&267&147&&487&214&118&&418&184&102\\ \hline \multicolumn{12}{l}{\tiny{Tabla 1. Tamaño muestral equivalente con un nivel de significancia $\alpha$ y un porcentaje de}}\\ \multicolumn{12}{l}{\tiny{error $d$ para probabilidades Multinomiales descrito por Bromaghin (1993).}}\\ \end{tabular} } \end{center} \item \textbf{Estimación de la frecuencia relativa:} El facilitador da al experto una muestra hipotética y le pide distribuir dicha muestra en las diferentes categorías de la variable a elicitar, es decir, el facilitador da una muestra hipotética $N$ y pide al experto estimar según su conocimiento el valor de los eventos $E_{1}, E_{2}, \cdots, E_{k}$ que ocurrirán de cada categoría con $N=\sum_{i=1}^{k}E_{i}$, de manera que la probabilidad típica de ocurrencia de cada categoría pueda ser estimada como $E_{1}/N, E_{2}/N, \cdots, E_{k}/N$. \item \textbf{Simulación:} Una vez el facilitador ha estimado el valor del $n$ equivalente en el paso 1 y el vector de probabilidad típica en el paso 2 se procede con la simulación de una distribución Multinomial por medio de la función rmultinom del software R. La función rmultinom recibe tres parámetros. El primero corresponde al número de simulaciones que deseamos realizar. El segundo es el tamaño de muestra equivalente (estimado en el paso 1). El tercero es el vector de probabilidades de cada categoría (estimado en el paso 2). Por ejemplo, si en el paso 1 se estimó para el experto un valor muestral equivalente de $n=500$, el vector de probabilidades hallado en el paso 2 es $Prob=(0 \mbox{.} 1, 0\mbox{.}2, 0\mbox{.}3, 0\mbox{.}2, 0\mbox{.}2)$ y se desea realizar $1000$ simulaciones, el comando en R debería lucir como: \begin{verbatim}>rmultinom(1000, 500, prob=c(0.1, 0.2, 0.3, 0.2, 0.2))\end{verbatim} El comando retorna una matriz de 1000 columnas y 5 filas, donde cada columna representa una simulación. \item \textbf{Estimación de $\alpha_{i}$:} En esta etapa finalmente se hace la estimación del vector de parámetros $\alpha=(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{k})$ de la distribución Dirichlet. Dado que cada $x_{i}$ simulado en el paso 3 sigue una distribución Multinomial, entonces $y_{i}=x_{i}/n$ tiene una distribución Dirichlet con un vector de parámetros $\alpha=(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{k})$, donde $n$ es el tamaño muestral equivalente estimado en el paso 1, $\alpha_{0}=\sum_{i=1}^{k}\alpha_{i}$, su primer y segundo momento vienen dados por: \begin{equation}\label{eq:moments1} E[y_{i}]=\frac{\alpha_{i}}{\alpha_{0}}. \end{equation} \begin{equation}\label{eq:moments2} Var[y_{i}]=\frac{\alpha_{i}(\alpha_{0}-\alpha_{i})}{\alpha_{0}^2(\alpha_{0}+1)}. \end{equation} y la moda de $y_{i}$ viene dada por: \begin{equation}\label{eq:moda2} Moda=\frac{\alpha_{i}-1}{\alpha_{0}-k}; \hspace{1cm} \alpha_{i}>1. \end{equation} Note que los valores de (\ref{eq:moments1}), (\ref{eq:moments2}) y (\ref{eq:moda2}) pueden ser fácilmente estimados a partir de los valores simulados en el paso anterior, entonces el problema se reduce a resolver las ecuaciones (\ref{eq:moments1}) y (\ref{eq:moments2}) en términos de $\alpha_{0}$ y $\alpha_{i}$. De (\ref{eq:moments1}) tenemos que: \begin{equation}\label{eq:alfa-i} \alpha_{i}=\alpha_{0}E[y_{i}] \end{equation} Ahora usamos (\ref{eq:moments2}) para dejar a $\alpha_{0}$ en términos de $E[y_{i}]$ y $Var[y_{i}]$:\\\\ \begin{equation}\label{eq:alfacero} \alpha_{0}=\frac{(E[y_{i}]-E[y_{i}]^2)}{Var[y_{i}]}-1 \end{equation} Para encontrar los valores de cada $\alpha_{i}$ reemplazamos (\ref{eq:alfacero}) en (\ref{eq:alfa-i}) y obtenemos que: \begin{equation}\label{eq:alfaI1} \alpha_{i}=\left(\frac{(E[y_{i}]-E[y_{i}]^2)}{Var[y_{i}]}-1\right)E\left[y_{i}\right] \end{equation} Ahora, antes de reemplazar en (\ref{eq:alfaI1}) los valores de $E[y_{i}]$ y $Var[y_{i}]$ por sus respectivas estimaciones $\bar{y_{i}}$ y $S_{i}^{2}$ se debe normalizar $y_{i}$ de manera que se cumpla la restricción $\sum_{i=1}^{k}\bar{y_{i}}=1$: \begin{equation}\label{eq:normaliza} \bar{\bar{y_{i}}}=\frac{\bar{y_{i}}}{\sum_{i=1}^{k}\bar{y_{i}}} \end{equation} Finalmente cada $\alpha_{i}$ puede ser estimado reemplazando los valores de $\bar{\bar{y_{i}}}$ y $S_{i}^{2}$ en (\ref{eq:alfaI1}): \begin{equation}\label{eq:alfaI2} \alpha_{i}=\left(\frac{(\bar{\bar{y_{i}}}-\bar{\bar{y_{i}}}^2)}{S_{i}^2}-1\right)\bar{\bar{y_{i}}} \end{equation} \item \textbf{Estimación de $\alpha_{0}$ y $\alpha_{i}$ usando su valor modal:} Un enfoque que puede llevarse en paralelo es despejar $\alpha_{i}$ en términos de su valor modal. De (\ref{eq:moda2}) encontramos que: \begin{equation}\label{eq:AlfaImoda} \alpha_{i}=Moda_{i}\left[\frac{(\bar{\bar{y_{i}}}-\bar{\bar{y_{i}}}^2)}{S_{i}^2}-1\right]-Moda_{i}*k+1. \end{equation} Luego el facilitador podrá escoger el valor de $\alpha_{i}$ que más le convenga o simplemente promediar los dos valores de $\alpha_{i}$. \end{enumerate} Note que los pasos 4 y 5 dependen mucho del paso 1 ya que los valores de $\alpha_{i}$ se ven afectados directamente por cualquier modificación de $n$. \section{Ilustración} \noindent Suponga por ejemplo que se quiere estimar el vector de probabilidad típica de ocurrencia del número de hinchas que tienen los equipos de fútbol Colombiano en la Universidad Nacional de Colombia, suponga también que el facilitador inicia con una muestra hipotética de tamaño igual a 100 y que éste pide al experto realizar una estimación del número de hinchas del Independiente Medellín, Atlético Junior de Barranquilla, Atlético Nacional, Millonarios Fútbol Club y otros equipos que saldrían en dicha muestra. Si la respuesta del experto fuese que del Independiente Medellín hay 10 hinchas, del Atlético Junior de Barranquilla 20, del Atlético Nacional 30, de Millonarios Fútbol Club 20 y de otros equipos 20 hinchas, entonces el vector de probabilidades estaría dado por: $Prob=(10/100, 20/100, 30/100, 20/100, 20/100)=(0 \mbox{.} 1, 0\mbox{.}2, 0\mbox{.}3, 0\mbox{.}2, 0\mbox{.}2)$. El facilitador puede repetir este procedimiento las veces que considere prudente y validar si el experto es consistente con la distribución de los eventos $E_{i}$ en las diferentes muestras hipotéticas $N$. Ahora haciendo uso de la simulación tenemos que: \begin{verbatim}>sim=rmultinom(1000, 500, prob=c(0.1, 0.2, 0.3, 0.2, 0.2))/500\end{verbatim} entonces $sim\sim Dirichlet(\alpha_{1}, \alpha_{2}, \alpha_{3}, \alpha_{4})$, por lo que la media y varianza pueden ser estimadas directamente de $sim$: \begin{verbatim} >medias<-rowMeans(sim) >varianzas<-sapply(1:4,function(x)var(sim[x,])) \end{verbatim} ahora reemplazamos los valores estimados para la media y la varianza en la ecuación (\ref{eq:alfaI2}) tenemos que la estimación del vector $\alpha=(\alpha_{1}, \alpha_{2}, \alpha_{3}, \alpha_{4})$ de la distribución Dirichlet es: \begin{center} \begin{tabular}{rrrr} \hline & Alfa & Media & Varianza \\ \hline $\alpha_{1}$ & 93.07 & 0.19 & 0.0003 \\ $\alpha_{2}$ & 114.27 & 0.23 & 0.0003 \\ $\alpha_{3}$ & 165.92 & 0.33 & 0.0004 \\ $\alpha_{4}$ & 84.95 & 0.17 & 0.0002\\ $\alpha_{5}$ & 44.69 & 0.09 & 0.0001 \\ \hline \end{tabular} \end{center} \section{Conclusiones} \noindent El método propuesto es una forma sencilla de elicitar la distribución del vector de parámetros $\pi$ de la distribución Multinomial, sin embargo, resaltamos que el analista debe aumentar su atención en la validación de la concordancia entre de la distribución obtenida y los juicios del experto, ya que por la naturaleza del método es fácil que el experto caiga en la heurística de anclaje y sobre ajuste (Tversky y Kahneman, 1974). Por otro lado, es importante que el analista realice un trabajo cuidadoso en la selección del experto dado que la valoración del conocimiento del experto es fundamental para la estimación del $n-equivalente$, el cual juega un papel vital en el rendimiento del método propuesto. Para realizar la selección el analista puede iniciar diagnosticando si el conocimiento es de tipo nominal, sustantivo o una mezcla de los dos, posteriormente hacer uso del método de calibración por medio de preguntas semilla (propuesto por Cook (2008)) o cualquier otro método que le permita cuantificar dicho conocimiento de manera que pueda ser puesto en términos de una muestra aleatoria, por ejemplo, una forma sencilla de aproximar la valoración hecha por el analista a un tamaño de muestra para la distribución Multinomial es usando el método propuesto por Bromaghin (1993). Entonces, queda el camino abierto para que otros investigadores interesados en el método hagan sus propuestas sobre la forma más ``óptima'' de estimar el $n$ equivalente. %\references{CorreaLopez} \begin{thebibliography}{xx} \bibitem{Bromaghin} \footnotesize{Bromaghin J., 1993, Sample Size Determination for Interval Estimation of Multinomial Probabilities, \textit{The American Statistician,} Vol 47, 203-206, No. 3.} \bibitem{Budnitz} \footnotesize{Budnitz, J., Boore, M., Apostolakis, G., Cluff, S., Coppersmith, J., Cornell, A. y Morris, A., 1995, Recommendations for probabilistic seismic hazard analysis: guidance on uncertainty and use of experts, \textit{US Nuclear Regulatory Commission,} Vol 1, 1-278. http://www.osti.gov/scitech/servlets/purl/479072, tomado el 19/08/2014} \bibitem{chaloner} \footnotesize{Chaloner, K., Duncan T., 1983, Assessment of a Beta Prior Distribution: PM Elicitation,\textit{The Statistician,} Vol 27, 174-180.} \bibitem{Cooke1} \footnotesize{Cooke R, A. y Goossens L.H.j, 2008, TU Delft Expert Judgment Data Base}, \textit{Reliability Engineering and System Safety. Vol. 93.} \bibitem{Correa} \footnotesize{Correa J, C., 2011, {\itshape Elementos de Estadística Bayesiana, Notas de Clase}.} \bibitem{DeGroot} \footnotesize{DeGroot M., 2004, Optimal Statistical Decisions, \textit{John Wiley \& Sons.}} \bibitem{Dickey} \footnotesize{Dickey J, Jiang J. y Kadane J., 1983, Bayesian methods for multinomial sampling with missing data using multiple hypergeometric functions,\textit{State University of New York at Albany Department of Mathematics and Statistics: Research Report,} 6/83 - Nro. 15.} \bibitem{Duran} \footnotesize{Duran B., Booker J., 1988, A Bayes Sensitivity Analysis when Using the Beta Distribution as a Prior,\textit{IEEE Transactions on Reliability,} Vol 37, 239-247, No. 2.} \bibitem{Elfadaly}\footnotesize{Elfadaly F., Garthwaite P. 2012, On Eliciting Some Prior Distributions for Multinomial Models ,\textit{Department of Mathematics and Statistics,} The Open University, UK.} \bibitem{Fox}\footnotesize{Fox, B., 1966, A Bayesian approach to reliability assessment,\textit{Memorandum RM-5084-NASA, The Rand Corporation,} Santa Monica, CA, 23 pp.} \bibitem{Joseph1} \footnotesize{Garthwaite P., Kadene J. y O'Hagan A., 2005, Statistical Methods for Eliciting Probability Distributions,\textit{Journal of the American Statistical Association,} Vol. 100, 680-700, No.470.} \bibitem{Jeff} \footnotesize{Gill J. y Walker L., 2005, Elicited Priors for Bayesian Model Specifications in Political Science Research, \textit{University of California, Davis}} \bibitem{Gilless} \footnotesize{Gilless J. y Fried S., (2000), Generating beta random rate variables from probabilistic estimates of fireline production times., \textit{Annals of Operations Research}, Vol. 95, 205-215.} \bibitem{Gosling1} \footnotesize{Gosling P., 2008, On the elicitation of continuous, symmetric, unimodal distributions,\textit{Cornell University Library,} http://arxiv.org/pdf/0805.2044v1.pdf, tomado el 21/08/2013.} \bibitem{Gross} \footnotesize{Gross A., 1971, The Application of Exponential Smoothing to Reliability, \textit{Technometrics}, Vol. 13, 877-883 No. 4.} \bibitem{Hanneman} \footnotesize{Hanneman R., 1995, Simulation Modeling and Theoretical Analysis in Sociology, \textit{Sociological Perspectives: Computer Simulations and Sociological Theory,} Vol. 38, 457-462, No. 4.} \bibitem{Hogarth} \footnotesize{Hogarth R., 1975, Cognitive Processes and the Assessment of Subjective Probability Distributions,\textit{Journal of the American Statistical Association,} Vol. 70, 271-289, No.350.} \bibitem{Hughes} \footnotesize{Hughes G. y Madden L., 2002, Some methods for eliciting expert knowledge of plant disease epidemics and their application in cluster sampling for disease incidence, \textit{Crop Protection}, Vol. 21, 203-215.} \bibitem{Jenkinson} \footnotesize{Jenkinson D., 2005, \textit{The Elicitation of Probabilities - A Review of the Statistical Literature}.} \bibitem{Johnson1} \footnotesize{Johnson N., Kotz S., Balakrishnan N., 1997, Discrete Multivariate Distributions, \textit{John Wiley \& Sons, Inc,} primer edición, 31-83.} \bibitem{Joseph} \footnotesize{Kadane J., Wolfson L., 1998, Experiences in Elicitation, \textit{The Statistician,} Vol. 47, 3-19, No. 1.} \bibitem{kynn} \footnotesize{Kynn M, 2006, Designing ELICITOR: Software to graphically elicit expert priors for logistic regression models in ecology}, \textit{Department of Mathematics and Statistics, Fylde College, Lancaster University.} \bibitem{leon} \footnotesize{León C., Vázquez F. y León C., 2003, Elicitation of Expert Opinion in Benefit Transfer of Environmental Goods, \textit{Environmental and Resource Economics}, Vol 26, 199-210.} \bibitem{Ohagan4} \footnotesize{Oakley J., Daneshkhah A. y O'Hagan A., 2010, Nonparametric Prior Elicitation using the Roulette Method,\textit{School of Mathematics and Statistics, University of Sheffeld, UK.}} \bibitem{Ohagan1} \footnotesize{O'Hagan A., 1998, Eliciting Expert Beliefs in Substantial Practical Applications, \textit{Journal of the Royal Statistical Society, Series D}, Vol. 47, 21-35, No. 1.} \bibitem{Ohagan2} \footnotesize{O'Hagan A., 2005, Research in Elicitation, \textit{University of Sheffield, UK,}} \bibitem{R} \footnotesize{R Core Team, 2014, A Language and Environment for Statistical Computing, \textit{R Foundation for Statistical Computing} http://CRAN.R-project.org} \bibitem{Regazzini} \footnotesize{Regazzini E., 1999, Approximation of Laws of Multinomial Parameters by Mixtures of Dirichlet Distributions with Applications to Bayesian Inference, \textit{Acta Applicandae Mathematicae,} vol 58, 247-264.} \bibitem{Ruiz} \footnotesize{Ruiz, A., 2004, Apuntes de Estadística Bayesiana.} \bibitem{Stevens} \footnotesize{Stevens J. y O'Hagan A., 2002, Incorporation of genuine prior information in cost-effectiveness analysis of clinical trial data, \textit{International Journal of Technology Assessment in Health Care,} Vol 18 782-790.} \bibitem{Tversky} \footnotesize{Tversky A., Kahneman D., 1974, Judgment under Uncertainty: Heuristics and Biases, \textit{Science, New Series,} Vol. 185, No. 4157 1124-1131.} \bibitem{Umesh} \footnotesize{Umesh, G., A 1988, comparison of Two Elicitation Methods for a Prior for a Binomial Parameter ,\textit{Management Science,} Vol. 34, 784-790.} \bibitem{Noortwijk} \footnotesize{van Noortwijk J., Dekker R., Cooke R., Mazzuchi T., 1992, Expert Judgment in Maintenance Optimization, \textit{IEEE Transactions on reliability,} Vol 41, 427-432, No. 3.} \bibitem{Waterman} \footnotesize{Waterman M., Martz H., Walter R., 1976, Fitting Beta Prior Distributions in Bayesian Reliability Analysis A Sat of TabSss,\textit{Los alamos scientific laboratory of the University of California,} LA-6395-MS.} \bibitem{Weiler} \footnotesize{Weiler H., 1965, The use of incomplete beta functions for prior distributions in binomial sampling, \textit{Technometrics,} Vol 7, 335-347.} \bibitem{Wendy} \footnotesize{Wendy S., 2008, Computer Simulation through an Error-Statistical Lens, \textit{Synthese,} Vol. 163, 371-384, No. 3.} \bibitem{winkler} \footnotesize{Winkler, R., 1967a, The Assessment of Prior Distributions in Bayesian Analysis, \textit{Journal of the American Statistical Association.}Vol. 62, 776-800.} \bibitem{white} \footnotesize{White I, Pocock S y Wang D, 2005, Eliciting and using expert opinions about influence of patient characteristics on treatment effects: a Bayesian analysis of the CHARM trials,\textit{Statistics in Medicine,} Vol. 24, 3805-3821.} \bibitem{Rita} \footnotesize{Zapata R., O’Hagan A. Soares L, 2012, Eliciting expert judgements about a set of proportions, \textit{http://tonyohagan.co.uk/academic/pdf/Dirichlet.pdf}, Consultado: Enero 21 de 2014 a las 21:45.} \end{thebibliography} \end{document}