Principais Aspectos a Considerar ao Empregar Modelagem · PDF filePrincipais Aspectos a...
Transcript of Principais Aspectos a Considerar ao Empregar Modelagem · PDF filePrincipais Aspectos a...
Principais Aspectos a Considerar ao Empregar Modelagem com PLS -
Partial Least Squares
Coordenação:
Cesar Alexandre de Souza – PPGA/FEA/USPDiógenes de Souza Bido – PPGA/Mackenzie
Sessões de Desenvolvimento Acadêmico
Divisão ADI14/09/2015 (2ª feira)14h - 16h Sala Itacolumi
Agenda
• Primeiro Aspecto: Entendendo os objetivos da pesquisa
• Segundo Aspecto: PLS é “salvação da lavoura”?
• Terceiro Aspecto: Especificação
• Quarto Aspecto: Estimação
• Quinto Aspecto: Avaliação
• Sexto Aspecto: Analisando o Modelo
Entendendo os Objetivos da Pesquisa
Entendendo os Objetivos da Pesquisa
• Para fazer limonada, use limões
As “etapas” da construção de uma teoria: Tipos de Pesquisa
• Exploratória (identificar as variáveis de interesse)
• Descritiva (determinar a frequência com que algo ocorre e a existência de correlações entre variáveis)– Preditiva “descritiva” A partir das correlações é
possível “prever” se existe a ação a então existe o efeito b)
• Explanatória (analisar hipóteses de relação causal entre variáveis, com base em teorias)
• Preditiva Causal (se realizarmos uma ação a, então ocorrerá um efeito b)
• Antes de iniciarmos qualquer atividade é preciso saber se o objetivo da pesquisa é:– “testar a teoria”, procurando um modelo que explique porque as
variáveis estão correlacionadas (modelo causal)
– “prever” (no sentido correlacional) o comportamento de variáveislatentes, muitas vezes criando índices (escores)
Visão geral da modelagem
• Antes de iniciarmos qualquer atividade é preciso saber se o objetivo da pesquisa é:– “testar a teoria”, procurando um modelo que explique porque as
variáveis estão correlacionadas (modelo causal) reproduzir as covariâncias especificadas no modelo
– “prever” (no sentido correlacional) o comportamento de variáveislatentes, muitas vezes criando índices (escores) minimizar os errosde mensuração e estrutural
Visão geral da modelagem
• Antes de iniciarmos qualquer atividade é preciso saber se o objetivo da pesquisa é:– “testar a teoria”, procurando um modelo que explique porque as
variáveis estão correlacionadas (modelo causal) reproduzir as covariâncias especificadas no modelo
– “prever” (no sentido correlacional) o comportamento de variáveislatentes, muitas vezes criando índices (escores) minimizar os errosde mensuração e estrutural
• O objetivo é que deve guiar a escolha do método, e não o contrário (LISREL e PLS não são métodos alternativos ouconcorrentes, é melhor entendê-los como complementares, cujos objetivos são diferentes).
Visão geral da modelagem
SEM
SEM-BCPLS-SEM ou
PLSPM (*)
LISREL, AMOS,
EQS, RAMONA,
SEPATH, CALIS,
Mplus, Mx Graph,
R (sem, lavaan,
OpenMx)
LVPLS, VisualPLS,
PLS-Graph,
SmartPLS 2,
SmartPLS 3,
XLSTAT-PLSPM,
R (semPLS, plspm)
técnica de
análise
multivariada
“de segunda
geração”
Método de
estimação
Softwares
(*) Não confundir com PLS-R, que é usado em quimiometria
SEM baseado em Covariâncias• É uma técnica a priori, isto é, depende de uma série de
especificações previamente estabe-lecidas pelo pesquisador (KLINE, 1998)
• É um “Full Information Method”, ou seja, resolve todo o modelo simultaneamente
• Oferece uma transição de análise exploratória para análise confirmatória (HAIR et al., 2005)
X1
X2
Y1
Y2
b1
b2b3
i1
i2
i3
i4
i5
i6
i10
x11
x12
i7 i8 i9
X1
X2
Y1
Y2
i1
i2
i3
i4
i5
i6
i10
x11
x12
i7 i8 i9
2
Modelo teóricoAjuste aos dados
observados
e1
e2
e3
e4
e5
e6
e10
e11
e12
e7 e8 e9
SEM baseado em Variâncias (PLS)• Também é uma técnica a priori, já que os construtos e suas
escalas também devem ser definidos previamente
• O modelo é resolvido iterativamente por blocos (combinações de constructos teóricos e medidas) um de cada vez (partial) pelo uso de regressões interdependentes.
• Por isso, não há um indicador geral de ajuste do modelo aos dados
X1
X2
Y1
Y2
b1
b2b3
i1
i2
i3
i4
i5
i6
i10
x11
x12
i7 i8 i9
X1
X2
Y1
Y2
i1
i2
i3
i4
i5
i6
i10
x11
x12
i7 i8 i9
Modelo teórico Ajuste aos dados
observados
R2
R2
• O critério de mínimos quadrados (LS) é aplicado sobre os resíduos tanto das variáveis observadas quanto das latentes (maior peso para os dados do que para a teoria).
• Para a aplicação do PLS não é necessário que os dados tenham distribuiçãonormal e a escala utilizada pode ser ordinal ou dicotômica, por isso, também é conhecido como “soft modeling”.
– A significância dos coeficientes do modelo é testada por bootstraping”
– Permite indicadores reflexivos e formativos
Estimação do modelo via PLS
BIDO, D. S.; SILVA, D.; SOUZA, C. A.; GODOY, A. S. Mensuração com indicadores formativos .... RAEP, v. 11, n. 2, p. 245–269, 2010.
Métodos e Objetivos da Análise• Henseler, Ringle e Sinkovics (2009, p.296)
LISREL
PLS-PM
RNA
Predição
Teste de
teoria
Construção
de
teoria
Não é
necessário
teoria
Não é
necessário
Predição
ESTIMAÇÃO DO MODELO: Justificar a escolha do PLS-PM ou do LISREL
CRITÉRIO PLS-PM (soft modeling) (LISREL) MEE-BC (hard modeling)
Objetivo Predição Explicação: teste de teoria e causalidade
Abordagem Baseado na variância Baseado na covariância
PrecisãoConsistente conforme o tam. da amostra e a qtde de
indicadores aumentam (consistency at large).Consistente conforme o tamanho da amostra.
Variáveis latentes
(VL)
As VL são combinações lineares dos indicadores, os
escores fatoriais são estimados explicitamente
Indeterminância fatorial: diversos modelos podem
reproduzir a matriz de covariâncias.
Modelo de
mensuraçãoPode haver indicadores formativos ou reflexivos.
Apenas indicadores reflexivos. Para modelar VL com
indicadores formativos usa-se a abordagem MIMIC
Requisitos quanto à
teoriaMais flexível, contexto mais exploratório. Fortemente dependente da teoria.
Distribuição dos
dados
Não há suposições de distribução nem independencia
das observações, por isso, se diz que é “soft” modeling.
Dependendo do método de estimação, as variáveis
deveriam apresentar distribuição normal multivariada.
Tamanho da amostra
Análise do poder estatístico com a parte do modelo que
possui o maior número de preditores (indicadores
formativos ou setas estruturais, o que for maior). O
mínimo recomendado é de 30 a 100 casos.
Idealmente baseado na análise do poder estatístico, sendo
o mínimo recomendado da ordem de 200 casos.
Identificação
(estimação única dos
parâmetros)
Para modelo recursivos é quase sempre identificado.
Depende do modelo e deve ter pelo menos de 3 a 4
indicadores por VL. Três problemas: às vezes o modelo
não converge, soluções impróprias e indeterminância
fatorial.
Significância dos
Parâmetros
Estimada por métodos não-paramétricos, por exemplo,
bootstrap.
Geralmente, estimada por métodos paramétricos, mas
bootstrap é uma opção.
ComplexidadeCapaz de lidar com alta complexidade (100 construtos e
1000 indicadores)
Complexidade de média a moderada (menos de 100
indicadores).
Inclusão de
restrições nos
parâmetros do
modelo
Mesmo que não haja seta entre as VL, é suposto que
elas tenham correlação entre si (não se usa setas
bidirecionais na MEEPLS).
Não é possível impor restrições aos parâmetros do
modelo, por exemplo, forçando que a correlação entre
duas VL seja igual a 1 no teste de validade
discriminante.
Se não houver setas entre as VL é suposto que a correlação
entre elas seja zero (restrição implícita). É possível impor
restrições em qualquer parâmetro do modelo, por exemplo:
parâmetro = valor fixo; parâmetro 1 = parâmetro 2;
parâmetro 1 do grupo 1 = parâmetro 1 do grupo 2; ou
maior do que; ou menor do que, e outras menos usadas
como restrições de proporcionalidade e de não-linearidade
ESTIMAÇÃO DO MODELO: Justificar a escolha do PLS-PM em vez do LISREL
Use PLS-PM se:
- Construção do modelo ainda em fase exploratória
- Amostra pequena para LISREL- Há indicadores formativos- Modelo muito complexo (grande
quantidade de VL e/ou indicadores)
- Dados não-normais.
Use LISREL (MEE-BC) se:
- Objetivo é testar teoria- São necessários os índices de
adequação do modelo (GoF).- Se os dados não são normais, pelo
menos, a amostra é grande- Necessário incluir restrições nos
parâmetros do modelo, por exemplo, erros correlacionados
- Presença de relações não-recursivas (causação recíproca ou feedbacks)
CHIN, W. W.; NEWSTED, P. R. Structural Equation Modeling Analysis with Small Sample Using Partial Least Squares. In Hoyle, R. H. (Org.) Statistical Strategies for Small Sample Research. California: Sage Publications, Inc., 1999. pp. 307-341.HAIR JR., J. F.; HULT, G. T. M.; RINGLE, C. M.; SARSTEDT, M. A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM). Thousand Oaks, CA: Sage Publications, Inc., 2014.
Henseler, J; RingleC. M; Sinkovics, R R (2009), The use of partial least squares path modeling in international marketing, in Rudolf R. Sinkovics, Pervez N. Ghauri (ed.) New Challenges to International Marketing (Advances in International Marketing, Volume 20) Emerald Group Publishing Limited, pp.277 - 319
1980
PLS é “Salvação da Lavoura”?
PLS é “Salvação da Lavoura”?• Dados não normais, amostra pequena... isso foi
decorrência de fatores fora do controle do pesquisador?
• Ou... de objetivo mal definido, construtos mal definidos, questionário mal elaborado ou elaborado “por instinto”, dados mal coletados...
PLS é “Salvação da Lavoura”?• Existem críticas quanto as afirmações de que o PLS “pode
ser usado com amostras pequenas e “dados não normais” (MARCOULIDES e SOUNDERS, 2006)
• O correto é realizar uma análise de power a priori para a definição do tamanho da amostra
• Também, desvios excessivos da normalidade ou a presença de outliers podem tornar os resultados “instáveis” e com grande erros-padrão dos parâmetros estimados, especialmente no caso de pequenas amostras
• Também, o PLS não pode compensar por planos de amostragem mal realizados, dados coletados incorretamente, não-linearidade das relações e incorreta modelagem teórica (erros de especificação)
[1] G*Power 3 – Free e disponível em:<http://www.gpower.hhu.de/>.
ESTIMAÇÃO DO MODELO: Tamanho da amostra
[2] Tests / Correlation and regression / Linear multiple regression: Fixedmodel, R² deviation from zero.
[4] Power = 0,8 e α = 0,05HAIR JR., J. F.; HULT, G. T. M.; RINGLE, C. M.; SARSTEDT, M. A
Primer on Partial Least Squares Structural Equation Modeling
(PLS-SEM). Thousand Oaks, CA: Sage Publications, Inc., 2014.
[3] Para a área de ciências do
comportamento, Cohen (1977, p.413) sugere
a seguinte classificação:
Efeito pequeno f2 = 0,02 R2 = 2%
Efeito médio f2 = 0,15 R2 =
13%
Efeito grande f2 = 0,35 R2 =
26%
𝑓2 =𝑣𝑎𝑟𝑖â𝑛𝑐𝑖𝑎 𝑒𝑥𝑝𝑙𝑖𝑐𝑎𝑑𝑎
𝑣𝑎𝑟𝑖â𝑛𝑖𝑐𝑎 𝑛ã𝑜 𝑒𝑥𝑝𝑙𝑖𝑐𝑎𝑑𝑎=
𝑅2
1−𝑅2ou 𝑅2 =
𝑓2
1+𝑓2
COHEN, J. Statistical Power Analysis for the
Behavioral Sciences. Revised Edition. New York:
Academic Press, 1977.
[5] No modelo a ser testado, a maior quantidade de
setas que chegam nas VL é 2 (preditores).
O que resulta em uma amostra de 68 casos.
PLS é “Salvação da Lavoura”?
• Recomendações (MARCOULIDES e SOUNDERS, 2006)
– Proponha um modelo consistente com o desenvolvimento teórico atual e colete os dados para testá-lo
– Realize a análise prévia dos dados coletados (Hair et al., cap. 2 apresenta diversas técnicas)
– Examine a qualidade do modelo de mensuração
– Examine a magnitude dos efeitos no modelo estrutural
– Examine a magnitude dos erros-padrão dos parâmetros e seus intervalos de confiança
– Estime e reporte o nível de power de seu estudo
– “Garanta que o tamanho e características de sua amostra são adequados para dar suporte às conclusões de seu estudo e não permita que `técnicas da moda´ o levem a conclusões irreais”
PLS é “Salvação da Lavoura”?
• Com limões, faça limonada
• Recomendação: Faça a lição de casa e leia os artigos seminais!
Especificação do modelo
[1] Definição conceitual: Explique o que é cada conceito com base em referencial teórico.
[2] Hipóteses: Justifique suas hipóteses (relações entre os conceitos) com base no referencial teórico. Este será o modelo estrutural.
[3] Definição operacional: Explique como os seus conceitos serão medidos. Quais os cuidados com a validade de conteúdo (pré-teste com especialistas), validade de face (pré-teste com potenciais respondentes, para avaliar a adequação semântica, e de formato). Se for escala traduzida, explique os cuidados tomados com a tradução e a adaptação para o público-alvo de modo a manter a validade de conteúdo. [Veja referências sugeridas mais abaixo].Este será o modelo de mensuração.
[4] Inclua uma figura como modelo estrutural indicando as hipóteses nas setas.
CHA, E.-S.; KIM, K. H.; ERLEN, J. A. Translation of scales in cross-cultural research: issues and techniques. Journal of Advanced Nursing, v. 58, n. 4, p. 386–395, 2007.DEVELLIS, R. F. Scale Development: theory and applications. 2nd ed. Thousand Oaks: Sage Publications, Inc., 2003.NETEMEYER, R. G.; BEARDEN, W. O.; SHARMA, S. Scaling procedures: issues and applications. Thousand Oaks: Sage Publications, 2003.NUNNALLY, J. C.; BERNSTEIN, I. H. Psychometric theory. 3rd ed. New York: McGraw-Hill, 1994.VIEIRA, V. A. Escalas em Marketing: Métricas de Resposta do Consumidor e de Desempenho Empresarial. São Paulo: Atlas, 2011.
ESPECIFICAÇÃO DO MODELO
ESPECIFICAÇÃO DO MODELO: símbolos
Estas relações devem ser interpretadas como modelo de
mensuração (cargas fatoriais em vez de path coefficients)
VL de 2ª ordem: seus indicadores são VL de 1ª
ordem. Em modelos estimados por LISREL não
há indicadores (variáveis observadas)
conectadas à VL de 2ª ordem, mas nos modelos
estimados por PLS-PM repetimos os
indicadores de suas VL de 1ª ordem.
CHIN, W. W. How to write up and report PLS analyses.
In: V. Esposito Vinzi; W. W. Chin; J. Henseler; H. Wang
(Eds.); Handbook of partial least squares. Berlin,
Heidelberg: Springer Berlin Heidelberg, 2010. p.655–
690.
WETZELS, M.; ODEKERKEN-SCHRÖDER, G.; OPPEN, C.
VAN. Using PLS path modeling for assessing
hierarchical construct models: guidelines and
empirical illustration. MIS Quarterly, v. 33, n. 1, p.
177–195, 2009.
VL de 1ª ordem:
seus indicadores são
variáveis observadas
diretamente
ESPECIFICAÇÃO DO MODELO: símbolos
No PLS-PM não há imposição de restrições para as relações, assim, todas VL são correlacionadas (não se usa setas duplas em modelos PLS-PM).
Nos modelos LISREL (MEE baseado em covariâncias) se não tiver seta entre duas VL, há uma restrição implícita de que a correlação entre elas é zero.
Nos modelos LISREL incluímos uma seta dupla para indicar que há uma correlação (diferente de zero) entre essas VL, que será estimada pelo software.
H1(+)
H2(+)
H1(+)
H2(+)
H1(+)
H2(+)
(Em azul) Modelo estrutural = VL de interesse e hipóteses
- Quais outras variáveis podem influenciar tanto as variáveis independentes como as dependentes (em rosa)? - Se não levarmos em conta essas variáveis, as relações encontradas estarão superestimadas, podemos obter falsos-positivos, relações significantes entre VL_1 e VL_2 porque outras variáveis relevantes foram omitidas.
Confounders (lurking variable) - Em estudos observacionais, nem sempre é possível
controlar (ou randomizar) todas as variáveis que influenciam aquelas que estão sob estudo.
- Para lidar com este problema podemos incluir variáveis “instrumentais” no modelo ou estratificar a amostra e rodar o modelo para cada segmento.
- A seguir são dados dois exemplos, mais comuns.
ESPECIFICAÇÃO DO MODELO: O que incluir no modelo, além das variáveis de interesse?
?
?
H1(+)
BERZUINI, C.; DAWID, P.; BERNARDINELLI, L. (EDS.). Causality: statistical perspectives and applications. West Sussex, UK: John Wiley & Sons, Ltd., 2012. [p.3, 11]McKIM, V. R.; TURNER, S. P. (EDS.). Causality in Crisis? Statistical methods and the search for causal knowledge in the Social Sciences. Notre Dame: University of Notre Dame Press, 1997. [p.34, 42].PEARL, J. Causality: models, reasoning, and inference. Cambridge: Cambridge University Press, 2000. [p.175, 194]
Variáveis de controle (incluindo variáveis nominais no modelo) - Vamos supor que o setor (indústria, comércio,
governo, ONG) influência nas relações do modelo, mas não temos interesse nessa influência, apenas queremos “remover” seu efeito.
- Uma forma de fazer isso é segmentar a amostra rodando um modelo para cada setor.
- Outra forma é incluir no modelo uma variável emergente (indicadores formativos) com variáveis observadas do tipo dummy. Neste exemplo temos 4 setores, então, são necessárias três variáveis dummy (ONG ficou como a categoria de referência, quando as três variáveis dummy são iguais a zero).
- As variáveis de controle, podem ser categóricas (gênero, curso, região etc.) ou numéricas, como tamanho da empresa, idade etc.
FALK, R. F.; MILLER, N. B. A Primer for Soft Modeling. Ohio: The University of Akron Press, 1992.
ESPECIFICAÇÃO DO MODELO: O que incluir no modelo, além das variáveis de interesse?
Setor
H1(+)
D_indD_co
mD_gov
Common method bias ou common methodvariance- O fato da coleta de dados de todas as VL ser feita por questionário em que o formato das respostas (1 a 7 = DT a CT) e a fonte de informação é a mesma (respondente) pode causar um aumento na correlação entre as VL, o que é conhecido como viés do método de coleta (PODSAKOFF et al., 2003).- Para eliminar este viés, Chin et al. (2013) recomendam a inclusão de uma VL, mensurada por 4 a 12 indicadores formativos, cujos itens não tenham nenhuma relação com os demais construtos do modelo (domínio de conteúdo diverso).
CHIN, W. W.; THATCHER, J. B.; WRIGHT, R. T.; STEEL, D. Controling for common method variance in PLS analysis: the measured latent marker variable approach. In: ABDI, H.; CHIN, W. W. et al. (Ed.). New Perspectives in Partial Least Squares and Related Methods. New York: Springer, 2013. p.231-239.
PODSAKOFF, P. M.; MACKENZIE, S. B.; LEE, J.-Y.; PODSAKOFF, N. P. Common method biases in behavioral research: a critical review of the literature and recommended remedies. The Journal of applied psychology, v.88, n.5, p.879–903, 2003.
ESPECIFICAÇÃO DO MODELO: O que incluir no modelo, além das variáveis de interesse?
CMB
H1(+)
formativo
• usam-se indicadores formativos, quando deveriam ser reflexivos;
• citam-se variáveis de controle, que não são incluídas no modelo;
• usa-se a análise fatorial exploratória (AFE), mesmo quando se tem o modelo de mensuração definido a priori (AFC com estimação PLS seria melhor opção).
Quando PLS-PM é mal usado?
Estimação do modelo no SmartPLS
RODANDO O ALGORITMO PLS
Path Weighting Scheme – SEM desejado (relações entre VL são regressões)
Factor Weighting Scheme – Faz uma análise quase fatorial confirmatória – (relações entre VL são correlações).
Centroid Weighting Scheme (relações entre VL considera apenas sinal das correlações “+/- 1”). Mais antigo só usado se os outros não convergirem.
Manter a opção (Mean 0, Var 1) para ter os resultados padronizados.
RODANDO O ALGORITMO BOOTSTRAP
Na execução do bootstrap, o modelo é estimado 1000 ou 5000 vezes com amostras aleatórias com reposição (reamostragem).
Pode acontecer dos resultados, em algumas dessas reamostras, ficar com todos os sinais ao contrário (tanto o modelo estrutural, quanto o de mensuração).
Matematicamente está ok: (+)*(+) = (+)(-)*(-) = (+)
Mas os coeficientes em que ocorreu este problema serão avaliados como não significantes (t < 1,96)
RODANDO O ALGORITMO BOOTSTRAP
Para lidar com este problema há 3 opções:[1] No sign changes = não é feita nenhuma correção. Hair Jr. et al. (2014, p.135-137) recomendam iniciarmos com esta opção e avaliar os resultados, se os coeficientes ou cargas forem significantes, ficamos com esta opção mesmo, senão testar opção [2], a seguir.
[2] Individual changes = os sinais de todos os coeficientes são forçados a serem iguais ao da amostra original. Se der não significante nesta opção, considerar como não significante mesmo. Se deu não significante em [1] e significante em [2], testar a opção [3] a seguir.
[3] Construct level changes = O resultado que der (significante ou não) será final.
RODANDO O ALGORITMO BOOTSTRAP
Cases = Tamanho da amostra = quantidade de linhas no banco de dados, que está sendo analisado. Cuidado, se houver missing values e você usar a opção “Case wise”, a amostra efetivamente usada será menor do que a quantidade de linhas no banco de dados.
Samples = quantidade de reamostragens do boostrap (amostras aleatórias com reposição).Quanto mais melhor, há autores que recomendam 200[1], 1000, 5000[2] repetições ou mais.
[1] EFRON, B.; TIBSHIRANI, R. J. An introduction to the bootstrap. New York: Chapman & Hall / CRC, 1998.
[1] TENENHAUS, M.; ESPOSITO VINZI, V.; CHATELIN, Y.-M.; LAURO, C. PLS path modeling. Computational Statistics & Data Analysis, v. 48, n. 1, p. 159–205, 2005. Disponível em: <http://linkinghub.elsevier.com/retrieve/pii/S0167947304000519>. .
[2] HAIR JR., J. F.; HULT, G. T. M.; RINGLE, C. M.; SARSTEDT, M. A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM). Thousand Oaks, CA: Sage Publications, Inc., 2014.
Avaliação do modelo
Modelo de mensuraçãoValidade convergente• Cargas fatoriais significantes (t > 1,96) Bootstrap / Report / Outer loading• Cargas fatoriais > cargas cruzadas PLS algorithm / Report / Cross
Loading• Cargas fatoriais ≥ 0,7 PLS algorithm / Report / Outer
loading• AVE > 0,5 PLS algorithm / Report / OverviewValidade discriminante• Cargas cruzadas mais baixas que as cargas fatoriais PLS algorithm / Report / Cross Loading
• 𝐴𝑉𝐸 ≥ 𝑟𝑉𝐿 PLS algorithm / Report / LV correlation + colocar os valores da 𝐴𝑉𝐸 na diagonal da matriz
• Correlação desatenuada < 1 ou Correlações < ConfiabilidadesConfiabilidade• Confiabilidade composta ≥ 0,7 PLS algorithm / Report / Overview
Modelo estrutural• Coeficientes estruturais (tamanho do efeito e significância) Bootstrap / Report / Path coefficient• Efeitos diretos, indiretos e totais PLS algorithm / Report / Total
effects• R² PLS algorithm / Report / Overview• R² ajustado calcular a mão• Multicolinearidade usar os escores padronizados em software para regressão múltipla• Importância relativa dos preditores (ΔR² = beta * r) (effect size: included x excluded)• Validade de critério, validade nomológica
Replicação (amostra de validação)
AVALIAÇÃO DO MODELO DE MENSURAÇÃO: Validade convergente e discriminante
Por que citamos validade de conteúdo e replicabilidade?
Validade de conteúdo- Para mensurar um construto é preciso que tenhamos vários indicadores para captar
todo o seu domínio de conteúdo.- VL com apenas um indicador, não é VL, é o próprio indicador.- PLS-PM é “consistent at large”, ou seja, ela é viesado, mas este viés diminui à medida
que aumentamos a quantidade de indicadores por VL, assim, deveríamos ter, pelo menos, 4 indicadores por VL.
Replicabilidade- Um indicador que deu carga baixa nesta amostra, pode dar carga mais alta em outra
amostra, o que garante que a escala, como um todo, é aplicável em vários contextos, e não está superajustada à amostra atual (overfitting).
- Além disso, se cada VL for mensurada por poucos indicadores, pode ser que não dê bons resultados quando o modelo for estimado com outra amostra.
CHIN, W. W.; NEWSTED, P. R. Structural equation modeling analysis with small samples using partial least squares. In: R. H. Hoyle (Ed.); Statistical strategies for small sample research. p.307–341, 1999. Thousand Oaks, CA: Sage Publications.DEVELLIS, R. F. Scale Development: theory and applications. 2nd ed. Thousand Oaks: Sage Publications, Inc., 2003.
AVALIAÇÃO DO MODELO DE MENSURAÇÃO: Validade discriminante (4ª rodada)
Latent VariableDeclared
purchase IND
Declared
purchase
Others
Environmental
concern IND
Environmental
concern Others
Declared purchase IND 0,722
Declared purchase Others 0,718 0,723
Environmental concern IND 0,404 0,219 0,750
Environmental concern Others 0,296 0,431 0,652 0,706
AVE 0,521 0,523 0,562 0,499
Composite Reliability 0,916 0,898 0,900 0,888
Cronbachs Alpha 0,898 0,870 0,869 0,856
4ª rodada
cross loading
Declared
purchase IND
Declared
purchase Others
DPS_1 0,558 0,743
DPS_10 0,461 0,699
DPS_11 0,548 0,725
DPS_13 0,433 0,680
DPS_3 0,504 0,745
DPS_4 0,507 0,681
DPS_5 0,552 0,723
DPS_6 0,566 0,784
DP_1 0,733 0,593
DP_10 0,699 0,498
DP_11 0,736 0,527
DP_2 0,650 0,408
DP_3 0,737 0,534
DP_4 0,765 0,565
DP_5 0,727 0,493
DP_6 0,726 0,578
DP_7 0,686 0,456
DP_9 0,751 0,504
Validade discriminante no nível dos indicadores
Validade discriminante no nível das VLNa diagonal da matriz de correlação entre as VL foram inseridos os valores da raiz quadrada da AVE de cada VL.
Para haver validade discriminante: 𝐴𝑉𝐸 ≥ 𝑟𝑉𝐿
Na matriz de cargas cruzadas observa-se que os indicadores têm cargas maiores em suas VL do que em qualquer outra, apesar disso, a correlação entre as duas primeiras VL, praticamente empatou com a raiz quadrada da AVE. Para aumentar a validade discriminante por este critério:- Aumentar os valores na diagonal retirando indicadores com
carga baixa- Diminuir os valores fora da diagonal (correlações) retirando
indicadores com altas cargas cruzadas.
AVALIAÇÃO DO MODELO DE MENSURAÇÃO: Confiabilidade
Resultados da 4ª rodada: Report / Overview
Depois de garantirmos que as VL têm validade convergente e validade discriminante (unidimensionalidade), podemos avaliar a confiabilidade.
A confiabilidade pressupõe que as VL são unidimensionais, ela não testa nem prova a unidimensionalidade da VL.No contexto de escala somada se usa o alfa de Cronbach, que deve ser superior a 0,7.No contexto de PLS-PM se usa a confiabilidade composta, que também deve ser superior a 0,7.
No relatório acima observamos que ambos os critérios são satisfeitos.
AVALIAÇÃO DO MODELO ESTRUTURAL: Coeficientes estruturais
Original
Sample (O)
Sample Mean
(M)
Standard
Deviation
(STDEV)
Standard
Error (STERR)
T Statistics
(|O/STERR|)
Declared purchase IND -> Declared purchase Others 0,6465 0,6495 0,0458 0,0458 14,1106
Environmental concern IND -> Declared purchase IND 0,404 0,4052 0,0494 0,0494 8,1807
Environmental concern IND -> Environmental concern Others 0,6517 0,6523 0,0435 0,0435 14,9836
Environmental concern Others -> Declared purchase Others 0,2401 0,2367 0,0534 0,0534 4,4947
Relação estruturalCoeficiente
estruturalErro padrão Valor-t Valor-p
Declared purchase IND -> Declared purchase Others 0,647 0,046 14,1 0,0000000
Environmental concern IND -> Declared purchase IND 0,404 0,049 8,2 0,0000000
Environmental concern IND -> Environmental concern Others 0,652 0,044 15,0 0,0000000
Environmental concern Others -> Declared purchase Others 0,240 0,053 4,5 0,0000071
“Sample Mean” é a média dos resultados do bootstrap e tende ao “Original Sample”, por isso, essa coluna não é usada no relatório final
STDEV = STERRPor isso, mantemos apenas a coluna do erro padrão no relatório final
Coluna (valor-p) foi acrescentada durante a formatação, no Excel =DISTT(*;4999;2)* = valor-t, obtido no bootstrap4999 = graus de liberdade = número de repetições – 12 = bicaudal
- Bootstrap- Report- Path coefficients(Mean, STDEV, T-Values)
AVALIAÇÃO DO MODELO ESTRUTURAL: Efeitos diretos, indiretos e totais
Relação estrutural = EFEITO DIRETOCoeficiente
estruturalErro padrão Valor-t Valor-p
Declared purchase IND -> Declared purchase Others 0,647 0,046 14,1 0,0000000
Environmental concern IND -> Declared purchase IND 0,404 0,049 8,2 0,0000000
Environmental concern IND -> Environmental concern Others 0,652 0,044 15,0 0,0000000
Environmental concern Others -> Declared purchase Others 0,240 0,053 4,5 0,0000071
EFEITOS TOTAISOriginal
Sample (O)
Standard
Error (STERR)
T Statistics
(|O/STERR|)Valor-p
Declared purchase IND -> Declared purchase Others 0,647 0,046 14,1 0,0000000
Environmental concern IND -> Declared purchase IND 0,404 0,049 8,2 0,0000000
Environmental concern IND -> Declared purchase Others 0,418 0,046 9,0 0,0000000
Environmental concern IND -> Environmental concern Others 0,652 0,044 15,0 0,0000000
Environmental concern Others -> Declared purchase Others 0,240 0,053 4,5 0,0000071
Environmental concern IND -> Declared purchase Others
Efeito direto = 0Efeito indireto = 0,404*0,647+0,652*0,240 = 0,418Efeito total = Efeito direto + indireto = 0,418
- Bootstrap- Report- Path coefficients (Mean, STDEV, T-Values)- Total effects (Mean, STDEV, T-Values)
Para as demais VL, os efeitos totais são iguais aos efeitos diretos, porque não há efeitos indiretos.
Relato dos resultados
Relato dos resultados: estrutura de um artigo
Vamos exemplificar a estrutura de um artigo para o seguinte modelo
Variáveis de controle: A,
B, C
H1(+)
H2(+)
Seção Conteúdo
Introdução Justificativa, relevância e objetivos (*)
VL_2Importância, relevância, definição conceitual, dimensões, tipos
VL_1Idem à VL_2, mas incluir referencial que justifique a H1, terminando a seção com a hipótese
VL_3 Idem à VL_1 (*)
Metodologia Próximo slide (*)
ResultadosResultados do modelo de mensuraçãoResultados do modelo estrutural + Próximo slide
Discussão dos resultados
Hipóteses foram confirmadas? Quais contribuições teóricas?
Conclusões
Quais as consequências dos resultados para a prática e academia?Quais limitações do estudo? E sugestões de estudos futuros?
(*) Alguns autores incluem a figura do modelo estrutural com as hipóteses logo na introdução, outros no final da revisão da literatura e outros na metodologia.
• Quais decisões foram tomadas antes da coleta de dados? Adaptação ou desenvolvimento do instrumento
– Validade de conteúdo + Pré-testes– Variáveis de controle + variáveis demográficas– Procedimento para a coleta de dados x Viés de seleção.
• Quais decisões foram tomadas durante as análises?– Tratamento de missing values– Justificar por que o PLS-PM foi escolhido (por que não usou o LISREL?)
– PLS algorithm: Weighting scheme
– Bootstrap: sign changes; samples (repetições)– Indicadores retirados por apresentarem carga baixa (exploratória = ajuste do modelo aos
dados)– Modificações no modelo estrutural + Amostra de validação
• Conseguimos medir as VL?– Validade convergente + Validade discriminante + Confiabilidade– Common Method Bias
• Avaliar o modelo estrutural– Path coefficients: sinais e magnitude de acordo com as hipóteses?
– Bootstrap significâncias (Se houve coeficientes não-significantes, o poder estatístico era superior a 0,8?)
– Efeitos diretos, indiretos e totais se efeito for pequeno, discutir resultado do ponto de vista da significância prática
– R2 , R2 ajustado, Validade de critério, validade nomológica
Relato dos resultados: metodologia e resultados
“Deve estar certinho e bonitinho” Conteúdo deve estar correto, mas a apresentação, também é importante.
“A correlação entre a qualidade da formatação com a qualidade do conteúdo é alta”
Antes de submeter um artigo, veja quais normas são usadas pelo periódico: APA, ABNT etc.
CHIN, W. W. How to write up and report PLS analyses. In: V. Esposito Vinzi; W. W. Chin; J. Henseler; H. Wang (Eds.); Handbook of partial least squares. Berlin, Heidelberg: Springer Berlin Heidelberg, 2010. p.655–690.
MILLER, J. E. The Chicago guide to writing about multivariate analysis. Chicago: The University of Chicago Press, 2005.
Relato dos resultados: formatação das tabelas
Relato dos resultados: formatação das tabelasIndicadores
Declared
purchase
Others
Declared
purchase
IND
Environmental
concern Others
Environmental
concern IND
DPS_1 0,743 0,558 0,176 0,098
DPS_10 0,699 0,461 0,380 0,197
DPS_11 0,725 0,548 0,421 0,293
DPS_13 0,680 0,433 0,182 0,093
DPS_3 0,745 0,504 0,316 0,118
DPS_4 0,681 0,507 0,351 0,146
DPS_5 0,723 0,552 0,339 0,168
DPS_6 0,784 0,566 0,295 0,129
DP_1 0,593 0,733 0,120 0,191
DP_10 0,498 0,699 0,285 0,429
DP_11 0,527 0,736 0,286 0,377
DP_2 0,408 0,650 0,114 0,199
DP_3 0,534 0,737 0,195 0,220
DP_4 0,565 0,765 0,219 0,281
DP_5 0,493 0,727 0,216 0,325
DP_6 0,578 0,726 0,165 0,192
DP_7 0,456 0,686 0,210 0,308
DP_9 0,504 0,751 0,293 0,360
ECS_1 0,249 0,188 0,794 0,581
ECS_10 0,342 0,212 0,675 0,379
ECS_11 0,450 0,357 0,640 0,422
ECS_12 0,188 0,164 0,666 0,541
ECS_14 0,275 0,140 0,723 0,454
ECS_5 0,327 0,215 0,709 0,407
ECS_6 0,364 0,197 0,699 0,360
ECS_8 0,245 0,185 0,734 0,505
EC_1 0,117 0,215 0,571 0,781 EC_10 0,209 0,376 0,410 0,735
EC_11 0,303 0,489 0,365 0,650 EC_12 0,088 0,231 0,507 0,740
EC_14 0,126 0,211 0,520 0,786
EC_5 0,192 0,368 0,504 0,757
EC_6 0,115 0,227 0,532 0,790
Após reordenar as colunas e destacar as cargas fatoriais
Relato dos resultados: formatação das tabelas
Após:- Incluir a raiz quadrada da AVE na diagonal.- Copiar especial / transpor os resultados do Overview embaixo da matriz de correlações.
Incluir uma nota de rodapé explicando que os valores na diagonal são a raiz quadrada da AVE, e alguma informação sobre a probabilidade de significância dessas correlações
http://www.revistabrasileiramarketing.org/ojs-2.2.4/index.php/remark/article/view/2717/pdf_149
Disponível em:
Comentários do Bido
Os conteúdos deste PPT foram usados durante a elaboração do artigo, mas o conteúdo apresentado aqui é diferente daquele que foi publicado, então, não cite um pelo outro.
Here are some points that you may want to mention:
- SmartPLS 2 is for free and can be obtained here: https://www.smartpls.com/smartpls2
- SmartPLS 3 requires purchasing a license fee, which we use to continuously improve the software and its features. At the moment SmartPLS 3 includes:Partial least squares (PLS) path modeling algorithm (including consistent PLS)Ordinary least squares regression based on sumscoresAdvanced bootstrapping optionsBlindfoldingImportance-performance matrix analysis (IPMA)Multi-group analysis (MGA)Hierarchical component models (second-order models)Nonlinear relationships (e.g. quadratic effect)Confirmatory tetrad analysis (CTA)Finite mixture (FIMIX) segmentationPrediction-oriented segmentation (POS)Permutation test for the multi-group analysisMeasurement model invariance testing (MICOM)and much more.
- Also, SmartPLS 3 runs on Windows and Apple Mac OSX, has customizable style of path model (e.g. colors), and rich results reports including graphics and an Excel export option.
- Use SmartPLS 3 free of charge (30 days): https://www.smartpls.com/faq/where-do-i-get-the-30-days-free-trial-license-of-smartpls-3-professional
- The SmartPLS webpage includes many resources: https://www.smartpls.com/documentation/index Check out the literature section (https://www.smartpls.com/documentation/literature) and the YouTube channel (https://www.youtube.com/channel/UCW4GA7B4zbf-ZsCgSDLuo1Q)
- Get in touch with the largest PLS community via the SmartPLS discussion forum: http://forum.smartpls.com/
- Our next project will be the translation of SmartPLS into different languages. Portuguese is an option!
https://www.facebook.com/SmartPLS