Exploring Corporate Websites to Assess Enterprise Innovation – Measuring and Validating the Signal from Textual Content

La majorité des recherches quantitatives en gestion de l'innovation et de la technologie s'appuient aujourd'hui sur des bases de données publiques et des enquêtes par questionnaire pour évaluer les stratégies industrielles et les activités d'innovation. Cependant, les bases de données publiques sont souvent incomplètes ou de nature trop générale. Bien que les questionnaires restent des instruments précis, le processus de conception, de test et d'administration des enquêtes peut être particulièrement long et coûteux pour les chercheurs. En outre, les enquêtes par questionnaire souffrent de taux de réponse de plus en plus faibles (moins de 10 %) et menacent donc la validité de ces études. Or, la plupart des entreprises entreprenant des activités d’innovation disposent d'un site internet pour informer leurs parties prenantes de leur mission, de leurs activités, de ce qu’elles offrent et ce qu’elles recherchent. Cette source d'information abondante et gratuite semble être une source de données intéressantes pour les études quantitatives. Cependant, les entreprises divulguent stratégiquement seulement les informations qu’elles croient les avantagent. Malgré la présence de ce biais de désirabilité sociale très fort, le site internet corporatif reste une source de données intéressante à explorer. Une étude antérieure a réalisé une analyse par la fréquence des mots-clés pour évaluer les activités de R-D des PME basées au Royaume-Uni. Cependant, l'indicateur web qui en a résulté ne corrélait pas significativement avec des indicateurs traditionnels liés à la R-D, suggérant que les deux indicateurs représentent des éléments différents. La nature équivoque entourant la signification de ce que cet indicateur provenant du web mesure véritablement représente un objet d’étude fascinant qui a inspiré les travaux de recherche présentés dans cette thèse. Le but premier de la thèse est de comprendre la signification de la mesure d’un indicateur provenant du site internet corporatif et de déterminer sa valeur épistémique afin de potentiellement pouvoir l’utiliser dans des études quantitatives. La thèse répond à trois grands objectifs. Le premier est de trouver une correspondance entre des indicateurs tirés du site internet d’entreprises et des mesures issues d’une source de données classique telle qu’un questionnaire. Le deuxième est de proposer une ou des interprétations tirées des résultats empiriques provenant de nos travaux. Le troisième est de déterminer les bénéfices et les limitations de ces indicateurs afin de comprendre comment les utiliser. La thèse répond aux objectifs avec l’aide de deux sources de données principales. La première est une base de données de 79 entreprises œuvrant en nanotechnologies et matériaux avancés obtenus avec une enquête par questionnaire à l’automne 2015 suivi par le moissonnage du web des sites internet correspondants en février 2016. La deuxième source de donnée nous provient de « The Evidence Network », une entreprise canadienne de consultation spécialisée dans l’évaluation de l’impact d’intermédiaires d’innovation. Les données correspondent à 2,379 réponses d’entreprises canadiennes et finlandaises qui ont été à la fois collectées par voie de questionnaires entre 2010 et 2016 par les représentants de TEN et par le moissonnage du site internet de ces mêmes entreprises à partir de « The Wayback Machine » avec un scripte que nous avons développé à cette fin. La thèse répond aux objectifs à l’aide de trois articles qui se complètent et qui évaluent notre question de recherche avec des angles différents. Le premier article publié a trouvé que plusieurs mesures du questionnaire liées à un facteur d’innovation corrélaient fortement avec l’indicateur provenant du web correspondant à ce même facteur, démontrant ainsi qu’il n’y avait pas de validité convergente et discriminante. Par contre, en combinant plusieurs différentes mesures issues du questionnaire en un indice global d’un facteur, nous obtenons une forte correspondance avec l’indicateur du web correspondant au même facteur, et ce avec un résultat satisfaisant en termes de validité convergente et discriminante du construit. Cela suggère que la mesure du web représente un indice global, soit l’importance relative qu’une firme accorde à un facteur d’innovation. Le deuxième article présenté dans cette thèse prend une perspective de signalement du marché pour établir que les entreprises qui ont les signaux les plus forts liés à l’innovation sont fortement associées à l’obtention de financement externe, et non pas à de l’évidence de résultats d’innovation mesurée par voie de questionnaire. Ce résultat suggère que le signal lié à l’innovation pourrait permettre de cibler des entreprises qui nécessitent des ressources externes pour innover. Le troisième article montre que les entreprises qui signalent sont généralement celles qui démontrent avoir un peu d’évidence d’innovation, une intensité de connaissance élevée, et elles opèrent dans un secteur que l’on peut s’attendre à voir plus d’activités d’innovation. Par contre, on semble voir que le signal attendu est sous-évalué dans les entreprises manufacturières et possiblement surévalué dans les entreprises liées des activités avec un plus haut degré de numérisation. Les résultats permettent également d'évaluer la performance des indicateurs pour chaque facteur d'innovation par rapport à ce qui était attendu, et donc d'établir que les champs lexicaux les plus consensuels entre la théorie et la pratique sont ceux qui sont les plus performants.

Abstract

Most quantitative research in the field of innovation and technology management relies on questionnaire-based surveys and public or financial databases to assess industrial strategies and innovation activities. However, public databases are often incomplete or too general in nature. Although questionnaires remain accurate instruments, the process of designing, testing and administering surveys can be particularly time-consuming and expensive for researchers. Moreover, questionnaires are plagued by progressively diminished participation levels (below 10%), thereby posing a significant threat to the validity of such investigations. Meanwhile, most innovation-active companies have a website to inform their stakeholders about their mission, their activities, what they offer and what they are looking for. This abundant and free source of information seems to be an interesting source of data for quantitative studies. However, companies strategically disclose only the information they believe to be beneficial. Despite the presence of this strong social desirability bias, the corporate website remains an interesting source of data to investigate. A previous study conducted a keyword frequency analysis to assess the R&D activities of UK-based SMEs. However, the resulting web-based indicator did not correlate significantly with traditional indicators of R&D, suggesting the indicators represent different concepts. The conundrum surrounding the meaning of what this web-based indicator actually measures represents a fascinating object of study that has inspired the research presented in this thesis. The primary aim of the thesis is to understand the meaning behind the measurement of a web-based indicator and to determine its epistemic value so that it can potentially be used in quantitative studies. The thesis has three main objectives. The first is to find a correspondence between web-based indicators and measures from a traditional data source such as a questionnaire. The second is to propose plausible interpretations from the empirical evidence from our research. The third is to determine the benefits and limitations of these indicators in order to understand how to use them. The thesis addresses the objectives with the help of two main data sources. The first is a database of 79 nanotechnology and advanced materials firms obtained through a questionnaire-based survey in autumn 2015 followed by web mining of the corresponding websites in February 2016. The second source of data comes from "The Evidence Network", a Canadian consulting firm specialising in the evaluation of the impact of innovation intermediaries. The data corresponds to 2,379 responses from Canadian and Finnish companies that were collected through questionnaires between 2010 and 2016 by TEN representatives and then, through our web mining script to collect data from The Wayback Machine. The thesis addresses the objectives with three complementary papers that assess our research question from different angles. The first published paper found that several questionnaire-based measures related to an innovation factor correlated strongly with the web-based indicator corresponding to the same factor, demonstrating that there was no convergent and discriminant validity. On the other hand, by combining several different questionnaire-based measures into a global index corresponding to a factor, we obtain a strong correspondence with the web-based indicator corresponding to the same factor, with a satisfactory result in terms of convergent and discriminant construct validity. This suggests that the web measure represents a broad index, which can be interpreted as the relative importance that a firm allocates to an innovation factor. The second paper in this thesis takes a market signalling perspective to establish that firms with the strongest innovation-related signals are strongly associated with obtaining external financing, not with evidence of innovation results measured by questionnaire. This result suggests that the innovation signal may enable targeting firms that require external resources to innovate. The third paper shows that the firms with the strongest signals are generally those that show some evidence of innovation, high knowledge intensity, and operate in a sector that one would expect to see more innovation activities. On the other hand, it seems the expected signal is underestimated in manufacturing companies and possibly overestimated in companies related to activities with a higher degree of digitalisation. The results also allow us to evaluate the performance of the indicators for each innovation factor in relation to what was expected, and thus establish the lexical fields that are more consensual between theory and practice are the ones with the higher performance.