Thesis:
Impact evaluation of experience on efficacy of an architectural design decision-making technique

Simple item page

datacite.subject.fos	Natural sciences::Computer and information sciences
datacite.subject.fos	Engineering and technology::Electrical engineering, Electronic engineering, Information engineering
dc.contributor.department	Departamento de Informática
dc.contributor.guia	Astudillo Rojas, Hernan
dc.coverage.spatial	Campus Casa Central Valparaíso
dc.creator	Brito Carvajal, Juan Pablo
dc.date.accessioned	2025-09-09T14:19:49Z
dc.date.available	2025-09-09T14:19:49Z
dc.date.issued	2022-05-03
dc.description.abstract	La literatura sobre ingeniería de software describe una serie de técnicas para la toma de decisiones de diseño de arquitectura, entre las cuales encontramos TaSPer ("Tactics Selection Poker"), técnica utilizada para la selección de tácticas arquitecturales basada en "Planning Poker"; sin embargo, falta conocimiento sobre el impacto de la experiencia de quienes utilizan técnicas basadas en la selección de tácticas sobre su eficacia. Este artículo aborda esta brecha de investigación a través de un estudio experimental sobre el impacto de la experiencia de los miembros de equipos que toman decisiones de diseño de arquitectura de software mediante la selección de tácticas arquitecturales, sobre la eficacia de la técnica TaSPerR para la correcta selección de estas tácticas. Un conjunto de 24 desarrolladores, profesionales de TI, se dividieron en dos equipos de “expertos” y dos de “novatos” (de seis personas cada uno); cada equipo tenía que resolver dos escenarios, uno usando TaSPerR y otro usando una técnica ad hoc; los escenarios fueron cruzados para mitigar posibles efectos de aprendizaje. Se definieron como métricas de eficacia de TaSPerR la variación al usar la técnica (respecto a no usarla) de sus rendimientos en términos de “precision”, “recall” y “accuracy” (tácticas seleccionadas versus una “ground truth”); el impacto de la experiencia de los equipos en la eficacia de la técnica se evaluó comparando los valores de las métricas de eficacia obtenidos por los equipos “novatos” con los obtenidos por los “expertos”. Los resultados iniciales sugieren que TaSPerR mejora la eficacia de los equipos “novatos”, pero la perjudica en el caso de los “expertos”; este resultado es bastante inesperado y requiere replicación con poblaciones aún más grandes de profesionales de TI (no es una tarea fácil). Si se confirman los resultados, la pregunta que surgirá es: si las técnicas de consenso son buenas para estimar, ¿por qué afectarían a la toma de decisiones de expertos?	es
dc.description.abstract	The software engineering literature describes several techniques for making software architecture design decisions, among which we find TaSPer (Tactics Selection Poker), a technique used for the selection of architectural tactics based on Planning Poker; however, there is a lack of knowledge about the impact of the experience of those who use techniques based on the selection of tactics on their efficacy. This article addresses this research gap through an experimental study on the impact of the experience of team members who make software architecture design decisions through the selection of architectural tactics on the efficacy of TaSPerR technique for the correct selection of these tactics. A set of 24 IT professional developers was divided into two “expert” teams and two “novice” teams (of six people each); each team had to solve two scenarios, one using TaSPerR and one using an ad‑hoc technique; the scenarios were crossed to mitigate possible learning effects. TaSPerR efficacy metrics were defined as the variation when using the technique (compared to not using it) of its performance in terms of precision, recall and accuracy (selected tactics versus a ground truth); the impact of the teams’ experience on the efficacy of the technique was evaluated by comparing the values of the efficacy metrics obtained by the novice teams with those obtained by the expert ones. Initial results suggest that TaSPerR improves the efficacy of novice teams but hurts that of expert ones; this result is quite unexpected and begs replication with even larger populations of IT professionals (no easy task); if the results are confirmed, the question that will rise is: if consensus techniques are so good to estimate, why would they hurt design decision‑making by expert teams?	en_US
dc.description.degree	Magíster en Ciencias de la Ingeniería Informática
dc.driver	info:eu-repo/semantics/masterThesis
dc.format.extent	72 páginas
dc.identifier.doi	10.71959/cbqs-p969
dc.identifier.uri	https://cris.usm.cl/handle/123456789/3997
dc.identifier.uri	https://doi.org/10.71959/cbqs-p969
dc.language.iso	en
dc.rights	Attribution-NonCommercial-NoDerivatives 4.0 International	en
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject	toma de decisiones de diseño
dc.subject	técnicas de toma de decisiones
dc.subject	diseño de arquitectura de software
dc.subject	tácticas de arquitectura de software
dc.subject	tacticas de seguridad
dc.subject.ods	9 Industria, innovación e infraestructura
dc.subject.ods	16 Paz, justicia e instituciones sólidas
dc.title	Impact evaluation of experience on efficacy of an architectural design decision-making technique
dspace.entity.type	Tesis

Files

Original bundle

Now showing 1 - 1 of 1

Name:: MC_JB_2022.pdf
Size:: 3.15 MB
Format:: Adobe Portable Document Format

Collections

Tesis de Postgrado