Análise What-If e Comparação de Modelos
Dois módulos poderosos em um espaço de trabalho. A Análise What-If permite explorar o comportamento do modelo interativamente. A Comparação de Modelos oferece um espaço de diagnóstico de 20 abas com SHAP, PDP, curvas ROC, métricas de equidade e mais em todos os seus modelos.
Key Capabilities
Everything you need to get the most out of this module.
Cenários What-If
Compare cenários base vs modificados lado a lado. Veja exatamente como as mudanças afetam as predições com explicações SHAP.
Comparação de Modelos
Espaço de diagnóstico completo com 20 abas de análise em 6 categorias. Compare até 10+ modelos simultaneamente.
Suite de Explicabilidade
Análise SHAP, explicações LIME, importância de variáveis, gráficos de dependência parcial e interações de features.
Análise Avançada
Curvas ROC, matrizes de confusão, gráficos de calibração, curvas de aprendizado, métricas de equidade e construtor de ensembles.
What-If Analysis
Explore o comportamento do modelo interativamente. Altere features de entrada, crie cenarios e compare predicoes com explicacoes SHAP — sem necessidade de codigo.
Selecione um modelo implantado e forneca valores de entrada baseline. O sistema gera automaticamente um formulario de entrada a partir do esquema do seu dataset.
Modifique valores de features para criar cenarios alternativos. Altere idade, renda, pontuacao de credito — qualquer entrada — e nomeie cada cenario para facil referencia.
Execute todos os cenarios contra o modelo implantado. Veja predicoes lado a lado com valores delta que mostram exatamente como cada mudanca impacta o resultado.
As contribuicoes SHAP revelam quais features impulsionam cada predicao. Veja o impacto por feature com indicadores direcionais para explicacoes amigaveis ao negocio.
Suporta todos os tipos de predicao
Saidas numericas com contribuicoes SHAP
Probabilidade + rotulo de classe com explicacoes
Todas as probabilidades de classe + classe predita
Analise de cenarios What-If
Comparacao de cenarios com contribuicoes SHAP
Espaco de Comparacao de Modelos
Um espaco de diagnostico completo com 20 abas de analise em 6 categorias. Selecione modelos de qualquer experimento, compare-os simultaneamente e tome decisoes baseadas em dados sobre qual modelo implantar.
Comparar
2 tabsGrafico de desempenho comparando todos os modelos em AUC, Accuracy, F1, LogLoss ou RMSE. Alterne entre vista de grafico e tabela.
Matriz completa de metricas — MAE, MSE, RMSE, RMSLE, AIC, tempo de treinamento e mais — de todos os modelos em uma tabela exportavel.
Classificar
4 tabsMatrizes de confusao lado a lado para cada modelo. Visualize verdadeiros/falsos positivos e negativos de um so olhar.
Curvas ROC (Receiver Operating Characteristic) sobrepostas para comparacao direta. Valores AUC anotados por modelo.
Curvas PR que mostram o trade-off entre precisao e recall para cada modelo, critico para datasets desbalanceados.
Graficos de calibracao que mostram quao bem as probabilidades preditas correspondem aos resultados reais. Identifica modelos super ou subconfiantes.
Explicar
3 tabsGrafico de barras agrupadas mostrando rankings de importancia de features em todos os modelos simultaneamente. Detecte quais features importam mais.
Impacto SHAP de features com tipos de grafico bar, violin e beeswarm. Valores SHAP por modelo com explicacoes individuais de features.
PDP 1D, heatmaps de interacao 2D e graficos ICE. Veja como cada feature influencia as predicoes ao longo de sua faixa.
Analisar
3 tabsGraficos de dispersao real vs predito e analise de residuos. Identifique padroes nos erros de predicao.
Distribuicao de erros por faixas de valores de features. Encontre onde seu modelo tem dificuldades e por que.
Histogramas de distribuicao de features e analise de correlacao. Compreenda os dados com os quais seus modelos foram treinados.
Avancado
3 tabsGraficos de ganhos acumulados e lift para avaliar a efetividade do modelo em diferentes percentis de populacao.
Desempenho de treinamento vs validacao conforme o tamanho dos dados aumenta. Diagnostique overfitting, underfitting e suficiencia de dados.
Metricas de paridade demografica, igualdade de oportunidades e impacto desigual. Audite modelos em busca de vies entre grupos protegidos.
Operacoes
4 tabsTabela completa de comparacao de hiperparametros. Compare configuracoes entre modelos para entender o que impulsiona as diferencas de desempenho.
Construa ensembles ponderados personalizados a partir de modelos selecionados. Otimize pesos e avalie o modelo combinado.
Metricas de latencia, throughput e uso de recursos para modelos implantados. Compare caracteristicas operacionais.
Linhagem completa do experimento — versao do dataset, configuracao de treinamento, tempo de execucao e evolucao de metricas ao longo do tempo.
Espaco de Comparacao de Modelos
Grafico de comparacao de desempenho (10 modelos, 5 metricas)
Tabela de metricas completa com exportacao
Comparacao de importancia de variaveis entre modelos
Analise SHAP com impacto de features e explicacoes LIME
Dependencia parcial com modos 1D, mapa de calor 2D e ICE
Curvas de aprendizado com diagnostico de overfitting/underfitting
Analise em todas as industrias
De avaliacao de emprestimos a qualidade na manufatura — use cenarios What-If e comparacao de modelos para tomar melhores decisoes.
Concessao de Emprestimos
Use What-If para testar como mudancas em renda ou pontuacao de credito afetam a aprovacao. Use Comparar para selecionar o melhor modelo entre dezenas de candidatos com auditoria de equidade.
Precificacao de Seguros
Compare candidatos de modelos em graficos de calibracao para garantir predicoes de premios precisas. Execute cenarios What-If para diferentes perfis de risco.
Churn de Clientes
Compare modelos em curvas ROC e precisao-recall para dados de churn desbalanceados. Use SHAP para explicar quais fatores impulsionam as predicoes de churn.
Resultados em Saude
Execute metricas de equidade em grupos demograficos. Use graficos PDP para entender como a dosagem de tratamento afeta os resultados preditos.
Deteccao de Fraude
Compare o desempenho do modelo em diferentes limiares usando graficos de ganhos/lift. Testes What-If para transacoes em casos extremos.
Qualidade na Manufatura
Use curvas de aprendizado para determinar se mais dados de treinamento ajudariam. Construa ensembles otimizados a partir de multiplos tipos de modelos.
Automatize com o SDK
Tanto as sessoes What-If quanto os dados de comparacao de modelos estao disponiveis programaticamente atraves do Python SDK.
from coreplexml import CorePlexMLClient
client = CorePlexMLClient(
base_url="https://api.coreplexml.io",
api_key="sk_your_api_key"
)
# Create a What-If session
session = client.studio.create_session(
project_id="proj_abc",
deployment_id="dep_fraud_v2",
baseline_input={
"amount": 150, "merchant": "grocery",
"hour": 14, "country": "US"
}
)
print(f"Baseline prediction: {session['baseline']['prediction']}")
# Add high-risk scenario
scenario = client.studio.create_scenario(
session_id=session["id"],
name="High-risk transaction",
changes={"amount": 9500, "hour": 3, "country": "NG"}
)
# Run and compare
result = client.studio.run_scenario(scenario["id"])
print(f"Scenario: {result['prediction']} (delta: {result['delta']:+.2%})")# Model Comparison API
models = client.models.list(
project_id="proj_abc",
experiment_id="exp_t1",
limit=10
)
# Get metrics for comparison
for model in models["items"]:
metrics = model["metrics"]
print(f"{model['algorithm']}: "
f"RMSE={metrics.get('rmse', 'N/A')}, "
f"MAE={metrics.get('mae', 'N/A')}")
# Get SHAP values for a model
shap = client.models.get_shap(
model_id="mod_xgb_v2",
feature_count=10
)
for feat in shap["features"]:
print(f" {feat['name']}: {feat['mean_impact']:.4f}")
# Get variable importance comparison
varimp = client.models.get_variable_importance(
model_id="mod_xgb_v2"
)
# Get partial dependence plot data
pdp = client.models.get_pdp(
model_id="mod_xgb_v2",
feature="tenure_months",
nbins=20
)API de ML Studio
Endpoints para sessoes What-If, gestao de cenarios, metricas de modelos, analise SHAP, dependencia parcial e tabelas de classificacao de experimentos.
/api/studio/sessionsCriar uma sessao de analise What-If com entrada baseline
/api/studio/deployments/{id}/schemaObter esquema de entrada para geracao automatica de formularios
/api/studio/sessions/{id}/scenariosCriar um novo cenario com valores de features modificados
/api/studio/scenarios/{id}/runExecutar cenario e obter predicao com SHAP
/api/studio/sessions/{id}/compareComparar todos os cenarios lado a lado com deltas
/api/modelsListar modelos com filtros por projeto, experimento e algoritmo
/api/models/{id}Obter detalhes do modelo, metricas e hiperparametros
/api/models/{id}/variable-importanceObter rankings de importancia de variaveis para um modelo
/api/models/{id}/shapObter valores de impacto de features SHAP (barras, violin, beeswarm)
/api/models/{id}/pdpObter dados de grafico de dependencia parcial (1D, 2D, ICE)
/api/models/{id}/contributionsObter contribuicoes SHAP por predicao
/api/experiments/{id}/leaderboardObter tabela de classificacao de modelos com metricas
Pronto para comecar?
Comece a construir com CorePlexML hoje. Plano gratuito disponivel — nao e necessario cartao de credito.