New Relic koppelt Copilot-code aan productieprestaties

New Relic koppelt AI- en mensgeschreven deployments aan applicatieprestaties in productie en brengt die gegevens naar GitHub, zodat teams regressies kunnen onderzoeken, meldt het bedrijf.

Een fout in het bestelproces van een webshop of het klantportaal van een SaaS-bedrijf kan pas na uitrol opvallen, wanneer gebruikers de nieuwe code al raken. New Relic brengt de servicemeting naast de release en de codewijziging. Daardoor kan een ontwikkelteam vanuit de pull request nagaan welke uitrol voorafging aan afwijkende serviceprestaties, zonder deployment, meetdashboard en GitHub eerst handmatig bij elkaar te zoeken.

Change Tracking vergelijkt tot 72 uur

New Relic Change Tracking for GitHub Copilot is publieke preview. De release noemt drie controles: vóór samenvoegen toetsen aan bestaande meetwaarden, na uitrol een extra doorgangscontrole uitvoeren en daarna actuele prestatiegegevens op regressies volgen. De documentatie beschrijft de vergelijking van serviceprestaties vóór en na een deployment. Autopilot herhaalt die controle na 10 en 30 minuten, 1 en 2 uur en opnieuw na 24 en 72 uur.

Het rapporteert geen regressie, onbeslist of regressie gevonden. Bij een afwijking reageert het op de pull request met de metrics en de reden, opent het een GitHub-issue met bewijs en herstelcriteria, en wijst die toe aan Copilot. Met Slack gekoppeld komen meldingen ook daar. Automatisch werk starten vereist Copilot Enterprise; een voorgestelde wijziging moet eerst worden beoordeeld.

Een deployment-event moet de commitcode, releasetaglink en vlag watchpoint_monitoring=true meesturen. De gevolgde service heeft minstens drie dagen New Relic-historie nodig, anders zijn de controlepunten onbeslist. De GitHub-token moet lees- en schrijfrechten hebben voor pull requests, issues en repository-inhoud.

Schrijven en incidentrespons krijgen eigen meetpunten

Preflight is open source en volgens de release algemeen beschikbaar. Het toont lokaal, in de ontwikkelomgeving en opdrachtregel, modelefficiëntie, vertraging, tokenverbruik en fouten van codeeragenten. Teams kunnen meldingen instellen en de nauwkeurigheid van suggesties tussen taalmodellen vergelijken. Dit meet het gebruik tijdens het schrijven, niet het gedrag van de applicatie na uitrol.

New Relic Autopilot voor GitHub MCP Server is volgens de aankondiging ook algemeen beschikbaar. MCP, het Model Context Protocol, laat AI-toepassingen externe tools en gegevens gebruiken. De koppeling geeft Autopilot context uit de codebase voor het onderzoeken van meldingen, het zoeken naar oorzaken en het aanbevelen van oplossingen.

De documentatie voor Autopilot met GitHub markeert de GitHub-contextfunctie nog als preview en beschrijft hoe een commitcode uit Change Tracking aan de pull request wordt gekoppeld. De functie kan gewijzigde bestanden tonen en open herstelverzoeken vinden. New Relic legt niet uit of deze preview verschilt van de algemeen beschikbare MCP-integratie. De status van Change Tracking voor Copilot is wel helder: publieke preview.

GitHub laat agenttraces al naar meettools lopen

New Relic is niet de eerste die Copilot-activiteit naar meetsoftware brengt. GitHub kondigde op 22 september aan dat beheerders OpenTelemetry (OTel), een open standaard, voor de Copilot-app kunnen instellen en agentactiviteit naar meettools kunnen sturen. Teams kunnen daarin agentsessies volgen en zien welke modellen en tools worden aangeroepen. Prompt- en antwoordinhoud wordt standaard niet meegestuurd, schrijft GitHub over de exportfunctie.

Die route volgt vooral wat de agent tijdens een sessie doet. New Relic richt zich met Change Tracking op de stap erna: de relatie tussen codewijziging, deployment en applicatieprestaties. De functies kunnen naast elkaar bestaan, maar beantwoorden verschillende vragen.

GitHub maakte Copilot Fusion op 28 oktober algemeen beschikbaar als modelrouter die per programmeertaak modellen en werkwijzen kiest. Fusion stuurt hoe code wordt gemaakt; New Relic volgt wat de uitrol met de applicatie doet. Ook kan GitHub Copilot in Slack en Teams context uit meerdere repositories combineren. Dat verbreedt de codecontext waar teams samenwerken, maar zegt op zichzelf niets over de werking na een release.

New Relic onderbouwt de stap met eigen enquête

New Relic meldt dat 94 procent van de ondervraagde leiders AI-code bij review hoger beoordeelt dan mensgeschreven code. Tegelijk zegt 78 procent meer productie-incidenten na uitrol te zien. Nog eens 62 procent meldt dat teams AI-code soms of vaak zonder regel-voor-regelcontrole naar productie brengen. De rapportpagina van New Relic noemt deze uitkomsten.

Hanover Research voerde de enquête voor New Relic uit onder 200 Amerikaanse technologiebeslissers op manager-niveau en hoger, blijkt uit New Relics toelichting op de methode. Dit zijn antwoorden van leidinggevenden, geen onafhankelijke metingen van deployments. De percentages gaan over verschillende vragen en bewijzen niet dat AI-code de gemelde incidenten veroorzaakt. Ze tonen evenmin aan dat de nieuwe integratie incidenten voorkomt of herstel versnelt.

New Relic verkoopt observabilitysoftware en presenteert de enquête bij een product dat die metingen centraliseert. De release bevat geen cijfers over minder incidenten, kortere triage of bespaarde uren. Er staat ook geen aparte prijs of Europese uitroldatum bij de koppelingen.

Voor een softwarebedrijf wordt de gegevensketen de eerste drempel: commit, deployment en servicemeting moeten al op elkaar aansluiten. Change Tracking voor Copilot blijft preview, en de documentatie geeft Autopilots GitHub-contextfunctie een andere status dan de release. De aankondiging bevat nog geen cijfers over incidenten die de koppeling voorkomt.