Το OpenAI προσθέτει ενσωματωμένο browser και έλεγχο υπολογιστή στο Codex, με σαφή στόχευση στην επανάληψη frontend αλλαγών

Το κενό οπτικής ανάδρασης που προσπαθεί να καλύψει αυτή η έκδοση

Η δουλειά στο frontend ήταν πάντα δύσκολη για τους agents κώδικα. Η συγγραφή ενός React component είναι πρόβλημα κειμένου· το αν το τελικό αποτέλεσμα φαίνεται σωστό δεν είναι. Μέχρι στιγμής το Codex μπορούσε να παράγει τη markup αλλά δεν μπορούσε να δει τα pixels, πράγμα που σήμαινε ότι κάποιος άνθρωπος έπρεπε να τρέξει την εφαρμογή, να τη δει, και να περιγράψει το πρόβλημα σε πεζό λόγο.

Αυτή η ενημέρωση επιτίθεται απευθείας σε αυτό το κενό. Το OpenAI αναφέρει ως κύρια χρήση για τον έλεγχο υπολογιστή στο παρασκήνιο "την επανάληψη σε frontend αλλαγές, τη δοκιμή εφαρμογών, ή την εργασία σε εφαρμογές που δεν εκθέτουν API", και περιγράφει τον νέο ενσωματωμένο browser ως "χρήσιμο σήμερα για frontend και game development". Το μοτίβο είναι σταθερό: τα χαρακτηριστικά που κυκλοφορούν πρώτα είναι εκείνα όπου ο agent πρέπει να παρατηρήσει μια εφαρμογή σε λειτουργία, όχι απλά να επεξεργαστεί αρχεία.

Σχολιασμός σε μια σελίδα αντί για περιγραφή της

Ο πιο συγκεκριμένος μηχανισμός frontend εδώ είναι ο ενσωματωμένος browser όπου, σύμφωνα με το OpenAI, "μπορείτε να σχολιάζετε απευθείας σε σελίδες για να δώσετε ακριβείς οδηγίες στον agent". Αυτό αντιστρέφει τη συνηθισμένη ροή οδηγιών. Αντί να πληκτρολογείτε "το κουμπί στην κεφαλίδα είναι παραπλανημένο", δείχνετε το κουμπί στην αποδοσμένη σελίδα.

Αυτό είναι χωρικό πλαίσιο που τα κειμενικά prompts χάνουν. Ένα σχόλιο αγκυρωμένο σε ένα στοιχείο DOM μεταφέρει ποιο στοιχείο είναι, πού βρίσκεται, και πώς φαίνεται αυτή τη στιγμή — ακριβώς η πληροφορία που ένας developer θα αντέγραφε με το χέρι και τον agent θα έπρεπε αλλιώς να μαντέψει.

Αυτό είναι χρήσιμο σήμερα για frontend και game development, και με τον καιρό σχεδιάζουμε να το επεκτείνουμε ώστε το Codex να μπορεί να ελέγχει πλήρως τον browser και πέρα από web εφαρμογές σε localhost.Montana Labs

Σημειώστε το όριο που θέτει το OpenAI: σήμερα ο browser περιορίζεται σε web εφαρμογές localhost. Η φιλοδοξία να "ελέγχει πλήρως τον browser" δηλώνεται ως μελλοντική δουλειά, όχι ως υπάρχουσα δυνατότητα.

Έλεγχος υπολογιστή και δημιουργία εικόνων ως εργαλείο σχεδιασμού

Ο έλεγχος υπολογιστή στο παρασκήνιο επιτρέπει στο Codex να χειρίζεται ένα Mac με τον δικό του δρομέα, "βλέποντας, κάνοντας κλικ, και πληκτρολογώντας", και να τρέχει πολλαπλούς agents παράλληλα χωρίς να καταλαμβάνει το πληκτρολόγιό σας. Για τη δουλειά frontend αυτό σημαίνει ότι ο agent μπορεί να χειρίζεται εργαλεία σχεδιασμού και δοκιμαστικά περιβάλλοντα που δεν έχουν προγραμματιστική διεπαφή — μια μεγάλη κατηγορία λογισμικού που ο αυτοματισμός βασισμένος σε API απλά δεν μπορούσε να αγγίξει.

Παράλληλα, το Codex μπορεί πλέον να καλεί το gpt-image-1.5 για να δημιουργεί και να επεξεργάζεται εικόνες. Το OpenAI το τοποθετεί για "ιδέες προϊόντων, σχέδια frontend, mockups, και παιχνίδια εντός της ίδιας ροής εργασίας". Σε συνδυασμό με screenshots και κώδικα, ο agent μπορεί να παράγει ένα mockup, να το υλοποιήσει, να δει το αποτέλεσμα στον ενσωματωμένο browser, και να το προσαρμόσει — μια διαδικασία που παλαιότερα απαιτούσε πολλά ασύνδετα εργαλεία.

Τα plugins Remotion και Render, μέσα στην παρτίδα των πάνω από 90 προσθηκών, συμπληρώνουν αυτή την εικόνα προς την κατεύθυνση του βίντεο και της ανάπτυξης εφαρμογών, αν και το OpenAI δεν δίνει λεπτομέρειες για το πόσο βαθιά ενσωματώνονται αυτά.

Τι θα έπρεπε να δοκιμάσουν πρώτα οι ομάδες frontend

Η ειλικρινής ανάγνωση είναι ότι πρόκειται για τις πρώτες, περιορισμένες εκδοχές πιο δύσκολων δυνατοτήτων. Ο έλεγχος υπολογιστή είναι αποκλειστικά για macOS στην εκκίνηση και θα επεκταθεί σε χρήστες ΕΕ και Ηνωμένου Βασιλείου "σύντομα". Ο browser χειρίζεται localhost. Η μνήμη και οι προτάσεις με επίγνωση πλαισίου είναι προεπισκοπήσεις που περιορίζονται σε Enterprise, Edu, και μεταγενέστερη διαθεσιμότητα ΕΕ/Ηνωμένου Βασιλείου. Τίποτα από αυτά δεν αποτελεί έναν ολοκληρωμένο αυτόνομο frontend μηχανικό.

Το συγκεκριμένο πράγμα που αξίζει να αξιολογηθεί είναι αν η διαδικασία παρατήρησης-και-σχολιασμού μειώνει τον χρόνο μεταγραφής για οπτικά σφάλματα. Αν το να δείχνετε σε ένα στοιχείο που δεν αποδίδεται σωστά και να αφήνετε τον agent να το δει και να το διορθώσει είναι πιο ταχύ από το να το περιγράφετε σε κείμενο, αυτό αποτελεί μετρήσιμη αλλαγή ροής εργασίας για ομάδες που κάνουν εντατική επανάληψη UI. Αν η όραση του browser του agent είναι αναξιόπιστη, τότε γίνεται ένα ακόμα εργαλείο που επιβλέπετε τόσο στενά όσο και ένα που θα χειριζόσασταν εσείς οι ίδιοι. Αυτό είναι το τεστ που θέτει αυτή η έκδοση, και αυτό θα έπρεπε να δοκιμαστεί σε ένα πραγματικό component πριν αναδιαρθρωθεί η ροή εργασίας κανενός γύρω από αυτό.