Πώς η Thrive και η OpenAI μετέτρεψαν τους ελέγχους φορολογικών δηλώσεων σε έναν αυτο-βελτιωνόμενο βρόχο Codex

Τι κυκλοφόρησε για τα 30+ γραφεία της Crete

Μέσα σε έξι μήνες, μηχανικοί προωθημένης ανάπτυξης της OpenAI και η Thrive Holdings δημιούργησαν το Tax AI για το δίκτυο άνω των 30 λογιστικών γραφείων της Crete, και το έθεσαν σε λειτουργία σε 7.000 φορολογικές δηλώσεις τύπου 1040 και 1041 κατά τη διάρκεια αυτής της πιλοτικής περιόδου. Το αρχικό πρόβλημα ήταν συγκεκριμένο: μόνο η καταχώρηση δεδομένων μπορεί να απαιτήσει οκτώ ώρες σε μια δήλωση μεσαίας προς μεγάλης πολυπλοκότητας, με επεξεργασία δυσανάγνωστων εγγράφων προηγούμενου έτους, υπολογιστικών φύλλων και χειρόγραφων σημειώσεων.

Τα κύρια αποτελέσματα είναι αριθμοί απόδοσης — περίπου το ένα τρίτο του χρόνου προετοιμασίας εξοικονομήθηκε, ακρίβεια έως 97%, και περίπου 50% μεγαλύτερη απόδοση. Ωστόσο, αυτό που ενδιαφέρει περισσότερο τους συγγραφείς είναι ότι το σύστημα βελτιωνόταν όσο λειτουργούσε. Στην έναρξη, μόνο το ένα τέταρτο των δηλώσεων έφτανε στο 75% σωστής συμπλήρωσης πεδίων· μέσα σε έξι εβδομάδες, το ποσοστό αυτό ανέβηκε στο 86%, με ταχύτερη πρόοδο στα κατώφλια του 90% και του 100% καθώς ο πράκτορας πέρασε από τα W-2 και τα 1099 στα K-1 και τα προγράμματα ενοικίασης.

Η οθόνη διόρθωσης είναι ο αγωγός δεδομένων

Η σχεδιαστική απόφαση του frontend που στηρίζει όλο το σύστημα είναι η αντιμετώπιση του ελέγχου από τον επαγγελματία όχι ως τελικό βήμα, αλλά ως δομημένο συμβάν. Όταν ένας λογιστής εγκρίνει ή τροποποιεί μια εξαγόμενη τιμή, το προϊόν καταγράφει ακριβώς τι πρότεινε το Tax AI, τι τροποποίησε ο επαγγελματίας και τι τελικά συμπεριλήφθηκε στη δήλωση που υποβλήθηκε. Αυτή η τριάδα αποτελεί την πρώτη ύλη για όλα όσα ακολουθούν.

Αυτό είναι εύκολο να υποτιμηθεί. Οι περισσότερες διεπαφές ελέγχου καταγράφουν την τελική απάντηση και απορρίπτουν τη διαφωνία. Εδώ, η διαφωνία είναι το ίδιο το προϊόν. Η ομάδα σχεδίασε ρητά τη ροή εργασίας έτσι ώστε «οι άνθρωποι που κάνουν τη δουλειά να καθορίζουν τι μαθαίνει το προϊόν» — οι επαγγελματίες παράγουν το σήμα βελτίωσης απλώς κάνοντας τη δουλειά τους, χωρίς ξεχωριστή εργασία επισήμανσης ή φόρμα ανατροφοδότησης προσαρτημένη στο πλάι.

Γιατί η προέλευση των δεδομένων έπρεπε να αποτελεί πρωταρχική επιφάνεια

Μια απλή διόρθωση είναι ασαφής. Μια μεταβολή τιμής πριν την υποβολή μπορεί να είναι πραγματικό σφάλμα εξαγωγής, πρόβλημα αντιστοίχισης, τιμή που μεταφέρθηκε από δήλωση προηγούμενου έτους, προσωπική προτίμηση του επαγγελματία, ή απλώς θόρυβος ροής εργασίας. Αν η διεπαφή αποθήκευε μόνο την είσοδο και την έξοδο, οι μηχανικοί θα έπρεπε ακόμη να ανακατασκευάσουν ποιο από αυτά ίσχυε — ο χειροκίνητος, αργός βρόχος που περιγράφει η ανάρτηση στην αρχή.

Το Tax AI το αποφεύγει διατηρώντας ολόκληρη τη διαδρομή: έγγραφα οργανωμένα και κατηγοριοποιημένα, πεδία ενοικιαζόμενων ακινήτων εξαγόμενα με παραπομπές στο πηγαίο υλικό, τιμές αντιστοιχισμένες στη φορολογική μηχανή, και έπειτα η διόρθωση του επαγγελματία. Αυτό το ιχνηλάτημα προέλευσης είναι εκείνο που επιτρέπει στο σύστημα να παράγει γραμμές ελέγχου σε επίπεδο πεδίου, να ομαδοποιεί επαναλαμβανόμενες αποτυχίες — επανειλημμένη παράλειψη των «ημερών δίκαιης ενοικίασης», εσφαλμένος χειρισμός «άλλων εξόδων», σύγχυση πολλαπλών ακινήτων σε ένα πακέτο — και να διακρίνει τα πραγματικά σφάλματα προϊόντος από τον αναμενόμενο θόρυβο, προτού οτιδήποτε φτάσει στο Codex.

Το Codex λειτουργεί έπειτα εντός ενός οριοθετημένου περιβάλλοντος που αντικατοπτρίζει αυτόν τον διαχωρισμό: ένα εγγράψιμο χώρο εργασίας που περιέχει την επιφάνεια προϊόντος για το εισόδημα από ενοικίαση και τις αντίστοιχες στοχευμένες αξιολογήσεις καθώς και αξιολογήσεις οπισθοδρόμησης, και ένα πλαίσιο μόνο για ανάγνωση που παρέχει το ίχνος παραγωγής, τα πηγαία έγγραφα, την πρόβλεψη και τη δήλωση που υποβλήθηκε. Ο πράκτορας μπορεί να εξετάσει τα στοιχεία χωρίς να τα μεταβάλλει, να προτείνει ένα pull request, και να παραπέμπει ασαφείς περιπτώσεις πίσω στους μηχανικούς αντί να τις εξαναγκάζει μέσω του βρόχου.

Το συμπέρασμα: χτίστε την επιφάνεια ελέγχου πριν τον πράκτορα

Το επαναχρησιμοποιήσιμο δίδαγμα εδώ έχει να κάνει με τη σειρά. Η δυνατότητα για ενοικιαζόμενα ακίνητα χρειάστηκε περίπου έξι εβδομάδες και εντατική μηχανολογική επίβλεψη για να φτάσει στο 90% ακρίβειας και ανάκλησης, αλλά το αποτέλεσμα ήταν επαναχρησιμοποιήσιμες αφαιρέσεις, συμβάσεις αξιολόγησης και τεκμήρια ελέγχου που έκαναν τα Schedule C και Schedule A φθηνότερα. Τίποτα από αυτά δεν ήταν δυνατό μέχρι η επιφάνεια διόρθωσης να παράγει δομημένα, τεκμηριωμένα, ομαδοποιήσιμα στοιχεία.

Για ομάδες που χτίζουν πράκτορες τομέα όπου η ειδική κρίση καθορίζει την ποιότητα, το συμπέρασμα είναι ότι το frontend όπου οι άνθρωποι διορθώνουν τη μηχανή δεν είναι διακοσμητικό — είναι το επίπεδο εισαγωγής δεδομένων για την αυτο-βελτίωση. Κάντε το λάθος και κάθε διόρθωση παραμένει χειροκίνητη· κάντε το σωστά και κάθε αλλαγή που κυκλοφορεί παράγει τα στοιχεία για τον επόμενο κύκλο. Αξίζει να σταθούμε στη σύνοψη της αρχής από την ίδια τη Thrive:

Οι καλύτεροι πράκτορες καθοδηγούνται από ανθρώπους ώστε να μαθαίνουν να γίνονται πιο ικανοί, πιο αξιόπιστοι και πιο πολύτιμοι με τον καιρό.Montana Labs

Η ανθρώπινη απόδειξη είναι μια έμπειρη λογίστρια που πέρυσι διέθεσε 180 ώρες στη φορολογική προετοιμασία και φέτος μόλις 15 — χρόνο που ανακατεύθυνε στο να καλεί κάθε πελάτη και να αναλαμβάνει νέες εργασίες. Αυτό το αποτέλεσμα υπάρχει μόνο επειδή η διεπαφή που χρησιμοποίησε για να διορθώσει τον πράκτορα ήταν, σιωπηλά, αυτή που τον εκπαίδευε.