đã có năm năm rưỡi giữa "sự chú ý là tất cả những gì bạn cần" và sự ra mắt của chatGPT. thêm ba năm nữa đã trôi qua kể từ đó. tôi đã dành phần lớn thời gian hôm nay để cố gắng kết nối những từ ngữ sao cho có thể hiểu được những năm tháng này. khi "sự chú ý" ra mắt, tôi 19 tuổi, làm việc trong một phòng thí nghiệm ML công nghiệp, làm việc về việc phân tích tài liệu. mô hình ngôn ngữ chắc chắn là một lĩnh vực văn hóa kém phát triển vào thời điểm đó, đặc biệt là trong lĩnh vực chăm sóc sức khỏe. ibm watson vừa thiêu hủy vài tỷ đô la trong cơn sốt NLP lớn đầu tiên, và ý tưởng rằng thậm chí vài triệu đô la sẽ quay trở lại lĩnh vực này có vẻ là điều không tưởng. mùa hè tiếp theo, bài báo về huấn luyện trước sinh ra đã được công bố. tôi nhớ đã nhận được nó từ bạn trai của một người bạn cùng phòng đại học lúc đó, người điều hành một công ty xử lý tài liệu trong một tòa nhà công nghiệp thấp ở boston. nếu bạn nheo mắt lại, chúng tạo thành một bức tranh đủ để hình thành một chương trình nghiên cứu nhằm đạt được NLP công nghiệp thực sự tốt. bạn có thể tưởng tượng việc biên soạn các tập dữ liệu, và có thể thậm chí tìm đủ tiền để kết nối một vài gpu, bạn có thể có được điều gì đó hữu ích. tôi đã nghỉ việc vào mùa thu đó để làm việc trên các mô hình. trung tâm tinh thần của cộng đồng "ai có vẻ là thật" vào thời điểm này là một nhóm nhà ở berkley, những người tin rằng họ đã giải quyết được tâm lý con người. vẫn còn vài năm nữa trước khi họ sụp đổ trong một vụ bê bối triệu hồi quỷ và còn hai năm nữa từ thời điểm đó cho đến khi các quy luật mở rộng trở nên rõ ràng. và còn rất rất lâu nữa cho đến khi chatGPT. khoảng cách đó là điều ám ảnh tôi. năm năm rưỡi là một khoảng thời gian dài, nhưng bây giờ chúng ta nói về nó như thể đó là một đường thẳng. nó không phải. đó là một con đường lang thang với một lượng lớn vốn bị thiêu hủy, các công ty bị phá hủy, và hàng chục ngõ cụt. bây giờ mọi người giả định rằng giai đoạn triển khai sẽ diễn ra ngay lập tức. rằng vì chúng ta có trí tuệ, nền kinh tế sẽ tự động định hình lại xung quanh nó. nhưng tôi nhìn vào các hệ thống mà chúng ta đang cố gắng tiêm những thứ này vào-- các quy trình con người bằng thịt và máu-- cảm giác thật không thể không cảm thấy cùng một cảm giác giãn nở thời gian. để làm cho mô hình hoạt động là một vấn đề công nghệ. để làm cho thế giới hoạt động với nó thì không phải vậy. con đường đến sự khuếch tán kinh tế thực sự sẽ dài hơn rất nhiều so với những gì thị trường vốn cho phép. ngoại trừ lần này không phải ibm thiêu hủy vài tỷ. mà là mọi người. mọi công ty lớn. mọi startup. hàng triệu tỷ trong vốn hóa thị trường đang đặt cược vào các thời gian triển khai mà giả định rằng các tổ chức con người hành xử như các sản phẩm công nghệ. ...