Phát hành một "Người Đánh Giá Tự Chủ" mới cho các bài báo nghiên cứu. Tôi đã bắt đầu lập trình điều này như một dự án cuối tuần, và @jyx_su đã làm cho nó tốt hơn rất nhiều. Tôi đã được truyền cảm hứng bởi một sinh viên có bài báo bị từ chối 6 lần trong 3 năm. Quy trình phản hồi của họ -- chờ ~6 tháng để nhận phản hồi mỗi lần -- thật sự rất chậm chạp. Chúng tôi muốn xem liệu một quy trình làm việc tự chủ có thể giúp các nhà nghiên cứu lặp lại nhanh hơn không. Khi chúng tôi đào tạo hệ thống trên các đánh giá ICLR 2025 và đo lường hệ số tương quan Spearman (càng cao càng tốt) trên tập kiểm tra: - Tương quan giữa hai người đánh giá: 0.41 - Tương quan giữa AI và một người đánh giá: 0.42 Điều này cho thấy việc đánh giá tự chủ đang tiến gần đến hiệu suất của con người. Người đánh giá tự chủ dựa vào phản hồi của mình bằng cách tìm kiếm trên arXiv, vì vậy nó hoạt động tốt nhất trong các lĩnh vực như AI, nơi nghiên cứu được công bố miễn phí ở đó. Đây là một công cụ thử nghiệm, nhưng tôi hy vọng nó sẽ giúp bạn trong nghiên cứu của mình. Xem nó ở đây:

Sau khi nghe nhiều tập podcast 20VC của Harry, thật vui khi được xuất hiện trong đó. Chúng tôi đã nói về những điểm nghẽn trong việc áp dụng AI, địa chính trị Mỹ/Trung Quốc, những cơ hội nào còn lại để xây dựng (tóm tắt: rất nhiều), và nhiều hơn nữa!

Tôi vừa trở về từ AI Dev x NYC, hội nghị dành cho các nhà phát triển AI nơi cộng đồng của chúng tôi tụ họp trong một ngày để lập trình, học hỏi và kết nối. Không khí trong phòng thật sôi động! Tại AI Dev lần trước ở San Francisco, tôi đã gặp Kirsty Tan và bắt đầu hợp tác với cô ấy trong những gì trở thành công ty tư vấn AI của chúng tôi, AI Aspire. Các cuộc họp trực tiếp có thể tạo ra những cơ hội mới, và tôi hy vọng những tháng tới sẽ mang đến nhiều câu chuyện về những điều bắt đầu tại AI Dev x NYC! Sự kiện đầy ắp các cuộc trò chuyện về lập trình với AI, AI có khả năng tự hành động, kỹ thuật ngữ cảnh, quản trị và xây dựng cũng như mở rộng các ứng dụng AI trong các công ty khởi nghiệp và các tập đoàn lớn. Nhưng ấn tượng chủ đạo mà tôi rút ra là sự lạc quan gần như phổ quát về lĩnh vực của chúng tôi, bất chấp sự pha trộn giữa sự bi quan và lạc quan về AI trong thế giới rộng lớn hơn. Ví dụ, nhiều doanh nghiệp vẫn chưa có được các đại lý AI mang lại ROI đáng kể, và một số người hoài nghi về AI đang trích dẫn một nghiên cứu của MIT cho biết 95% các dự án AI đang thất bại. (Nghiên cứu này, nhân tiện, có những thiếu sót về phương pháp khiến tiêu đề lan truyền trở nên gây hiểu lầm; xem liên kết trong bài viết gốc.) Nhưng tại AI Dev có nhiều đội ngũ chịu trách nhiệm cho bộ ứng dụng AI thành công và đang phát triển nhanh chóng. Nói chuyện với các nhà phát triển khác, tôi nhận ra rằng do sự thâm nhập thấp của AI trong các doanh nghiệp, đồng thời đúng là (a) nhiều doanh nghiệp vẫn chưa có AI mang lại ROI đáng kể, và (b) nhiều đội ngũ AI có kỹ năng đang bắt đầu mang lại ROI đáng kể và thấy số lượng các dự án AI thành công tăng nhanh, mặc dù từ một nền tảng thấp. Đây là lý do tại sao các nhà phát triển AI lạc quan về sự tăng trưởng sắp tới. Nhiều nhà triển lãm đã nói với tôi rằng đây là hội nghị tốt nhất mà họ đã tham dự trong một thời gian dài, vì họ đã có cơ hội nói chuyện với các nhà phát triển thực thụ. Một người đã nói rằng nhiều hội nghị khác có vẻ như chỉ là hình thức, trong khi những người tham gia tại AI Dev có sự hiểu biết kỹ thuật sâu sắc hơn và do đó quan tâm đến và có khả năng hiểu được những sắc thái của công nghệ tiên tiến. Dù cuộc thảo luận có liên quan đến khả năng quan sát các quy trình làm việc tự hành, những sắc thái của kỹ thuật ngữ cảnh cho lập trình AI, hay một cuộc tranh luận về việc sự phát triển của các phòng tập RL để đào tạo LLM sẽ tiếp tục trong bao lâu, có một sự chuyên môn kỹ thuật sâu sắc trong phòng cho phép chúng tôi cùng nhau nhìn xa hơn vào tương lai. Một khoảnh khắc đặc biệt đối với tôi là khi Nick Thompson, người điều hành một buổi thảo luận với Miriam Vogel và tôi, đã hỏi về quản trị. Tôi đã trả lời rằng những lời lẽ thù địch gần đây của Hoa Kỳ đối với người nhập cư là một trong những động thái tồi tệ nhất mà họ đang thực hiện, và nhiều người trong khán giả đã vỗ tay. Nick đã nói về khoảnh khắc này trong một video (liên kết trong bài viết gốc). Tôi rất vui khi gặp nhiều người tại AI Dev, và cảm ơn tất cả những ai đã đến và tất cả các diễn giả, nhà triển lãm, nhà tài trợ, tình nguyện viên và nhân viên sự kiện. Điều duy nhất tôi tiếc nuối là, mặc dù chúng tôi đã mở rộng sự kiện gấp 3 lần so với sự kiện trước ở San Francisco, chúng tôi đã phải giới hạn số lượng vé vì không gian không thể tiếp nhận thêm người tham dự. Mặc dù rất nhiều công việc hiện nay diễn ra trực tuyến, nhưng các sự kiện trực tiếp là đặc biệt và có thể là những bước ngoặt cho cá nhân và các dự án. Chúng tôi dự định tổ chức AI Dev tiếp theo ở San Francisco vào ngày 28-29 tháng 4 năm 2026, một sự kiện lớn hơn nữa, và mong chờ hội nghị sẽ giúp khơi dậy nhiều sự chia sẻ và kết nối hơn trong tương lai. [Original text: ]