Manufaktur industri
Industri Internet of Things | bahan industri | Pemeliharaan dan Perbaikan Peralatan | Pemrograman industri |
home  MfgRobots >> Manufaktur industri >  >> Manufacturing Technology >> Teknologi Industri

Menemukan Bahan Termoelektrik Baru dengan Word Embeddings

Bicaralah dengan siapa saja hari ini dan mereka akan mengatakan bahwa Kecerdasan Buatan adalah hal besar berikutnya – kentang panas yang ingin diambil semua orang, tetapi tidak ada yang bisa mengunyahnya.

Sebagian besar dari mereka juga akan mengatakan bahwa banyak yang beredar sebagai AI sebenarnya hanya merupakan omong kosong – pemujasan atas pembelajaran mesin dan matematika yang baik dulu yang dipakaikan dalam Powerpoint. Dan untuk sebagian besar, mereka benar.

Namun, satu area di mana penerapan alat AI seperti Deep Learning tak tertandingi adalah dalam Pemrosesan Bahasa Alami.

Contoh yang mudah adalah chatbot yang mengelola situs web. Mereka dijalankan oleh arsitektur pembelajaran dalam yang relatif rumit yang disebut jaringan saraf Long Short Term Memory (LSTM). Algoritma ini dapat ‘memahami’ apa yang kita katakan padanya dan menyusun kalimat koheren yang dapat dibaca sebagai respons. Tentu, bot ini bukan Socrates, tetapi tidak mengeluarkan campuran kata yang acak. Ada sugerensi yang tidak dapat dipungkiri akan beberapa kecerdasan level rendah.

Word embeddings

Era modern dari Deep learning dalam pemrosesan bahasa dimulai dengan penerbitan pada 2013 dari paper word2vec milik Tomas Mikolov. Triumf mereka adalah dalam mengembangkan metode yang komputasi dapat dilakukan untuk menghasilkan word embeddings atau vektor kata menggunakan jaringan saraf.

Pertimbangkan kata man, woman, king dan queen. Jika Anda diminta untuk mengelompokkan kata-kata ini, Anda memiliki sejumlah pilihan senso umum. Saya cenderung melihat [man, woman] dan [king, queen]. Anda mungkin melihat [man, king] dan [woman, queen].

Menemukan Bahan Termoelektrik Baru dengan Word Embeddings

Word embedding menangkap hubungan semantik antara kata dalam teks. Dari https://samyzaf.com/ML/nlp/nlp.html

Saya juga tahu bahwa kata king dan man terkait dengan cara yang sama seperti ‘woman’ dan ‘queen’.

man:king = woman:queen

Bahkan jika saya tidak pernah mendengar kata-kata ini sebelumnya, saya dapat mempelajari hubungan ini dengan mengamati kalimat yang saya temui. ‘This man is a king’ , ‘The queen was a godly woman’, ‘She reigned as the queen of the silver screen’, ‘His kingdom will come’. Kalimat-kalimat ini menunjukkan melalui kedekatan kata saja bahwa king sebagian besar adalah man dan bahwa queen kemungkinan besar adalah woman.

Word embeddings melakukan hal yang sama, tetapi untuk jutaan kata dari ribuan dokumen. Kunci di sini adalah bahwa kata-kata dipelajari dari context. Apa yang memungkinkan permainan analogi matematika ini adalah kekuatan komputasi modern dan keajaiban deep learning.

Deep learning word embeddings

Misalkan kita ingin menemukan embeddings untuk semua kata dalam Harry Potter.

Kami pertama-tama membuat jenis gudang matematika. Seekor raksasa multidimensi yang cukup besar untuk menampung semua kata yang kita butuhkan. Inilah vector space.

Tujuannya adalah untuk melewati Harry Potter kata per kata dan memasukkan setiap kata ke dalam gudang di kamar. Kata-kata yang mirip seperti Dress dan Cloak masuk ke dalam gudang yang sama. Quidditch dan Snitch ada di gudang yang berseberangan. Car dan Centaur sejauh Banana dan Voldemort.

Word embedding dari suatu kata adalah alamat gudang di mana ia akan ditemukan. Secara matematis, ini menjadikannya vector dalam vector space.

Anda dapat melihat mengapa tidak ada manusia yang akan menginginkan pekerjaan ini. Ada terlalu banyak kata dan terlalu banyak pergerakan yang terlibat.

Jaringan saraf namun melakukan ini dengan sangat baik. Ini dilakukan dengan, ajaib.

Menemukan Bahan Termoelektrik Baru dengan Word Embeddings
Jaringan saraf dalam adalah jenis mesin besar dengan jutaan roda gigi dan tuas. Pada awalnya semua kekacauan dan tidak ada yang cocok dengan apa pun meskipun ada pengacauan di mana-mana. Kemudian perlahan-lahan beberapa roda gigi mulai mengunci. Tuas jatuh ke tempatnya – dan ketenteraan muncul dari kekacauan. Mesin mulai bergerak. Frankenstein hidup!

Bahasa di sini sengaja dibuat samar. Saya ingin membawa Anda ke aplikasi word embeddings, daripada bagaimana ia diperoleh. Meskipun demikian, pada level fundamental kita tidak benar-benar tahu bagaimana jaringan saraf melakukan apa yang mereka lakukan. Oleh karena itu dalam eksperimen kami kita harus bermain-main dengan jumlah lapisan, fungsi aktivasi, jumlah neuron di setiap lapisan dll sebelum kita mencapai tugas kita. Namun itu adalah topik untuk hari lain.

Menemukan Bahan Termoelektrik Baru dengan Word Embeddings

Thermoelectrics

Dalam paper yang diterbitkan pada 2019, tim peneliti di Lawrence Berkeley Lab menghasilkan word embeddings dari semua abstrak dalam sekitar 3,3 juta paper yang diterbitkan di seluruh 1000 jurnal. Daftar ini jelas sangat besar dan mencakup hampir setiap topik yang diterbitkan dalam ilmu material selama dua dekade terakhir.

Saat ini dalam teks ilmiah, rumus kimia dan simbol juga merupakan ‘kata’. Oleh karena itu ada vektor kata untuk LiCoO2 – yang merupakan katoda baterai umum. Anda kemudian dapat mengajukan pertanyaan seperti: vektor kata terdekat dengan LiCoO2 apa?

Kita tahu bahwa LiCoO2 adalah vektor dalam ruang vektor. Jadi yang kita butuhkan hanyalah menemukan vektor yang berdekatan.

Jawabannya adalah LiMn2O4, LiNi0.5Mn1.5O4, LiNi0.8Co0.2O2, LiNi0.8Co0.15Al0.05O2 dan LiNiO2—semua itu juga merupakan material katoda baterai lithium-ion.

Menemukan Bahan Termoelektrik Baru dengan Word Embeddings

Jalur hubungan senyawa kimia yang dipilih dengan kata ‘thermoelectric’. Li2CuSb tidak langsung terkait dengan ‘thermoelectric’ , tetapi berada di dekat kata-kata lain yang menjadi indikator properti ini seperti ‘indirect band’ dan ‘optoelectronics’. Dari [2]

Lihat apa yang kita lakukan di sini?

Kami benar-benar mencoba mengeksplorasi material lain yang mirip dengan katoda favorit kami. Sebagai pengganti membaca seribu paper, membuat catatan, dan menghasilkan daftar senyawa lithium, word embeddings menyelesaikan tugas dalam beberapa detik.

Ini adalah kekuatan word embedding. Dengan mengubah pertanyaan semantik menjadi operasi vektor matematis, pendekatan ini memungkinkan kami untuk mengkueri dan memahami basis data teks besar dengan lebih baik dan lebih efisien.

Sebagai contoh lebih lanjut, peneliti mempelajari seberapa sering suatu senyawa kimia ditemukan di dekat vektor untuk ‘thermoelectrics’. (Ini adalah material yang mengubah energi listrik menjadi panas atau sebaliknya).

Anda dapat melakukan ini melalui operasi vektor sederhana yang disebut dot product. Vektor yang mirip memiliki dot product yang mendekati satu. Vektor yang tidak mirip memiliki mendekati nol dot product.

Dengan melakukan operasi yang sama pada senyawa kimia dalam basis data dan kata ‘thermoelectric’, para penulis menemukan semua kimia yang kemungkinan merupakan termoelektrik.

Menemukan Bahan Termoelektrik Baru dengan Word Embeddings

Word embeddings dari basis data abstrak dapat menjawab pertanyaan seperti: Jika Zr adalah Hexagonal, Chromium adalah …? (Body Centered) Dari [2]

Para penulis kemudian menunjukkan bahwa hubungan serupa dapat diidentifikasi untuk beberapa properti material seperti struktur kristal dan ferroelektrik. Selanjutnya, mereka menunjukkan bahwa dengan teknik ini beberapa termoelektrik saat ini telah dapat diprediksi bertahun-tahun yang lalu dari literatur yang ada.

Analisis ini adalah ekspresi yang sangat indah, anggun namun menipu secara sederhana dari pertanyaan ‘Dari semua material yang telah dipelajari manusia, mana yang kemungkinan termoelektrik’.

Basis data material adalah kebutuhan saat ini

Anda akan mengasumsikan bahwa kita sudah memiliki daftar ini – jelas seseorang telah mencatat semua pekerjaan yang telah kita lakukan? Mengkompilasi buku panduan material dan basis data elektronik?

Jawabannya adalah tidak yang mengejutkan. Jumlah besar pengetahuan yang telah kami kumpulkan selama bertahun-tahun terkunci dalam teks seperti buku, jurnal, dan paper. Ada begitu banyaknya sehingga tidak mungkin bagi kami untuk memindai semuanya secara manual.

Itulah mengapa word embeddings dan teknik yang divisualisasikan dalam paper ini tak tertandingi.
Mereka berjanji untuk mengubah cara kita berinteraksi dengan teks dan untuk mempercepat basis data material kami dengan cepat.

Apa saja beberapa material yang telah dipelajari untuk piezoelektrik? Apakah ada superkonduktor yang kami lewatkan dalam literatur? Apakah ada obat baru yang dapat menyembuhkan Alzheimer?
Tanyakan pada word embeddings. Mereka akan tahu.


Teknologi Industri

  1. Menguasai Pelatihan CMMS: Melibatkan Tim dan Meningkatkan Retensi
  2. Python Print Tanpa Baris Baru: Menguasai Parameter end & Teknik Lainnya
  3. ASC 842 Dijelaskan: Bagaimana Standar Akuntansi Sewa Baru Mentransformasikan Transportasi & Logistik
  4. Bagaimana Industri Eceran Pangan Beradaptasi dengan Perubahan Cepat dalam Perilaku Konsumen
  5. Silver Fern Farms Menavigasi Pandemi, Mengamankan Ekspor Daging Global
  6. Berkembang di Era Baru E-Commerce Lintas Sempadan: Strategi Terbukti untuk Sukses
  7. Eceran: Strategi Teruji Mengatasi Biaya Tambahan Pengiriman
  8. Tingkatkan Penjualan dengan Menargetkan Pelanggan Baru Bahkan Saat Pesanan Menurun
  9. Pennsylvania Alokasikan $110.000 untuk Memperluas Karier Manufaktur bagi Siswa Philadelphia
  10. MTConnect: Mengemudikan Presisi dan Profitabilitas dalam Manufaktur Modern