Rajhans Samdani Forex

Ekspansi Harapan Bersatu Rajhans Samdani Bekerja sama dengan Ming-Wei Chang (Microsoft Research) dan Dan Roth University of Illinois di Urbana-Champaign. Presentasi pada tema: Ekspektasi Ekspektasi Unified Rajhans Samdani Bekerja sama dengan Ming-Wei Chang (Microsoft Research) dan Dan Roth University of Illinois di Urbana-Champaign. Transkrip presentasi: 1 Ekspansi Harapan Bersatu Rajhans Samdani Bekerja sama dengan Ming-Wei Chang (Microsoft Research) dan Dan Roth University of Illinois di Urbana-Champaign Page 1 NAACL 2012, Montreal 2 Pembelajaran yang Dibimbing dengan Lemah di NLP Data berlabel langka dan sulit diperoleh. Banyak kerja untuk belajar dengan sejumlah kecil algoritma Pelaporan Ekspektasi Expirasi (EM) standar adalah standar de facto Baru-baru ini: kerja signifikan untuk menyuntikkan pengawasan lemah atau pengetahuan domain melalui kendala ke dalam Pembelajaran Berbasis Kendala EM (CoDL Chang et al, 07) Regularisasi posterior (PR Ganchev et al, 10) Page 2 3 Pembelajaran yang Dibimbing dengan Lemah: EM dan Beberapa varian EM ada dalam literatur. Hard EM Varian dari EM yang dibatasi: CoDL dan PR Versi yang digunakan: EM (PR) vs EM keras (CoDL). Atau adakah sesuatu yang lebih baik di luar sana KONTRIBUSI KAMI: kerangka kerja terpadu untuk algoritma EM, Unified EM (UEM) Mencakup algoritma EM yang ada Memilih algoritma EM yang paling sesuai dengan cara yang sederhana, adaptif, dan berprinsip Beradaptasi dengan data, inisialisasi, dan kendala Page 3 4 Garis Besar Latar Belakang: Ekspektasi Maksimumisasi (EM) EM dengan kendala Algoritma Optimalisasi Unified Expectation Maximization (UEM) untuk Eksperimen E-langkah Page 4 5 Memprediksi Struktur di NLP Memprediksi output atau variabel dependen y dari ruang output yang diijinkan Y diberikan masukan Variabel x menggunakan parameter atau vektor bobot w Memprediksi tag POS yang diberi sebuah kalimat, memprediksi kata keberajaran yang diberikan kalimat dalam dua bahasa yang berbeda, memprediksi struktur hubungan entitas dari dokumen Prediksi yang dinyatakan sebagai y argmax y 2 YP (yxw) Page 5 6 Belajar Menggunakan EM: Primer Cepat Dengan data yang tidak berlabel : X, perkirakan w tersembunyi: y untuk t 1 T lakukan E: langkah: perkirakan distribusi posterior, q, lebih dari y. M: langkah: perkirakan parameter w w. r.t. Q. T E E 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 ) Distribusi kondisional y diberikan w Distribusi posterior 7 Versi EM lainnya: EM EM Standar EM E-step: argmin q KL (qt (y), P (yxw t)) M-step: argmax w E q log P (x , Yw) Hard EM E-step: M-step: argmax w E q log P (x, yw) Page 7 q (y) yyy argmax y P (yx, w) Tidak jelas versi mana yang akan digunakan 8 Kendala EM berbasis pengetahuan berbasis Kendala dapat membantu banyak dengan membimbing pembelajaran tanpa pengawasan Pembelajaran Berbasis Kendala (Chang et al, 07), Regularisasi Posterior (Ganchev et al, 10), Kriteria Ekspektasi Generalized (Mann McCallum, 08), Belajar dari Pengukuran (Liang dkk, 09) Kendala dikenakan pada y (objek terstruktur,) untuk menentukan batasan himpunan struktur yang diijinkan Y Page 8 9 Prediksi Relasi-Entitas: Tipe Kendala Memprediksi jenis entitas: Per, Loc, Org, dll Prediksi Tipe relasi: life-in, org-based-in, work-for, etc. Entity-relation type constraints Dole s wife, Elizabeth, adalah penduduk dari NC E 1 E 2 E3 R 12 R 23 Page 9 lives-in LocPer 10 Alignment Kata Bilingual: Kendala Perjanjian Luruskan kata-kata dari kalimat dalam EN dengan kalimat dalam batasan Perjanjian FR: keselarasan dari EN-FR harus sesuai dengan keselarasan dari FR-EN (Ganchev et al, 10) Gambar: courtesy Lacoste-Julien et al 10 11 Representasi Prediksi Terstruktur Prediksi Asumsikan sebagai Et dari batasan linier: Y Representasi universal (Roth dan Yih, 07) Dapat dielaksasi menjadi kendala harapan pada probabilitas posterior. E q Uy b Fokus pada pengenalan hambatan selama E-step Regularisasi Posterior (Ganchev et al, 10) E-step: argmin q KL (qt (y), P (yxw t)) E q Uy b M - Langkah: argmax w E q log P (x, yw) Kendala driven-learning (Chang et al, 07) E-step: M-step: argmax w E q log P (x, yw) y argmax y P (yx, W) Uy b Tidak jelas versi mana yang digunakan. Dua Versi EM yang Dibatasi Page 12 13 Jadi, bagaimana kita belajar EM (PR) vs EM keras (CODL) Tidak jelas versi EM yang mana yang digunakan (Spitkovsky et al, 10) Ini adalah titik awal penelitian kami Kami menyajikan sebuah keluarga Algoritma EM yang mencakup algoritma EM ini (dan algoritma EM yang jauh lebih banyak): Unified Expectation Maximization (UEM) UEM memungkinkan kita memilih algoritma EM terbaik dengan cara berprinsip Page 13 14 Outline Notation and Expectation Maximization (EM) Eksposisi Optimisasi Optimisasi Unified Expectation Dan Algoritma Optimasi intuisi matematis untuk Percobaan E-langkah Page 14 15 Motivasi: Ekspansi Ekspektasi Unified (UEM) EM (PR) dan EM keras (CODL) sebagian besar berbeda dalam entropi distribusi posterior UEM menyetel entropi distribusi posterior q Dan parameter dengan parameter tunggal meminimalkan KL KL-Divergence KL (q, P (y xw)) KL (q, p) yq (y) log q (y) q (y) Log p (y) UEM mengubah E-step Dari standar EM dan meminimalkan KL divergensi KL yang dimodifikasi (q, P (y xw)) di mana KL (q, p) y q (y) log q (y) q (y) log p (y) Nilai yang berbeda. Algoritma EM yang berbeda Mengubah entropi dari Unified EM (UEM) posterior Page 16 17 Pengaruh Mengubah Distribusi Asli pq dengan 1 q dengan 0 q dengan 1 q dengan -1 q, p) yq (y) log q ( Y) q (y) log p (y) 18 Menyatukan Algoritma EM yang Ada Page 18 Tidak Ada Kendala Dengan Kendala KL (q, p) yq (y) log q (y) q (y) log p (y) EM EM EMOD EM PR yang didefinisikan ulang (Smith dan Eisner, 04 Hofmann, 99) Mengubah nilai menghasilkan berbagai algoritma EM yang ada 19 Rentang Tidak Page 19 Tidak Kendala Dengan Kendala KL (q, p) yq (y) log q (y) q (y) log P (y) 01 Hard EMEM PRLP kira-kira ke CODL (Baru) Kami fokus pada penyetelan dalam kisaran 0,1 Algoritma EM baru yang tak terbatas 20 Tuning dalam praktik pada dasarnya memainkan entropi posterior agar lebih mudah menyesuaikan data, inisialisasi, kendala, Dll Kami menyetel menggunakan sejumlah kecil data pengembangan sejauh rentang UEM untuk sewenang-wenang dalam jangkauan kami sangat mudah diterapkan: kode EMCODL EMPRhard yang ada dapat dengan mudah dilepaskan. Nded untuk mengimplementasikan UEM Page 21 Outline Menyiapkan masalah Peminatan Ekspektasi Unified Memecahkan algoritma berbasis dual-layer Lagrange berbasis hambatan Unifikasi algoritma yang ada Percobaan Page 21 22 E-step yang Dibatasi Untuk 0) cembung Page 22 Domain berbasis pengetahuan linear Kendala - Parameterisasi KL divergensi Standar probabilitas simpleks kendala 23 1 Memperkenalkan dual variabel untuk setiap kendala 2 Sub-gradien pendakian pada dual vars dengan OE q Uy b 3 Hitung q untuk diberikan Untuk 0, hitung Dengan 0, inferensi MAP yang tidak dibatasi: Page 23 Memecahkan E-step yang dibatasi untuk q (y) Iterate sampai konvergensi 0, hitung dengan 0, inferensi MAP yang tidak dibatasi: Page 23 Memecahkan E-step yang terkontaminasi untuk q (y) Iterate sampai konvergensi title1 Memperkenalkan dua variabel untuk setiap kendala 2 Elevasi sub-gradien Pada dual vars dengan OE q Uy b 3 Hitung q untuk diberikan Untuk 0, hitung Dengan 0, inferensi MAP yang tidak dibatasi: Page 23 Memecahkan E-step yang Dibatasi untuk Rq (y) Iterate sampai konvergensi 24 Beberapa Sifat Optimalisasi E-step Kami menggunakan ramuan sub-gradien proyeksi ganda yang diproyeksikan (Bertsekas, 99) Meliputi kendala ketidaksetaraan Untuk kasus khusus dimana dua (atau lebih) masalah mudah dihubungkan melalui kendala , Mengurangi dekomposisi ganda Untuk 0: dekomposisi ganda cembung pada model individual (mis HMM) dihubungkan melalui variabel ganda 1: dekomposisi ganda pada regularisasi posterior (Ganchev et al, 08) Untuk 0: Dekomposisi relaksasi relaksasi untuk kesimpulan ILP yang keras (Koo et al, 10 Rush dkk, 11) Page 27 0: penguraian cembung ganda lebih atas Model individu (misalnya judulHMM) yang dihubungkan melalui variabel ganda 1: dekomposisi ganda pada regularisasi posterior (Ganchev et al, 08) Untuk 0: Dekomposisi relaksasi relaksasi untuk kesimpulan ILP yang sulit (Koo et al, 10 Rush dkk, 11) Page 24. 25 Garis Besar Menyiapkan Masalah Pengenalan Ekspektasi Ekspektasi Bersatu Lagrange Algoritma Optimalisasi Berbasis-ganda untuk E-langkah Percobaan Penandaan POS Algoritma Ekstraksi Entity-Relation Word Alignment Page 25 26 Percobaan: mengeksplorasi peran Uji jika penyetelan membantu meningkatkan kinerja di atas garis dasar Pelajari Hubungan antara kualitas inisialisasi dan (atau kekerasan kesimpulan) Bandingkan dengan: Regularisasi Posterior (PR) sesuai dengan 1.0 Constraint-driven Learnin G (CODL) sesuai dengan - 1 Page 26 27 Model Pengambilan POS POS tanpa Komersial sebagai urutan pertama HMM Cobalah berbagai kualitas inisialisasi: Inisialisasi seragam: inisialisasi dengan probabilitas yang sama untuk semua negara Inisialisasi yang diawasi: inisialisasi dengan parameter yang dilatih pada berbagai jumlah data berlabel Uji Kebijaksanaan konvensional bahwa EM keras melakukannya dengan baik dengan inisialisasi yang baik dan EM melakukannya dengan lebih baik dengan inisialisasi lemah. Page 27 28 Penandaan POS Tidak Terawasi: Instansiasi EM yang Berbeda Inisialisasi Inisialisasi Uniform dengan 5 contoh Inisialisasi dengan 10 contoh Inisialisasi dengan 20 contoh Inisialisasi dengan contoh Kinerja relatif terhadap EM Hard EMEM Page 28 29 Percobaan: Ekstraksi Entitas-Relasi Ekstrak jenis entitas (mis Loc, Org, Per) dan tipe relasi (misalnya Lives-in, Org-based-in, Tewas) di antara pasangan entitas Tambahkan kendala: Ketik batasan antara entitas dan relasi Penghitungan kendala yang diharapkan untuk mengatur hitungan tidak ada hubungan Pembelajaran semi-terawasi Dengan sejumlah kecil data berlabel Page 29 Istri Dole, Elizabeth, adalah penduduk dari NC E 1 E 2 E3 R 12 R 23 31 Percobaan: Alignment Kata Keselarasan kata dari bahasa S ke bahasa T Kami mencoba En-Fr dan En - Es pairs Kami menggunakan model berbasis HMM dengan batasan kesepakatan untuk kata alignment PR dengan batasan kesepakatan yang diketahui memberikan perbaikan BESAR atas HMM (Ganchev et al08 Graca et al08) Gunakan algoritma efisien kami untuk menguraikan E-step menjadi HMM individu. Ringkasan Eksperimen Dalam setting yang berbeda, baseline yang berbeda bekerja dengan lebih baik Ekstraksi Entity-Relation: CODL lebih baik daripada PR Word Alignment: PR tidak lebih baik dari pada CODL Penandaan POS tanpa diawasi: bergantung pada inisialisasi UEM memungkinkan kita untuk memilih yang terbaik al Goritma dalam semua kasus ini Versi terbaik EM: versi baru dengan 0 38 Unified EM: Ringkasan UEM generalizes variasi EM EM yang ada saat ini memberikan algoritme EM baru yang parameterized oleh parameter tunggal Teknik pendakian subgradien yang diproyeksikan dual diproyeksikan untuk memasukkan batasan ke UEM Terbaik sesuai dengan EM (PR) maupun EM keras (CODL) dan ditemukan melalui kerangka UEM Tuning adaptif mengubah entropi UEM posterior mudah diterapkan: tambahkan beberapa baris kode ke kode EM yang ada Page 38 QuestionsKai-Wei Chang , Rajhans Samdani, Alla Rozovskaya, Nick Rizzolo, Mark Sammons, Dan Roth CoNLL Shared Task 2011 Makalah ini menghadirkan Illinois-Coref, sebuah sistem untuk resolusi inti yang berpartisipasi dalam tugas bersama CoNLL-2011. Kami menyelidiki dua metode inferensi, Best-Link dan All-Link, bersama dengan protokol pembelajaran mereka yang sesuai, berpasangan dan terstruktur. Dalam hal ini, kami menyediakan arsitektur fleksibel untuk memasukkan kendala motivasi bahasa, beberapa di antaranya dikembangkan dan diintegrasikan. Kami membandingkan dan mengevaluasi pendekatan inferensi dan kontribusi kendala, menganalisis kesalahan sistem, dan mendiskusikan tantangan penyelesaian inti untuk kumpulan data OntoNotes-4.0.